杨以任一生为人正直，喜交挚友，尊长尽孝。其父死于除夕，从此，每度岁必痛哭不食。看到乡里有一人的外甥无父，外母无子，他说“无父者予子之，无子者予母之。”遂由他出面撮合二家一同度日，使各得其所，两全其美。他曾与本县朱敬之、谢士芳、谢子起、杨希元、杨汝基结“赤水社”，讲学于城西郊之龙珠寺侧，时称“赤水六俊”。不久，朱敬之客死他乡，谢士芳、谢子起、杨汝基则赴省试时遇盗溺水身亡，杨以任正好赶赴京城参加会试，舟过吴城（今新建县吴城镇），闻凶讯即返棹，奔哭其尸，亲主善后，待营殓安葬毕，又无子者立后，建四贤祠祀之。

杨以任毫侠慷慨，爱好谈兵，精通治政理财、管理地方之方略。在崇祯元年（1628）考毕的归途中，被江西巡抚魏照乘挽留，就读于南昌西山。是时，朝廷腐败，边警四起，以任上书魏照乘，促其勤王，并力陈固后先前的重要性。全文词旨激昂，识见老练，为魏照乘所嘉纳。他学富识博，尤精性理之学，工古文辞。既成进士，他再三上疏辞去县令，愿读十年有用书报国。于是学力日进，识见更广且深，他曾说：“离人而言文，不足以为文，且不足以为人”。故他论文力主人品文品的统一，其文章得古人之神骨韵味，倾倒东南文士。他掌教奉天，金陵士子更是争相趋鹜，以能入杨门弟子为荣耀。崇祯六年（1633）分校福建考政，所得皆知名士。次年，升为南京国子监博士，学者均乐就之，有的还撰文介绍其人其作。