祖逖看到社稷倾覆，山河沦丧，常怀振兴朝廷、恢复故土的壮志。他所收募的宾客义士多是一些刚烈忠勇的猛士，祖逖对他们就如同对待自己的兄弟子女一样。当时扬州地面正闹大饥荒，这些门客时常去打劫富豪之家，祖逖安抚劝慰性地问道：“你们又到南塘外面跑了一趟吗？”若有人被当地差吏抓获，祖逖则想办法把他们救回来。好议论的人就因此说他的坏话，他却像没事一样。当时皇帝刚刚在江南站稳脚跟，顾不上北伐，祖逖向皇帝进言道：“晋王室的动乱，并非是君王无道导致下面的叛乱，而是由于诸藩王争夺权利，自相诛杀，遂使北方的夷狄有了可乘之机，致使他们得以横行中原。现在遗留在中原的百姓备受欺凌，人人都有奋击抗敌之志。若君王能兴发国威，诏命诸将，让如祖逖我这样的人为统领，则各郡国的豪杰必定风从前往，那些沉溺于悲观失望中的人也会振奋苏醒过来，复国雪耻就有了希望，愿大王勉力图之。”元帝便任命祖逖为奋威将军，领豫州刺史，给一千人的粮米，布三千匹，但不发铠甲兵器，让他自己筹集。于是祖逖带领着当年一起流徙江南的部曲庄户百余家渡江北上，船到江中，以楫击水而发誓说：“祖逖如果不能恢复中原而又再次渡江，就如同这江水。”严辞正色，悲壮激昂，大家都为之慨叹。过江后屯于江阴，开始冶铸兵器，招募到两千人后继续北上。