武帝有灭吴的打算，使羊祜为都督荆州诸军事、持节，仍保留散骑常侍、卫将军的职衔。羊祜率军镇守荆州，开办学校，安抚教化远近人民，深得江汉百姓爱戴。与吴人开诚布公，互相信任，投降的人愿意离去，都听凭志愿。当时荆州有这样的风俗：地方长官丢官后，继任此官的人生忌讳，多把旧官府的房舍毁掉。羊祜认为死生有命，与房舍无关，就下令所辖地区禁止这种做法。东吴石头城守军距襄阳地界七百里，常骚扰晋边境，羊祜以为是一大患，便设计谋让吴撤去守军，于是晋戍边巡逻的士兵减少了一半，所减士兵用来垦荒，垦田八百余顷，大获其利。羊祜初到荆州时，军中无百日粮，到了他镇荆州的后期，有供十年用的粮草积蓄。皇帝下令撤除江北都督，设置南中郎将，将原江北都督所属在汉东江夏一带的军队都增拨给羊祜。羊祜在军中经常穿轻裘，束绶带，不披甲，府第卫士不过十几人。然而也常因出外打猎钓鱼而荒废政事。一次欲夜间出游，军司徐胤手持长戟挡住营门说：“将军都督万里疆域，哪能这样轻心放纵，将军的安危也就是国家的安危。除非我死了，今夜此门才得开。”羊祜脸色一变，向徐胤道歉，此后很少出游了。