谢灵运凭借祖父和父亲的资本，家产丰足。仆从众多，先人的门生故吏加上有几百。他开山挖湖，没完没了；翻山越岭，总是到那些最幽深最险峻的地方去，哪怕千岩万险，没有一个地方不游到的。他每次登山都穿上木鞋，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿。一次曾从始宁南面山峰砍树，一直通到临海，跟从他的有几百人。临海太守王琇大为恐惧，以为来了造反的山民，不久知道是谢灵运才放心。谢灵运邀请王琇没答应，谢灵运赠王琇一首诗：“邦君难地险，旅客易山行。”在会稽也有很多跟从，他总是惊动郡县长官。会稽太守孟顗信仰佛教，诚恳认真，谢灵运很瞧不起他，且对他说：“成仙得道是有灵气的文人，你升天一定在我灵运之前，成佛一定在我灵运之后。”孟顗非常憎恨谢灵运的这些话。