永和六年（350年），苻健率军入关，鱼遵时任先锋大将，屡立战功。

皇始五年（355年），前秦皇帝苻健患病，卧床不起。苻健册封大司马、武都王苻安为都督中外诸军事。苻健传唤太师鱼遵、丞相雷弱儿、太傅毛贵、司空王堕、尚书令梁楞、左仆射梁安、右仆射段纯、吏部尚书辛牢等受遗诏辅政。临终之前，苻健对苻生说：“六夷酋帅和大臣中的执权者，若有不听从你的，应该将他们逐渐除掉。”

前秦皇帝苻生梦见大鱼吃蒲草，另外长安城里也有谣谚说：“东海大鱼化为龙，男皆为王女为公。”苻生于是就杀掉了太师、录尚书事、广宁公鱼遵以及他的七个儿子、十个孙子。金紫光禄大夫牛夷害怕祸及自己，请求到荆州任职，苻生不答应，任命他为中军将军，召见时戏弄说：“老牛生性迟缓稳重，善驾车辕，虽然没长骏马的蹄子，但走起路来能负重百石。”牛夷说：“虽然驾着大车，但没有走过险峻的道路。愿意试拉重车，便可知道我的功用了。”苻生笑着说：“多么痛快啊！你嫌所负载的轻吗？朕将用鱼遵的爵位安置你。”牛夷十分害怕，回去后就自杀了。