雍正二年，服阕，擢内阁学士，出为山东巡抚。时山东境旱蝗，粮运浅阻，世倌单车周历，密察灾轻重、吏能否，乃视事。趣捕蝗略尽，并疏治运道，世宗书扇以赐。世倌疏言：“社仓通有无、济丰歉，古今可行。宜令各乡劝富民输谷，不限多寡，量予奖劝。举公正乡约三人司其出入，官为稽覈。贫民春贷秋偿，石纳息二斗，歉则减之，十年后纳息一斗。请饬诸行省先就数州县行之。俟有成效，然后推广。”下所司议行。又疏请禁回教，上以回教其来已久，限於种人，非蔓延难量。无故欲禁革，徒纷扰，非治理，罢其议。又疏上沿海防卫五事，报可。四年，母忧归。命治江南水利，坐迟悮夺职，并命赴曲阜督修孔子庙。

高宗即位，起左副都御史。乾隆二年，授仓场侍郎，再迁工部尚书。六年，授文渊阁大学士。是年秋，淮、徐、凤、泗等处被水，上命侍郎周学健会总督高斌庀工役。世倌屡疏陈行水恤灾诸事，上即命乘传往会学健等察勘。世倌言水势高下必当亲勘，请以通测量术者偕往，从之。十二月，偕学健等疏陈筹画工役，请待来岁二三月水涸施工。上曰：“世倌临行奏言岁内可疏，积水尽消，今疏言仍待来岁二三月，其所筹画皆不过就高斌、周学健所定规模而润色之，别无奇谋硕画，何必多此往返乎？”九年，予假回籍，请致仕，不许。疏言：“道经山东，闻有剧盗就逮。因案关数省，迁延待质。剧盗既鞫得实，宜速诛。请饬山东巡抚定谳，毋使久稽显戮。”上韪其言。假满还职，加太子太保。云南巡抚劾属吏，例当令总督覆谳。世倌拟旨误，下吏议夺职，上斥世倌卑琐不称大学士，宜如议夺职。又别敕略谓：“朕斥世倌卑琐，即如世倌与孔氏有连，乃於兖州私营田宅，冀分其馀润。此岂大臣所为？今既夺职，下山东巡抚毋令居兖州。”