道光元年（1821），杨怿曾在湖北，上奏请求保护当阳县附近的关帝陵，又上奏请求修缮襄阳府、郧阳府的书院。十月，升光禄寺卿。四年三月二十一日（1824年4月19日）升大理寺卿。八年三月十三日（1828年4月26日），蒙恩补都察院左副都御史。九年四月二十四日（1829年5月26日），奉旨补授礼部右侍郎。十年（1830）正月，曾孙杨瑞麟生。

道光十年七月三十日（1830年9月16日），至云南办案。八月十二日（9月28日），离开云南，到达贵州。九月初八日（10月24日），抵达镇远府。后至常德，由常德沿水路到达荆州。十月初九日（11月23日）到武昌。十一月初六日（12月20日）到河南。十九日（1831年1月2日）接旨，补授湖北巡抚。道光十年十一月二十八日（1831年1月11日），自河南启程，十二月初八日（1831年1月21日）至湖北上任。

道光十一年三月十六日（1831年4月27日），杨怿曾得知后代短命而死，备受打击，失血数口，眠食不安。五月，四孙杨恩楚生。六月，湖北省突发水灾，杨怿曾多方筹划，组织救济，让数十万人得以存活，直到次年三月才结束，杨怿曾因此事而日夜操劳，心力交瘁。

道光十一年（1831）七月，监督湖北乡试，修缮了被水灾毁坏的房屋。十二月二十八日（1832年1月30日），皇帝赏赐杨怿曾鹿尾、鹿脯等食品。

道光十二年（1832）正月，杨怿曾感染风寒，考虑卸任，恰逢湖南瑶族起事，故计划推迟。二月初好转，精力恢复。五月，皇帝赐杨怿曾药锭、香料等。七月十一日（1832年8月6日），杨怿曾七十大寿，同僚准备庆祝，但杨怿曾以身体状况为由婉拒了一切请求。八月，监督文乡试。十月，主持武乡试。此后杨怿曾身体日渐虚弱。

道光十二年九月初一日（1832年9月24日），杨怿曾将儿子杨用溡叫来，说：“余薄宦三十年，两袖清风，至今尚无住宅，虽欲归去，可得乎！”然后让杨用溡回去购买住宅。经过一个月，杨用溡没有发现合适的住宅，便找人修葺了祖上留下的老屋。城南十里杨家桥，有祖上遗留的水田，但是早就被卖给了一毛姓人家，杨用溡想赎回来，以保护祖先的坟墓。杨怿曾知道杨用溡的请求后，写信告诉杨用溡说，田变成毛家的已经有三十年了，今昔价不同，虽然杨怿曾希望杨用溡能把这田赎回来，但一定要照时价赎，不可以对人家不客气，以存忠厚之道。杨怿曾又告诉杨用溡说，自己最近精神很好，不用担心，就是冬天雨雪很多，可以趁早来湖北。杨用溡得到信后，立刻返回湖北，把赎田的事交给堂弟打理。

道光十三年正月二十四日（1833年3月15日）未时，在杨用溡等人的陪伴下，杨怿曾在湖北巡抚任所病逝。许多官员都表达了对杨怿曾的怀念。

著有《楚江吟》、《使滇纪行》、《介坪诗录》行于世。

清代方浚师《蕉轩随录》卷一记载：“忆幼时曾记吾师杨壬生先生（若午）言，先生之叔父介坪公（怿曾）以辛酉翰林开春坊，受知仁庙，为大理卿最久。道光初，开府楚北，风骨铮然。薨后犹荷‘清名夙著’之褒。尝被召，值天暑，公方掀帘，见上摇扇挥汗，即入跪。上将扇子却在座右，不复用，问公事甚详。良久热甚，上面汗如雨，竟不用扇。又久之，乃出，公已湿透纱袍矣。我朝君臣相见，严重如此。谨恭录而识之。”

民国徐珂《清稗类钞·帝德类》也记载了这件事：“皖杨怿曾，嘉庆时官翰林，受知仁宗，为大理卿最久，开府楚北，风骨铮然。尝召对，值盛暑，掀帘见上摇扇挥汗，入跽，上以扇置坐右，不复用，询事甚详，良久热甚，上汗出如雨，卒不用扇，又久乃出，杨亦湿透纱袍矣。”