陇右平定，曹操封赏讨伐马超的功臣，封侯者十一人。杨阜为关内侯。杨阜推辞说：“我杨阜没有保护好州君性命，他们死后，我也没有尽节报孝。在道义上我应被罢黜，在法律上我应被诛杀。马超又没被杀死。我实无权再受爵禄。”曹操说：“你与君臣共创大功，西部百姓至今挂在嘴边，作为美谈。子贡辞让封赏，孔子认为不妥。你尽心报国可嘉。姜叙的母亲劝姜叙早日起兵，实在是明智之举，杨敞的妻子也不过如此。实在贤能！实在贤能！有良史记录忠义，是不会忘记你们的节义的。”

曹操征讨汉中，任杨阜为益州刺史。回洛阳后，杨阜又被任命为金城太守，还未去赴任，又被转任为武都太守。武都临近西蜀，杨阜请求依据龚遂的老办法，仅仅采取安抚政策。这时刘备派张飞、马超等从沮道逼近下辩，氐族雷定等七个部落响应马超。曹操派都护曹洪抗击马超，一举击退马超的进犯。曹洪大摆酒宴，让歌女穿着很薄的衣服踏鼓，在场的人大笑。杨阜严厉斥责曹洪说：“男女有别，这是国家的大节，怎么能在大庭广众面前让女人裸露形体！即使夏桀、商纣的败乱，也不及如此。”于是愤然辞出。曹洪马上下令女伎停演，又请杨阜还座。在场的无不肃然起敬。

刘备攻取汉中，逼近下辩。曹操考虑到武都距敌人太近，想把百姓迁移至内地，但又怕当地官兵眷恋故土。杨阜很有威望，迁移工作极为顺利，迁居到京兆、扶风、天水等界内的，多达万余户。治所移到小槐里，百姓扶老携幼相随而行。杨阜做太守仅抓大事，下属也不忍心欺骗他。

魏文帝曹丕问侍中刘晔等人：“武都太守怎么样啊？”大家都一致称赞他是德才兼备的人。还未来得及重用，曹丕就死了。杨阜在郡职呆了十几年，才被召任为城门校尉。

杨阜经常看见魏明帝戴着绣帽，穿着半袖的缥绫衣服。他就问明帝：“这是行的什么礼仪呢？”明帝默不作答，但是后来不按礼法穿朝服就不敢再见杨阜。迁任将作大匠。

魏明帝大兴土木，选美女以充后宫，还不断出宫到禁囿中巡猎。这年秋天，一场大雨，加上罕见的雷电，竟劈死很多鸟雀。杨阜上书说：“我听说君主圣明，群臣都敢直言不讳。唐尧、虞舜都是圣明的君主，他们公开叫群臣提意见，征听劝谏。大禹多创功业，而自己的宫室却很窄小；成汤王遇上旱灾，把责任归在自己身上；周文王用礼法感化妻子，汉文帝崇尚节约，着布衣。所有这些，都是能听取好的建议，为子孙后代谋虑的举动。臣愿陛下能奉行武皇帝开拓的伟业，恪守文皇帝始终如一的传统，向古代圣贤的善政看齐，力避末代帝王放荡亡国的恶政。所谓善政，即指崇尚节约，重视百姓的生产；所谓恶政，即指随心所欲，任意而为。臣愿陛下细心考察古代治世所以明达、古代末世所以衰弱以至灭亡的历史原因，对于近代如汉末的巨大变故有所省悟，就可以引起警惕了。假使汉桓帝和汉灵帝不废弃汉高祖的法则以及文帝、景帝的恭俭品节，那么即使我太祖曹操再英明伟大，也无施展才能的机会。而陛下哪还有机会位居帝王呢？当今吴、蜀还未平定，在外还有大军，愿您要三思而后行，进宫出宫要慎重。以古代的成败来作为治理朝政的借鉴，说来容易，但确实关系到成败大事。刚刚下过大雨，暴死的生灵很多。雷电如此厉害，以致击死麻雀。天地神明，把帝王作为它的儿子。凡是政治有所失当的，它就会降灾谴责。应该深刻反省自己，这是圣人的教导。愿陛下在事前就早做思考，在事情初露端倪时就谨慎对待。效法汉孝文帝让汉惠帝的后宫佳丽出去嫁人的办法，把刚选进的美女放出宫去。不久前征入宫的小女孩，我听说不太温驯，应该作长远打算。

建宫室和制作器物，一定要本着节约的原则。《尚书》说：‘九族和睦，万国也就协和了。’凡事应考虑周全，拿出妥善的方法，精心计划，以便节省费用。如果能平定吴、蜀，则君民同乐。如此以往，祖先也会欢心，尧舜恐怕还得妒嫉呢！今后应开启信义于天下，安抚百姓，用以昭示边远之人。”当时雍丘王曹植怨言深重，认为各藩王之间，城府太甚，所以杨阜又上书，略陈九族亲戚的大义。魏明帝下诏回报杨阜说：“看过密表，先是陈述古代明王圣主业绩，用以讽刺时政，言辞恳切，心地坦诚。我退思补过，将有所匡正，会悉心考虑的，你能苦言衷告，我尤为赞许。”

后来迁任少府。

太和四年（230年），大司马曹真率兵伐蜀，因天遇大雨，不得前进。杨阜上疏说：“从前周文王时有赤乌出现，是种好的征兆，但他忧虑得时至黄昏还顾不上吃饭。武王伐纣时，有白鱼跳进船里，君臣都为之变色。行动时有吉祥征兆出现，他们尚且忧虑不已，更何况有灾异情况，怎能不恐惧呢？而今吴、蜀未平，而天灾不断，陛下应当深以反省，专精应答，侧席而坐，用以昭示德行，对内则崇尚节俭。大军刚刚出发就遇上大雨，被阻隔停留在艰险的崇山峻岭之中，已经有很多天了。转运粮草很艰辛，负荷重，费用特多，如果不能提供后继，一定事与愿违。《左传》说：‘见可而进，知难而退，军之善政也。’徒然将大军在山谷中困着，进退不得，这不是用兵之道。武王见白鱼跳船而还师，殷商最终还是被灭掉，因为武王知道天意。而今年歉收，百姓饥苦，应发布告示，减少宫庭中食物和衣服的花销，技巧珍玩之物，都可以免掉。从前邵信臣生活在太平时代，但还是奏表，要求减省多余的食物。而今军用不足，更应节俭。”明帝下诏让各路大军班师回朝。

后来明帝下诏，让大臣议论哪些政治措施不便于民。杨阜认为：“好的政治在于任人唯贤，使国家振兴的根本在于发展农业。如果置贤于不顾，只用自己的亲信，这是最坏的政治。如果大兴土木，修建宽敞的宫殿，高高的台榭，妨害人民正常的劳作，这是伤害农业生产的。那些工匠不务正业，而是竞作奇巧，以迎合皇帝的私欲，这是最为危害国家的根本的。孔子说：‘苛政猛于虎。’当今官吏不论雅俗与否，治理国家的时候都不了解统治的基本原则，只是喜好烦琐和严厉，这是最为乱民的办法了。当务之急是要根除上文提到的‘忘治、害农、伤本、乱民’的四个弊端，昭示于公卿百官与各州郡及藩国，推举贤良方正、朴实敦厚的士子，这是求取贤人的一个重要办法。”杨阜又上书要求那些失宠宫人出宫，于是召集御府吏问后宫人数。御府吏恪守过去法令说：“这是秘密，不能泄露。”杨阜大怒，对这个官吏处以杖打一百的惩罚，并训斥说：“国家从不把九卿排在国家机密之外，难道还有让小吏知道的秘密，而不让九卿知道？”明帝闻讯后更加敬畏杨阜了。

明帝的爱女曹淑，不幸夭折。明帝哀痛不已，追封她为平原公主，在洛阳专为她修庙，把她埋葬在南陵。明帝要亲自送丧，杨阜上疏说：“文皇帝、武宣皇后死时，陛下都未送葬，因为以国家为重，以备有变。为什么为一个小孩去送葬呢？”明帝没有听从。

明帝在许昌营建新宫，又在洛阳修建宫殿观阁，杨阜上疏说：“尧居茅屋而天下安居，禹住低宫而百姓乐业。古代圣帝明王，没有人为自己建造高大华丽的宫殿而劳民伤财的。夏桀修筑璇室、象廊，商纣建造倾宫、鹿台，结果亡国丧身。楚灵王因为修筑章华台，结果身受其祸；秦始皇营造阿房宫，结果殃及儿子，天下背叛，帝位仅传到二世就亡国了。凡是不顾惜老百姓只图自己快活的人没有不自取灭亡的。陛下应当效法尧、舜、禹、商汤、文王、武王，吸取夏桀、殷纣、楚灵、秦始皇的教训。高高在上，当修德行。要谨慎地守护王位，才能继承祖业。否则，巍巍皇权，岌岌可危。不早晚警惕，抚恤臣民，仍自我逸乐，崇尚华丽的宫室，则必有颠覆危亡的灾祸。《周易·丰卦》说：‘盖起大屋，遮蔽家人，从外望进去，好像没人。’大王应以天下为家，说大屋无人，这是灾祸的征兆。而今吴、蜀二贼联合，危害国家，十万大军，东西奔走，边境无安宁之日。农民不能从事生产，面有饥色。陛下不忧虑这些大事，而是大兴土木，无休无止。如果国亡而我们大臣都能活下来，我也就不说什么了。但是君王为首领，大臣为肢体，存亡一体，生死与共。《孝经》说：‘天子有敢于直谏的大臣，只要七人，那么即使他治国不当，也不会失去天下的。’我虽然愚笨怯弱，但又怎敢失为臣的本分呢？言语不切直，就不能感动陛下。如果陛下不听劝告，恐怕祖先打下的天下会败亡的。假如让我身死，而能对国家有所补益，那么，我虽死犹生。我这是在敲着棺材劝谏，等待杀戮。”明帝为他的忠言所感动，亲笔写诏书作答。

每当朝廷会议大事，杨阜总是侃侃而谈，以天下为己任，反复谏诤，明帝不听，于是他反复乞求辞职，未得允许。杨阜死的时候，家里没有多余的财产。孙子杨豹继嗣。

刘晔：阜有公辅之节。

陈寿：杨阜刚亮公直，正谏匪躬，亚乎汲黯之高风焉。

傅玄：君构潜谋以龙变，应事机而虎发，山西二水获安者，则君之勋也。

袁淮：可谓直士，忠则吾不知也，夫为人臣，见人主失道，指斥其非，而播扬其恶，可谓直士，未为忠臣。

裴松之：忠至之道，以亡己为理。是以匡救其恶，不为身计。而阜表云‘使国亡而臣可以独存，臣又不言也’，此则发愤为己，岂为国哉？斯言也，岂不伤谠烈之义，为一表之病乎！

罗贯中：包胥向日哭秦庭，杨阜今朝恸历城。欲报冤仇流血泪，千年万载仰高清。

毛宗岗：杨阜之为韦康报仇，义也；而其攻马超以助曹操，则非义。马腾两番受诏，两番讨贼，固汉之忠臣也；其子之欲雪父恨则孝，承父志而讨国贼则忠。奉一欺君罔上之曹操，而攻一忠孝之马超，以超为贼，而不知操之为贼，故杨阜之义，君子无取焉。

《全三国文》整合收录了杨阜的许多言论，有《谏治宫室发美女疏》《伐蜀遇雨上疏》《谏帝送葬平原公主疏》《谏营洛阳宫殿观阁疏》《让封关内侯》《应诏议政治不便于民》。

《三国志·卷二十五·魏书二十五·辛毗杨阜高堂隆传第二十五》

在小说《三国演义》中，于第六十四回《孔明定计捉张任 杨阜借兵破马超》登场。杨阜为凉州参军，马超占领凉州后，杨阜诈降，后与赵昂、尹奉、梁宽、赵衢等人用计击退马超。还曾和马超当面对战，宗弟七人战死，本人身受五处创伤才将马超击退。 受曹操重用，为讨伐马超有功十一人之一，被封关内侯。