1978年至1980年，担任日本首相；

1980年6月12日，病逝于东京，享年70岁。

1972年日中实现邦交正常化以后，各领域交流需求剧增，当时担任外相的大平正芳即提出应该帮助中国培养日语人才。1979年，大平作为首相访华时，向中方正式提议。1980年，由中国教育部和日本国际交流基金共同在北京语言大学设立日语研修中心，后来被称为“大平班”，迅速充实了中国的日语人才力量。

1972年9月，大平正芳作为外务大臣，随首相田中角荣访华。这次访华拉开了中日邦交正常化的序幕。在谈判过程中，大平正芳的提议的“日本国政府对过去日本通过战争给中国人民造成的重大灾难，痛感责任，深刻反省”这句话写进了《中日联合声明》，起到了极为关键的推动作用。同年10月，大熊猫“康康”和“兰兰”作为中日友好的象征，来到东京上野动物园。

1974年，大平正芳再次亲赴北京进行航空协定谈判，促成了《中日贸易协定》的签订。

大平正芳最后访问中国是1979年12月，第一次是作为日本首相来华商量如何加强两国多方面的合作，正式向邓小平提出对中国进行大规模经济援助，1979年以来的27年中对中国建设发生了巨大作用。贷款持续长达近30年，一直伴随着改革开放的历程。

2018年12月18日，党中央、国务院授予国际友人大平正芳中国改革友谊奖章。

外祖父（大平正芳）的一生与中国有着不解之缘。从历史上至今，日本与中国也是如此。（大平正芳外孙女渡边满子 评）

与其说大平（正芳）是政治家，不如说更像哲学家或宗教家。（田中角荣 评）

大平正芳先生的去世，使中国失去了一位很好的朋友，对我个人来说，也是失掉了一位很好的朋友。感到非常惋惜。尽管他去世了，中国人民还会记住他的名字。（邓小平 评）

香川县观音寺火车站附近的大平正芳纪念馆，入口两侧悬挂着大幅彩色照片，记忆着中日邦交正常化前后的历史瞬间：大平等人与中国领导人握手言欢、共同进餐；两国领导人提笔签署《中日联合声明》；中方向日方赠送大熊猫的照片等。

香川县国道11号线在观音寺市的路段被命名为“大平纪念大道”，大平正芳的墓园位于附近。

1979年4月21日，大平正芳第一次参拜已列入甲级战犯灵位的靖国神社；1979年10月18日，大平正芳第二次参拜靖国神社。而就在大平正芳随田中角荣1972年访华时，他还曾对当时的中国外长姬鹏飞说，“明确地讲，我本人赞成中国方面的观点，那场战争是明明白白的日本对中国的侵略战争。”言犹在耳，行为却令人错愕。