东京大学法学部毕业后进入外务省，曾任香港副领事，他擅汉语和英语。

1972年初次当选日本众议院议员。日本自由民主党主要领导人，并一度有望问鼎首相宝座。在桥本龙太郎任首相时，任自民党干事长，全力支持桥本执政。1998年接替前首相宫泽喜一，任党内第二大派宏池会会长。但同年桥本下台，加藤势力开始衰弱，2000年因为与首相森喜朗发生矛盾而被沉重打击，2001年其领导的派系分裂，2002年又由于政治丑闻而暂时离开政坛。2003年虽然重新当选议员，但势力已经微乎其微。其与小泉纯一郎、山崎拓组成YKK集团，成为小泉纯一郎任首相时的主要支持力量。但是反对了小泉纯一郎首相的靖国神社参拜。

2012年，他第十四次谋求当选众议员落选，随后宣布退出政坛。