1990年，他出任太阳神户三井银行规划总部综合规划部副部长。2000年4月，他出任樱花银行常务执行董事、综合规划部长、合并战略委员会事务局局长。两个月后，他升任常务董事兼常务执行董事，同时兼综合规划部长、合并战略委员会事务局局长。（太阳神户三井银行由三井银行与太阳神户银行合并而成，后于1992年更名为樱花银行）。

2001年4月，樱花银行与住友银行合并为三井住友银行，北山祯介担任常务董事兼常务执行董事。2003年6月，他升任专务董事兼专务执行董事，同时兼任三井住友金融集团专务执行董事。2004年4月起，他开始担任三井住友金融集团副总裁。2005年6月，北山祯介出任三井住友金融集团总裁兼三井住友银行董事长。