夫人伊莱恩是一个教育家，毕业于韦尔斯利大学并获哥伦比亚大学教育学硕士学位，夫妻有三个孩子。

沃尔芬森是一位出色的大提琴手，同时还是一位研究发展与环境问题的专家。他重建了卡内基音乐厅，是这个音乐厅的荣誉退休董事长，并一直担任华盛顿约翰·肯尼迪表演艺术中心负责人。他还是持续发展企业家理事会和人口理事会理事、布鲁金斯学会管理小组成员，从事了30年的环境和发展问题研究工作。他性格开朗、和蔼可亲。他从不隐瞒自己的想法，办事干净利落。

现年71岁的沃尔芬森说：“最初我并不富裕。出生在寻常百姓家是个好开端。”沃尔芬森1933年12月1日出生在悉尼。父母是英国人，经济大萧条之前他们移居澳大利亚，历尽艰辛后才在新国度站稳脚跟。父母把所有希望都寄托在儿子身上，并给予他许多关爱。他们送沃尔芬森去条件好的学校读书，教育他说：“你必须关爱别人。”尔芬森心中那种“行善的任务”的信念肯定非常强烈，否则他的生命轨迹将转向完全不同的方向。一次偶然的机会，人们发现他有击剑的天赋。1956年他加入了澳大利亚奥林匹克击剑队，两年之后成为国家队队长。后来，沃尔芬森去哈佛求学，毕业后在伦敦施罗德有限公司工作。再后来，他又转到美国所罗门兄弟公司，并成为该公司下属的投资银行的经理。1980年，沃尔芬森给克莱斯勒公司提供贷款使其免于破产，于是他上了《纽约时报》的头版并因此出名。许多高层会议邀请他就发展援助和环保问题发表看法，他逐渐熟识了世界银行的工作人员，并最终被提名为世界银行行长。

1995年沃尔芬森被任命为世界银行行长以后，开始着手实现更大的愿望。“当我告诉同事们我要去世界银行的时候，我不禁流下眼泪，”他说，“我想干更伟大的事业，我要把自己的一生贡献给它。”他打算同世界范围内的贫困作斗争。到世界银行工作的决定至今没有令沃尔芬森后悔。但最迟到今年夏天，这个决定将画上句号。他的第二任期即将届满，美国政府不久前首次正式声明，它正在物色继任人选。

沃尔芬森立刻兴奋起来。领导世界银行，当时对他来说是一项“拥有无限可能性的工作”，即便今天也是如此。踏着前任罗伯特·麦克纳马拉的脚印前进，对他来说是荣誉也是挑战。为了增加自己当选的机会，他迅速加入了美国国籍，但最终没能得到这个职位。尽管如此，他还是离开了所罗门兄弟公司，并建立了詹姆斯·D·沃尔芬森投资公司。在给戴姆勒、杜邦以及美国运通公司提供优质服务的同时，沃尔芬森的公司也赚了许多钱。“我们之所以取得那么大的成就，原因在于我们的业务很集中，当时这在投资银行中是很少见的。”　但是，沃尔芬森没有放弃入主世界银行这个目标，他一直同该行保持联系。1995年，他终于实现了夙愿。20世纪60年代末，罗伯特·麦克纳马拉把世界银行定义为反贫困的工具，沃尔芬森继续沿着这条路走下去。

沃尔芬森一开始受到很多指责。他被谑称为“钱商”，他的商业成就被看成一个剥削成性的资本家的证据。他对此并不在意。他和各国政府或者非政府组织的人员举行谈判，他去过120个国家，走进贫民窟亲身体验那里的贫困情况。他一直挂在嘴边的一句话是，要用“乡村孩子脸上的笑容”检验世界银行的成就。　沃尔芬森也让他的同事走出办公室，到各国进行调查。他把诸如反对腐败和抗击艾滋病等问题列入议事日程，倡议了一项减免债务的计划，扩大了发展中国家的发言权，提高了世界银行资助计划的效率。他做了很多事情，但是也犯了一些错误。批评者指责说，世界银行内部陷入混乱，改革没有真正完成。

2003年12月1日，沃尔芬森在他70岁生日那天第二次实现了另一个伟大的梦想。面对500名观众（其中有美联储主席艾伦·格林斯潘、诺贝尔经济学奖得主施蒂格利茨、前美国副总统戈尔以及荷兰女王贝娅特丽克丝），沃尔芬森走上了卡内基音乐大厅的舞台。他亲自担任大提琴手，和一支乐队共同演奏莫扎特的四重奏。

沃尔芬森非常了解自己在世界银行内担负的使命。“我坚信，如果我们不处理贫困问题，我们将不会给和平创造前提。

2005年5月31日，世界银行行长沃尔芬森卸任，结束第二个5年任期，不再担任世行行长。沃尔芬森于1995年6月1日正式就任世界银行行长。1999年9月27日，世行董事会一致通过了对沃尔芬森连任行长的提名，使其成为世行成立以来第二位连任的行长。

吉姆在担任行长的十年间访问过120多个国家，为了更好地了解世界银行成员国所面临的挑战，而伊莱恩往往伴随左右。除了参观发展项目外，吉姆还会见客户和企业、劳工、媒体、非政府组织、宗教和妇女团体、学生和老师的代表。在世行内部，吉姆对世界银行集团进行了改革，下放管理权，推动世行的技术进步，也使得世行更加公开透明。（世界银行评）