生于台湾日据时期的大正十一年，早年就读于内埔农校，对武术很有兴趣，擅长相扑、柔道、剑道，因受两名日本籍同学恶作剧，破坏其比赛用的竹剑。曾纪恩得知后，痛殴了两人。父亲为了避祸，安排他休学前往潮州外婆家，协助外婆的货车行修理货车，却又因驾车不慎，撞死了一名日本人。

二次大战后日本投降，曾纪恩参加中华民国国军，为技术维修兵，又选为士官，升至士官长，后1951年因表现优异，经过选拔，考取少尉军官，并以少尉教官身分教导部队弟兄棒球，为空军棒球队创队教练，故人称“曾教官”。退役后，为兄弟饭店棒球队总教练，“兄弟棒球队”进入中华职棒后，也担任首任总教练，对兄弟球队居功厥伟。

曾纪恩本为佛、道教信徒，持传统信仰，年八十时改信基督教，故身后事采用基督教仪式举行。