1907年，张镜远生于安徽省含山县运漕镇。少时其家境较富裕，在芜湖萃文中学读书时，投奔冯玉祥将军在张家口创办的军事干部学校，后被保送至日本陆军士官学校专修工兵技术。回国后，在国民革命军历任排长、连长、营长、团长等职。

1936年，由冯玉祥将军介绍，与吴美华女士在运漕完婚。

1937年，抗日战争全面爆发后，先后参加南京保卫战、武汉会战。武汉会战前，奉命负责筹建鄂北武胜关、长江马当要塞的防御工事。武汉沦陷后，任国民革命军第三十六军第五师第十五旅少将旅长、第五师代师长。

1938年11月，日军分水陆两路进攻湖南的北大门城陵矶，张镜远临危受命，率部阻击。日军用飞机的轮番轰炸和炮艇、登陆艇的强攻掩护其两个大队（营）的兵力进犯城陵矶沿岸。张镜远率部拼死抗击来犯之敌，敌军死伤甚多。日军见久攻不下，于是调动其空中优势，对张部阵地进行更猛烈的轰炸，致使中国军队伤亡惨重，渐渐失去战斗力。