张令铎少年时因为勇猛参军。后唐清泰年间，补任宁卫小校。后晋初年，改到奉国军服役。后汉乾祐年间，跟随后周太祖郭威（时为后汉枢密使）平定河中节度使李守贞的叛乱，因功升任奉国军指挥使。广顺初年，升任控鹤指挥使，多次升迁后任本军左厢都指挥使、领虔州团练使。后又跟随周世宗柴荣讨伐淮南南唐势力，改领虎捷左厢，加常州防御使。两次征讨寿春，世宗命张令铎和龙捷右厢柴贵分别担任京城左右厢巡检。世宗将要北征，命张令铎与韩通、高怀德先率兵前往沧州，又让张令铎作为韩令坤的副手担任霸州部署，率兵镇守城池。恭帝柴宗训即位，授予张令铎侍卫亲军步军都指挥使、领武信军节度使之职。

北宋建立，张令铎升任马步军都虞候、领陈州节制。宋太祖赵匡胤讨伐李筠叛乱，任命张令铎为东京卓城内都巡检。建隆二年（961），赵匡胤“杯酒释兵权”，张令铎出任镇宁军节度使，赵匡胤又为弟弟兴元尹赵光美娶了张令铎的第三个女儿为妻。开宝二年（969），张令铎来朝见赵匡胤时得病，赵匡胤亲自前去问疾，赐给张令铎五千匹帛、五千两银子，并丰厚赏赐了张令铎的家人。次年（970）春天，张令铎在京师去世，终年60岁。赵匡胤极为悲痛悼念，追赠张令铎为侍中。