1999年，张谦与孔祥玉、古月等出演的电影《肝胆相照》上映。次年，张谦与李雪健、斯琴高娃等合作出演的古装电视剧《尚方宝剑》播出。2001年4月15日，张谦出演由郭宝昌执导并编剧的电视剧《大宅门》首播，该剧主要讲述了同仁堂这个大家族随着国家、民族的历史改革而不断发展的故事，电视剧播出后收视获得中央电视台收视冠军，张谦在剧中饰演胡总管。2002年，由赵宝刚执导的爱情电视剧《拿什么拯救你，我的爱人》播出。

2003年，张谦与唐国强、斯琴高娃等合作出演的剧情电视剧《绝对权力》播出，张谦在剧中饰演黑道分子王国昌。12月11日，由胡军、林志颖、刘亦菲等主演的武侠电视剧《天龙八部》播出。同年播出的还有其参演的《水月洞天》等影视作品。2005年2月13日，张谦出演的爱情电影《情人结》上映，张谦也因此部电影获得第8届长春国际电影节“最佳男配角”奖。同年，其出演由鞠觉亮、黄菲飞执导的电视剧《幻影神针》播出。