元谦的父亲元赞，系北魏孝文帝第五子广平武穆王元怀之孙，广平文懿王元悌之子，袭封广平王，534年随北魏孝武帝进入关中。元赞在西魏是“十二大将军”之一，颇受礼遇。

天和三年（568年）八月乙丑，韩国公元罗去世。天和四年五月己丑（569年5月31日），周武帝命元谦续封北周第二代韩国公，以绍魏后。