谷吉在汉元帝时任卫司马。汉元帝初元四年（前45年）(《资治通鉴》第29卷记载为公元前44年夏天)，匈奴郅支单于派到汉朝的侍子由汉朝送回匈奴，谷吉奉命护送出使匈奴。御史大夫贡禹、博士东海匡衡等主张将侍子送至边塞就回来，谷吉上书，愿送至单于庭，以表示汉朝的信义。

（谷吉）书言：“中国与夷狄有羁縻不绝之义，今既养全其子十年，德泽甚厚，空绝而不送，近从塞还，示弃捐不畜，使无乡从之心，弃前恩，立后怨，不便。议者见前江乃始（注：汉使节，干江、乃始，被郅支困辱于北匈奴）无应敌之数，智勇俱困，以致耻辱，即豫为臣忧。臣幸得建强汉之节，承明圣之诏，宣谕厚恩，不宜敢桀。若怀禽兽心，加无道于臣，则单于长婴大罪，必遁逃远舍，不敢近边。没一使以安百姓，国之计，臣之愿也。愿送到庭。”