生于康熙年间，出身于农民家庭，幼年生母病逝，靠父亲和后母抚养成人。谢升庸自幼懂事，勤于家务，智力不凡，深得父母宠爱。因家庭经济所限，10岁时方进私塾读书。他珍惜宝贵时光，搬到五指石书室从师苦读。其师经常带他到五指石周围游山玩水，捕景作诗。升庸经常饮用书室附近的清泉，文思大进，为文下笔立就。此乃五指石“聪明泉”称谓之来由。

谢升庸读完私塾后，游学于平远县东石和嘉应州（今之梅州），学业有成，于清雍正十年壬子科（1732），考取举人。于清乾隆十年乙丑科（1745），考取三甲第103名进士。

谢升庸中进士后，任江南金坛县令。上任之前，他拜谒恩师于敏中，向于了解该县情况，请教治县之策。于敏中是江苏金坛县人，于乾隆二年高中状元，乾隆三十八年为首席军机大臣，即为宰相。

谢升庸刚到金坛县，即微服私访，得知当地权贵势力猖獗，吞食百姓钱粮，贪污国家税收，痛心疾首。为了震慑豪强势力，他按于敏中所授之计，先传于之家属到庭，进行讯问。四方豪强见状，胆颤心惊，感到新来县令，确与前任不同，连当朝大臣于敏中家属也敢得罪，只得乖乖上交钱粮。不到一年，便收清了三年所欠的国税几千两银子，得到万民拥护。朝廷悉知，允准以三分之一银两归升庸所有，他却分文不取，全部上交国库。谢升庸此举，功高顺民，于敏中对其备加赏识。