少年博通好学，很擅长玄理及释氏义。十四岁时，曾赠沈约五言诗，被沈约、江淹、任昉所赞赏。在梁朝，初为秘书郎，后来担任太子家令，深为昭明太子赏识。天监十一年（512年）为侍中。天监十四年（515年），为豫章国内史，为政宽和，深得民心。普通六年（525年），转任吏部尚书，典掌吏部选事，出为晋陵郡太守。在郡清静不扰民，境内肃然。离郡还，吏民诣阙请立碑。中大通五年（533年），入朝为尚书右仆射。大同三年（537年），出为吴郡太守，在郡为政清静。大同九年（543年），入朝为尚书仆射，后任尚书令、侍中、翊左将军。侯景围台城，太清二年（549年）谢举卒于城中。谢举兼通儒学、玄学、佛学，讲经论，征士何胤自虎丘山赴往，举作《虎丘山赋》，并注《净名经》，常自讲说。今见《虎丘山赋》一篇，仅存赋目。原有文集，本传载目二十卷，文集于侯景之乱中散逸。《全上古三代秦汉三国六朝文》存其文二篇。《先秦汉魏晋南北朝诗》存其诗三首。