杲少好学，工书画，舅张融有高名，杲风韵举动，颇类于融，时称之曰：“无对日下，惟舅与甥。”起家齐中军法曹行参军，太子舍人，卫军王俭主簿。迁尚书殿中曹郎，拜日，八座丞郎并到上省交礼，而杲至晚，不及时刻，坐免官。久之，以为司徒竟陵王外兵参军，迁征虏宜都王功曹史，骠骑晋安王谘议参军，司徒从事中郎。梁台建，以为骠骑记室参军，迁相国西曹掾。天监元年，除抚军长史，母忧去职。服阕，拜建威将军、中军临川王谘议参军，寻迁黄门侍郎，右军安成王长史。五年，迁御史中丞。

杲性婞直，无所顾望。山阴令虞肩在任，赃污数百万，杲奏收治。中书舍人黄睦之以肩事托杲，杲不答。高祖闻之，以问杲，杲答曰“有之”。高祖曰：“卿识睦之不？”杲答曰：“臣不识其人。”时睦之在御侧，上指示杲曰：“此人是也。”杲谓睦之曰：“君小人，何敢以罪人属南司？”睦之失色。领军将军张稷，是杲从舅，杲尝以公事弹稷，稷因侍宴诉高祖曰：“陆杲是臣通亲，小事弹臣不贷。”高祖曰：“杲职司其事，卿何得为嫌。”杲在台，号称不畏强御。