赵启霖生于清咸丰九年（1859）。家境贫寒。得族戚资助，16岁时入县学。光绪八年（1882）以优贡生任教职，历署麻阳、武陵、澧州训导。十一年中举人。十八年成进士，选翰林院庶吉士，散馆授编修。三十二年正月，补河南道监察御史；九月，掌江苏道监察御史；十一月，兼署山西道监察御史。任职期间，诤谏言事。曾上疏11道，吁请澄清吏治、禁绝鸦片、改革教育、赈济灾黎，被誉为一时之清议。又请将王夫之、顾炎武、黄宗羲从祀文庙，为时人所称道。

赵启霖对于当时东三省局势甚为关切，认为“东三省为根本重地，近来介于（日俄）两强之间，协以谋我，日甚一日”，而吉林将军达桂等人“贪污猥杂，朋比为奸”，乃于三十三年正月上疏弹劾，致达桂等5人被革职。

同年三月，直隶道员段芝贵以1.2万金购歌妓杨翠喜献于农工商部尚书载振为妾，又以10万金为庆亲王奕劻祝寿，得迁署黑龙江巡抚。赵启霖疏劾段芝贵夤缘亲贵，庆亲王父子广收赂贿，以致得罪皇室权贵。段芝贵虽被革，他也以此落职，一时朝野大哗。上海《申报》评论此事并附《翰林打虎》漫画，题为“不畏强梁”。且有以此事为素材，撰写小说、戏剧及仿《长恨歌》为诗者。由此名声远震，与江春霖、赵炳麟被时人称为“乌台（即御史台）三霖”。旋以御史江春霖、赵炳麟、陆宝忠等交章保荐，得以开复原官。