更新时间：2023-08-30 22:25
十八岁时，便随其叔父陈庆云在山东、安徽、河北等省剿匪。起初，因立军功被授予知县衔，赏戴花翎，仍在军中效力。不久陈泽霖又随大军剿平陕西、甘肃、西北回族聚居地等处匪患。因其战绩突出，经其统领向朝廷请功，改任为山西知府，以高一级的道台身份起用。
光绪十三年（1887年）引荐到省，担任山西省营务处提调。当时汾河涨大水，河堤溃决，屡次抢修都没成功。山西巡抚就委派陈泽霖督办堤工，负责堵堤抢险，并给他提供大量的劳工和石块。陈泽霖接受任务后，深入防洪大堤第一线，亲临决口处踏勘，经过一番研究，决定从最关键处着手，带领官吏和民工日夜奋战。由于他身先士卒，抢险的官吏和民工个个士气高涨，奋勇筑堤。经过几昼夜的奋战，终于堵住了决口，消除了管涌等隐患，保住了汾河大堤的安全。朝廷根据他的功劳又给他加授山西盐运使衔，仍担任山西全省营务提调。其时关外葫芦峪有一匪窟。这些匪徒象兔子一样狡猾。官兵这边捉，他们就往那边跑，多年来剿而不灭。陈泽霖闻知此事后，立即带兵前往。经过仔细侦察，进行了严密的围捕部署，结果将匪徒一网打尽，为当地消除了多年未除的匪患，使社会得到了安宁。
霖穿着夜行服，骑着马，带着一队人马，拿着武器。对他们说，今晚一切都听从我的命令！大家都不知道他要干什么，因为他怕走漏风声，让匪首跑掉，所以谁也不告诉。经过一夜的搜寻，快到天亮时，终于找到了这家伙的巢穴，一举将他捉拿归案，投入狱中。从此，那些强盗们知道宁武府来了个非常厉害的陈青天，人人闻风丧胆，个个销声匿迹，社会从此安宁。老百姓交口称赞。第二年离开时，当地人依依不舍，宁武绅士和民众自发地刻“去思碑”，刻下陈泽霖剿匪的事迹，以怀念这位为当地带来安宁的清官大老爷。
陈泽霖回省后，继续担任营务提调。有一年，归化城因为纳税不公，引起商民们罢市。巡抚大人说：“这事只有陈泽霖才能平息”。于是命令陈泽霖前往处理此事。陈泽霖到达后，深入商民中调查了解，发现引起罢市的原因是赋税不公。于是，他对于盈利高的商民适当增加税赋，对于微利的商民降低税赋，扶持新开业的业主。这些做法得到了大多数商民的拥护，大家立即开市，市场秩序马上恢复了正常。等到陈泽霖离开的时候，商民们都拉着他的车辕，不愿松手，想留住这位体察民情、为民办事的好官员，并赠送“惠我边陲”的匾额。
光绪十八年（1892年），陈泽霖调任蒲州知府。到任后也象治理宁武府一样，传令各县对于鳏寡孤独等弱势群体予以安抚，对于贫困潦倒之人予以体恤。这年，又接到朝廷御旨，被调任潞安府。第二年调任潞郡府。潞郡府旧有上党书院，专门教授八股文。陈泽霖说：“这不足以养通材也。”于是筹建莲池书院，传授诗词古文，为当地培养了大批的人才，在当时传为隹话。当时为了加强地方的社会管理，他十分注重地方管理组织——保甲的建设。颁布文告，督促各县切实遵行。在潞郡府任职5年，政声卓著。通过吏部考核，政绩优秀，被提升为冀宁道兼署山西按察使。没过多久，又调任江西按察使。
光绪二十五年（1899年）夏，慈禧太后召见他。在交谈之中，西太后非常欣赏他的才能，说：“你是将门之后（陈国瑞之侄儿），现在派你去为国家守东南。”于是任命他协办江西全省军务。
光绪二十六年（1900年）春，朝廷又任命陈泽霖统领武卫右翼先锋军。朝廷下旨命令他驻守江南宿迁这一咽喉之地，召募兵丁，精心训练，以备朝廷调用。岂料刚刚成军，八国联军就攻破天津、大沽而会逼北京。陈泽霖便奉旨调往北京增援。
进京途中，于河北景州听信当地乡绅谗言，与义和团发动了震惊世界的“朱家河惨案”，200名左右天主教教徒被残杀。
八月，八国联军攻占北京。西太后慈禧带着光绪和王公大臣仓惶逃到西安。她一边下令清军斩杀义和团，一边命李鸿章为议和大臣。西太后回北京后，想到赶来扶危护驾的几个臣子，还是尽忠的，没有功劳也有苦劳，忠心可嘉，准备逐一地予以重用。陈泽霖就是之一。光绪二十九年（1903年）夏，慈禧准备起用陈泽霖这个扶危护驾的臣子。于是，陈泽霖奉诏乘船北上见驾。不料刚到京城，还来不及进宫见驾，就一病不起。冬月在京邸去逝，享年62岁。
慈禧太后闻知陈泽霖的死讯后，非常惋惜。对他和他的长子予以恩赐。一是让担任部郎官的长子大文补刑曹（分管刑事的官）的缺，并诰封为资政大夫。二是给予陈泽霖格外的荣誉，准以太子启蒙老师的规格发丧。一路允许进城，官邸驿站接待。