戊戌变法失败后，梁启超逃往日本，在横滨创立《清议报》，大力宣传改良主义，陈国祥与他一见倾心，引为知己。1907年，梁启超、蒋智由、陈国祥等在日本成立政闻社，发表宣言，创办《政论》。同年秋，陈国祥学成归国，任翰林院编修。在之后的三年中，陈国祥历任河南法政学堂校长、咨议局筹办处总办。辛亥革命后，被选为临时参议院议员，与梁启超、汤化龙联合民主党、共和党，组成进步党。1914年，任国会众议院议员、副议长。