程滨遗安徽省怀宁县高河埠程家冲人。父名苏仙。两岁丧父，自幼即从祖父容光读书。清光绪二十年（1894）中秀才，两年后中举人副榜。二十五年（1899）留学日本，入明治大学，修数理。越3年毕业归国。时南陵、宣城一带客民（由湖南、湖北及安徽各地逃难到皖南的平民百姓）苦于子弟不得入学，慕名聘请程滨遗前去设馆教学。先在南陵开办育青小学，接着创建炳灵、同安、文斗3校，在宣城创办求实小学、端安小学，又在南陵开设师范讲习所，培养师资。但不久，各小学及师范讲习所招生困难，再次电请他前往。程滨遗经学务处批准公假半年南下，到客民家中走访，苦口婆心劝民送子入学，并将南陵4所小学合并为储才高等小学，使招生问题得到解决。

三十三年（1907），怀宁中学堂闹风潮，久未平息，学界人士公推其接任校长。这是他在家乡办学的开始。宣统二年（1910），为兴学育才，各方奔走领取官租，向裕皖官钱局商借款，创办安徽高级农业学堂。三年，又与光明甫等创办私立专门法政学堂。民国元年（1912），募款创办江淮大学，私立专门法政学堂与官立法政学堂、公立法政讲习所并入，设立文、法两院系，主持法律系。同年6月与韦格六等人在安庆创办《民岩报》，以人民喉舌自许，秉笔揭露社会黑暗，颇受省内读者欢迎。