康熙七年（1668），因清廷裁撤推官一职，陈洪谏被改调为江南兴化县令。兴化县地处苏北地区，是一个深受黄、淮水患之害的穷县。明末清初，战乱频仍，河防失修，为害愈烈，几乎是年年都有水患。陈洪谏面对连年受灾，一望泽国，饿馑遍野，啼饥号寒，嗷嗷待哺的灾民，忧心如焚。此时正“值大吏以会勘河工驻境”，曾七上血书为民得请，发粟赈济，灾民赖存，活者甚众。“自捐千金供支应，毫不累民”。后历任江西抚州同知、袁州知府、陕西神木道，“慷慨住事，所至以才干称”，以年老致仕。

归田后，陈洪谏没有像有的庸官俗吏那样，忙于置田产、修宅院，过养尊处优的寓公生活，而是想着怎样为家乡父老做点有益的事情。旧州城朝阳门外，当时有两条通衢要道，一条南通济南府，明代在南关大街有一座骑道门楼，名曰“玉皇阁”，非常壮观；另一条东通武定府（今惠民），他想：如果在柴市街东首也建一座骑道门楼，才相得益彰，增添州城的壮观雄姿。为此，陈洪谏就亲自查看地形，丈量基地，与知州会商，设计绘图，购置物料，招募工匠，慷慨捐资，于康熙三十年（1690）建成“文武阁”。阁外断桥圯路，一并修整，“州城百姓感颂之”。