宋小濂跟随李金镛奔赴漠河，一路上他毫无抱怨辛劳困苦之意，悉心考察了中俄两国边境。对清廷不注重加强边防，强邻侵境的现实，他写了七律《雅克萨城怀古》，来抒发自己的忧国情怀，遣责清廷的腐败无能和将国土拱手让人的行径。

宋小濂来到漠河金矿局，与李金镛朝夕相处。李金镛的言行对他产生了很大影响。宋小濂尤其钦佩李金镛在对俄交涉中不畏强权，为民请命，筹办矿务不惮劳苦，关心部属胜过自己的品格。因此，在漠河期间，宋小濂尽心尽力协助李金镛处理矿务各事。

在闲暇之余，宋小濂与同仁刘建生、屠荫堂、钟勉孚等10人，组成了“塞鸿诗社”。大家拈题分韵，斗险争奇，为边塞的文学繁荣，树起了一面光辉的旗帜。

1890年，李金镛死于任所不久，金厂被俄人占有。经多方面交涉，方由北洋派员收回，并委宋小濂为金厂提调。

在宋小濂任金厂提调期间，他多次与俄方交涉，争得了不少国家尊严和民族利益，并写成了《北徼纪游》一书。最可贵的是他在《北徼纪游》一书中不但详细记述了自己由齐齐哈尔至漠河的路途见闻、李金镛创办漠河金矿的经过，而且写出了广大官吏和矿工不畏寒苦，奋发创业的精神。

1904年，齐齐哈尔副都统兼垦务大臣程德全求才，很欣赏宋小濂的文才与谨慎谦恭，请他在自己幕府中任文案处总理。因他才华出色，程德全保举他试署海伦厅同知。不久，又保奏他升为道员。

1906年8月12日，宋小濂被提升为黑龙江省铁路交涉局总办，负责铁路交涉事宜。据理力争，虽屡经挫折，仍不稍退让，与俄人相持两年余，会议140余次，于1907年秋，终使俄国侵略者同意签订购地、木植两改订合同，收回被沙俄侵占的中东铁路附近的十分之九的林区，增加地租和木煤税，挽回利权。

铁路交涉事将成，抚蒙实边事重，同年冬，出任呼伦贝尔副都统。1911年，升迁到江省民政司使司，1912年改任都督兼民政长。翌年，宋小濂被调到北京，居京6载，无所事事。1919年又起用为东省铁路督办。

1922年挂冠复进京。是时皖系和直系军阀把持着政权。进京后，郁郁不得志，又加落到衰老之年，就不得不在厚俸中，过起把酒看花的有职无权，半朝半隐的闲散生活。名新居日止园，以“好学不知老”名其室曰晚学斋。

光绪三十年（1904），程德全任齐齐哈尔副都统（兼垦务大臣），闻知宋小濂的才干，便调他到省城任文案处总理。

因其博学多才，精通吏治，不到三年便被程提升为秩监司长官。后又试署海伦直隶厅同知（清代常于新设置地区设直隶厅，以同知为行政长官）。

修筑东清铁路后，中国在哈尔滨设铁路交涉总局，宋小濂任总办。光绪三十二年（1906），外务部派他到哈尔滨与东省铁路（亦称东清铁路、中东铁路）公司总办霍尔瓦特会议，交涉改订由前负责铁路交涉的周冕迫于沙俄势力，擅自与俄方订立的购地、伐木合同。

当时中俄所订展地、伐木、采煤合同使中国主权受到侵犯，他和张寿增、王莘林、涂凤书等据理力争，与俄人相持近两年，会议一百四十余次，终于在光绪三十三年（1907）废弃前约，先后改订上述三项合同，挽回很多主权。光绪三十三年（1907年）十月后宋小濂又被任为暂护呼伦贝尔副都统，后改任呼伦贝尔兵备道员。他为加强边疆防卫，亲自踏察一千五百余里国境线，写出《呼伦贝尔边务调查报告》。

他整顿重设二十一座边防卡伦、创办学校、设置警察、清理税制、四处巡视、抚慰地方，为呼伦贝尔地方的安定发展和民族团结做出了很多有益的工作。

当与俄方官员会勘西段国界时，俄人骄横，欲将满洲里划入俄界。宋小濂大义凛然，坚持条约，寸土不让。宣统三年（1911），宋小濂升任黑龙江民政长，同年又署黑龙江巡抚。

民国初建，宋小濂被任为黑龙江省都督兼民政长，他在黑龙江二十余年，熟悉边情，多次与俄交涉，屡挫其锋，俄虑小濂，得逞其谋，乃藉齐齐哈尔巡警检查俄籍朝鲜人之故，对北洋政府施以威胁，因此宋小濂于民国二年（1913）被调入京。

俄国十月革命后，东省铁路长春以上段由中苏事办，北洋政府于民国八年（1919）命宋小濂任中东铁路督办。他到任后，组织新的董事会。更换管理局长，亲自按站巡阅全线，勉励职工、询问旅客，对应兴应革事项详察通筹，著著规划，力求改良，有《巡阅东省铁路纪略》记其事。

然而事功有成，谤亦随之。时年六十三岁的宋小濂不得不提出辞职，后即定居于北京。

民国十五年（1926），宋小濂因病逝世，终年六十七岁。

其友王树楠的悼诗中称“公之伟烈彰于国防，履虎之尾，而不敢伤，不兵而武，返我侵土”。

张锡銮说他是作硬诗、写硬功夫字、行硬事的三硬先生。宋小濂善于作诗，书法也颇具特色。

其诗以古风见长，率皆伤时忧世，有感而发激昂慷慨，直抒胸臆，气势磅礴，感情沉郁。

他的书法则以颜真卿为宗，笔法雄健，结体遒劲，在流宕中蕴有雄浑肃穆之意。其著作除上述《报告》、《纪略》外，还有《北徼纪游》、《边声》、《北道集》、《晚学斋诗草》。