1935年3月，国民政府军事委员会为统一全国陆海空军人事，在军事委员会内设置铨叙厅，蒋介石委林蔚任第一任厅长。林蔚作为蒋介石的心腹，他先后两次将最高人事部门签报晋升他为上将的名字划掉，抗战开始后，国民党政府主席林森颁发给军事委员会各部、厅、会主官一枚忠勤勋章，林蔚在批阅进，将自己的名字删去。

在个人关系方面，他对部下只认忠诚、踏实、不唯乡、唯派，不培植个人帮派，专心一意地为蒋介石效劳。1937年7月7日，卢沟桥事变爆发，军事委员会于是年底在石家庄设立行营，林蔚被任命为参谋长。

1938年4月，林蔚调任待从室第一处主任。

1939年初，林蔚接杨杰任军令部次长。同年5月，桂林行营成立，白崇禧任主任，林蔚任军令部次长兼行营参谋长。

1941年1月，成立中国缅印马军事考察团，林蔚任副团长（团长为商震）率考察团于同年2月出发，到缅甸、印度、马来西亚考察约三个月之久，搜集有关经济、政治、军事资料，编成中国缅印马军事考察团报告书。这次考察，为日后中国远征军出征缅印打下了基础，也为他出任参谋团团长作了准备。

1941年12月，中国组织远征军第一路军，入缅会同英、美军联合对日作战。军队的指挥调动都是由林蔚通过电台，向远在三千英里之外的蒋介石报告，待蒋介石同意后方能执行。蒋介石的命令朝令夕改，搞得中国军队指挥官和史迪威无所适从。林蔚作为参谋团长也无可奈何，显得无能为力了。

1942年6月，林蔚率参谋团人员返回昆明。同年，林蔚二次调任待从室第一处主任，兼军事委员会桂林办公室副主任，同陈布雷一起，成为分掌蒋介石军事、政治的两个大管家。

1944年2月，林蔚由军令部次长调任国民政府军政部政务次长。

1945年当选为中国国民党第六届中央监察委员会委员。

1946年6月，国民政府军事委员会改为国防部。白崇禧为国防部长，陈诚为参谋总长，林蔚任国防部第一次长。

1946年，在南京中国国民党党部举行全党代表大会，推选总裁，结果是陈果夫多蒋介石一票，这可吓坏了林蔚和陈立夫。林蔚极力说服陈立夫，让其找主持主票人“CC派 ”的谷正纲密商，由陈立夫和谷正纲各补投蒋一票，才使蒋介石当选连任总裁。

1948年8月，林蔚代理参谋总长。

1949年4月，浙江省主席陈仪酝酿反蒋起义，被汤恩伯出卖而遭拘捕。这年底，陈仪由浙江转到台湾，被关在基隆要塞内，后双转到台北励志社。林蔚奉命去劝说陈仪向蒋介石认错，被陈拒绝。林蔚作为陈仪的老部下，在陈仪被杀害时，他没有为陈在蒋介石面前求情。

1950年2月，林蔚任东南军政长官公署副长官，同长官陈诚一道为蒋介石经营台湾。同年3月，蒋介石复职。林蔚任台湾地区领导人办公室政策顾问晋升为二级陆军上将。

1953年后，改任政策顾问。

1955年，林蔚病逝于台湾。