但是两年后，信玄过世，昌丰也被胜赖外放，回到箕轮城管理庶务。但是在甲阳军鉴第五十一品中，记载了昌丰跟高阪昌信与信浓派间发生过的冲突。由于在下手边没有甲阳军鉴的原文，所以在下只能就之前看过的大概作个叙述：在一次酒宴上，信浓派的长阪与迹部跟旧臣派的昌丰与昌信对上，发生了严重的口角。不但是昌丰，连一向沉默寡言的昌信都借酒装疯似的滔滔不绝了起来，这可以说是重臣派与信浓派间最激烈的争执；最后，看到家臣间激烈的对立，昌信就苦苦的说了一句：“或许这杯酒就是武田灭亡的先兆啊！”（如果依照高坂昌信说的话来看，这应该是在胜赖攻下高天神城时发生的事情，但是因为在下手边没有书，在下也不敢妄加断言，希望手边有资料的版胞可以惠赐资料，让在下有个订正的机会。）此时，除了昌信，相信昌丰也已经看出了武田家已经是夕阳无限好、只是近黄昏。而且在甲阳军鉴中，还曾经记载过这样的一个故事：在石水寺的时候，（先前情提要一下：当时昌信曾经打算切腹追随信玄于地下，但是被一条信龙劝阻；之后内藤昌丰跟曾根内匠也来了，不知道是不是一条信龙叫他们来看着昌信、怕昌信一时想不开拿把刀捅死自己？）曾根内匠问过昌信“织田信长是个什么样的男人”，结果昌信的回答是“信长是个即使忘记带卫生纸（当然原文不是这样写的，但是这样翻译比较好懂......原文为「扇鼻纸」。）、也绝对不会忘记带着大小腰刀的男人”。听过昌信对信长的评论，加上昌丰的将才，在长篠之战爆发前夕，一听说信长亲自出马，昌丰立刻赶去劝阻胜赖，要胜赖绝对不可以出战、快点退兵回到甲斐。但是武田胜赖并没有采纳，还是决定要打这场仗。当然，结果就如同我们所知道的，武田军遭到毁灭性的打击，而昌丰也在这场战斗中被射得像一只刺猬一样、从马上跌落被杀，得年仅五十二岁。取下昌丰首级的人，相传是德川军的朝比奈弥太郎泰胜。

作为武田家的副将，昌丰的史料却是意外的少。或许对所有的“副将”而言，他们的责任就是辅佐主将、协助主将取得优势，却又不能夸耀自己的功劳。所以虽然身为武田四名臣之一，与家老笔头马场信房、以红衣部队出名的山县昌景和八卦多多的高阪昌信相比，昌丰的史料极少，或许这就是所谓“副将”的宿命也说不定。