相传桓武天皇(公元737～806年)在南殿时，一只黑鸟携一口太刀飞来伏于帝前，说明自己是伊势神宫来使后便飞走了，并将太刀留在了原地。传说此鸟绝非凡鸟，而是在日本神话中深有影响的八尺鸦。太刀“小乌丸”因此而得名。

天庆之乱（939年）时，朱雀天皇将此刀下赐于前去追讨平将门的平将军贞盛，自此，小乌丸就成为了平氏一族世代相传的重宝。

元历二年（1185年）三月，源平两军在门司和赤间之间的坛之浦海面展开了最后的决战，战斗之惨烈，平家的武士几近战死，妇孺全数跳海自尽。坛之浦之战，平氏灭亡，自此，见证了平氏辉煌和衰亡的“小乌丸”也不知所踪。

600年时光白驹过隙，江户时期的天明五年（1785年），失踪的“小乌丸”竟然神秘的重现了。平氏的后裔伊势家展示了小乌丸及其刀装，以及世代流传的相关文书记载，其文书所记“本家远祖贞盛因讨伐将门得以恩赏，赐小乌之剑。嫡子相传至贞丈，三十代”。宽政十二年（1800年）编写的《集古十种》也刊载了小乌丸的绘图。