霍峻字仲邈，南郡枝江（今湖北枝江）人，他的哥哥霍笃，曾在乡里召集家族武装几百人。霍笃死后，荆州牧刘表命令霍峻统领这支队伍。

建安十三年（208年），刘表病逝，霍峻便率部曲归降刘备，并被任为中郎将。

建安十七年（212年），刘备进至葭萌（今四川广元西南），准备回军南袭刘璋，留霍峻镇守葭萌城。张鲁得知，便派杨帛引诱霍峻共同守城企图夺取葭萌，霍峻知道有诈，对杨帛说：“你们可得到我的头，但得不到这座城。”杨帛无奈，只得退去。

后来刘璋又派扶禁、向存等领万余人，由阆水围攻葭萌，葭萌城为当时刘备在蜀中仅有的根据地，是刘备的后方（还不得而知刘备为何一年不去救援，可能是相信他）。霍峻率领将士坚守，一年之久未能攻下，其实葭萌城中霍峻军士仅数百人。霍峻趁对方疲惫之时，选拔精锐，伺机出击，大破刘璋军，乘机斩了向存的首级。