承治4年（1180年）5月，以人王举兵反抗平氏，得知消息的平氏一方派大军进行镇压。此时佐贯广纲以平氏一方足利忠纲的部下的身份，参加了此次讨伐以人王、源赖政的军事行动。但此后不久因不明原因，佐贯广纲来到关东，臣服于源赖朝，做了镰仓方的御家人。养和元年（1181年）7月20日，在鹤冈八幡宫大殿奠基仪式上，佐贯广纲和源义经、畠山重忠一起接受了宝马的赏赐。

元历元年（1184年）2月佐贯广纲配属于源范赖麾下的关西平氏讨伐军，并参加了一之谷之战。文治五年（1189年）9月参加了讨伐奥州藤原氏的奥州之战。建久元年（1190年）11月在源赖朝上京期间佐贯广纲担任沿途的供给工作。跟随的名单上有佐贯广纲的兄弟佐贯五郎、佐贯六郎广义的名字。建久2年（1191年）3月镰仓的小町大路发生火宅，佐贯广纲的住宅被烧毁。同年润十二月，在源赖朝去三浦义澄的新住宅访问期间，佐贯广纲和三浦义村、三浦景莲共同进行了相扑表演。建久3年（1192年）11月，在修缮永福寺期间，佐贯广纲和畠山重忠、大井实村共同搬起移动了池边的一块巨石，被源赖朝称为大力士，因此受到表彰。