因其兄赖荣与父亲赖艺关系紧张，故被立为土岐家的继承人。1552年美浓守护代长井规秀（斋藤道三）发动政变，将土岐赖艺驱逐出境。年仅6岁的赖次跟随父亲流亡至大和，依附于松永久秀。成年后的赖次一直致力于恢复土岐家对美浓的统治；怎奈势单力孤，加之织田信长攻占美浓，土岐家的复兴已然不可能。后来久秀背叛信长，赖次及时认清了形势，遂出奔至羽柴秀吉麾下；此后虽然没有立下什么显著的功劳，但是因为出身名门，故于1587年加入“马廻众”，领有河内550石。关原会战中属东军，参加了伊势安浓津防御战，与毛利方的宍户元次单挑负伤，立下战功。安浓津城破后成功脱出，撤往尾张清洲。战后被本多忠胜招为家臣，领有安房1200石。忠胜死后被德川家康招为旗本，转封上总，领地仍为1200石。1614年无疾而终，享年70岁。