裴芬之长者好施，笃爱诸弟。初仕齐明帝萧鸾，历位羽林监。进入北魏后，以父勋，授通直散骑常侍、上蔡县开国伯，食邑七百户，除广平太守，固辞不拜，转辅国将军、东秦州刺史，在州有清静之称。入为征虏将军、太中大夫。徙封山茌县公，出为后将军、岐州刺史。

正光末年，元志西讨陇贼。军败，退守岐州，为贼所围。城陷，元志与裴芬之一同被擒，送于上邽，为莫折念生所害，追赠平东将军、青州刺史。