三棱齿兽科是极度类似哺乳类且高度特化的犬齿兽类动物，但是它们的生理结构上仍保留许多爬行动物的特征。三棱齿兽科是从基础真犬齿兽类动物演化而来，像是犬颌兽。三棱齿兽科主要是肉食性或食虫性，虽然有些物种已经发展出杂食性的特征。三棱齿兽科的化石显示出它们与哺乳类有接近亲缘关系。三棱齿兽类是存活最久的非哺乳类兽孔目之一，从晚三叠纪存活到中侏罗纪。不清楚为何这群动物在侏罗纪灭绝。一个可能的解释是它们与其近亲哺乳类的竞争失败。大多数侏罗纪的哺乳类是肉食性动物，而且可能会捕食三棱齿兽类。一群称为三尖齿兽目（Triconodonta）的肉食性哺乳类，首次出现在晚侏罗纪，它们可能猎食任何小型动物，包括深处危险的三棱齿兽类。三棱齿兽科的化石发现于南美与南非，显示出它们存活在盘古大陆南部。