仪凤三年(公元676年)春正月癸未，百官、“四夷”朝武则天于光顺门。遣左金吾将军曹怀舜等分往河南、北募猛士，不问布衣及仕宦。

调露元年（公元 679年）冬十月壬子，遣左金吾卫将军曹怀舜屯井陉。右武卫将军崔献屯龙门，以备突厥。

永隆二年(681年)唐高宗于二十三日再度任命裴行俭为定襄道大总管，右武卫将军曹怀舜、幽州都督李文晾为副，率军进击，以图击破突厥，安定北方。

永隆二年(681年)三月，曹怀舜与副将窦义昭领前军北进。因轻信关于阿史那伏念与阿史德温傅均在黑沙(今内蒙呼和浩特东北)以北、左右只有20名骑兵以下、乏粮的军情报告，便留老弱于瓠卢泊(今呼和浩特东北)，率轻锐倍道兼行，欲寻突厥决战。但至黑沙，一无所见，人马疲顿，只得引兵徐还。及至长城北，方遇阿史德温傅部，双方小战即各自引去。曹怀舜等撤至横水，又遇阿史那伏念军。于是曹怀舜、窦义昭、李文晾及副将刘敬同四军合为方阵，且战且行，过一日，阿史那伏念军乘风进击，唐军扰乱，曹怀舜等弃军而走，唐军大败，死者甚众。曹怀舜等聚集散兵，收敛金帛贿赂阿史那伏念，与其约和得还。阿史那伏念部也向北撤去。