642年（贞观十六年），段志玄患病。唐太宗前往探视，并打算封其子为五品官。段志玄请求将官职封给弟弟段志感，唐太宗遂封段志感为左卫郎将。不久，段志玄病逝，终年四十五岁，赠辅国大将军、扬州都督，谥号庄肃（一作忠壮），并陪葬昭陵。

长孙皇后出葬时，段志玄与宇文士及分别统领兵马守卫肃章门。太宗在夜晚派遣使者到达他们两人驻所，宇文士及开门放行，段志玄则闭门不让使者进来，并道：“军门夜晚不能开。”使者道：“我有皇帝的手敕。”段志玄道：“夜间难辨真伪。”使者无奈，只好等待到天明。太宗听说后，称赞道：“这是真正的将军，周亚夫也不过如此。”

李世民：司徒赵国公无忌、……故辅国大将军扬州都督褒忠壮公志元、……故徐州都督胡壮公秦叔宝等：或材推栋梁，谋猷经远，纲纪帷帐，经纶霸图；或学综经籍，德范光炜，隐犯同致，忠谠日闻；或竭力义旗，委质藩邸，一心表节，百战标奇；或受命庙堂，辟土方面，重氛载朗，王略遐宣。并契阔屯夷。劬劳师旅，赞景业於草昧，翼淳化於隆平。理怀沈毅，气干强雄，蜀汉委质，早效忠款。颍川从我，备尽心力，预艰虞於藩朝，陪戎征於阃外。勤宣阶陛，功表旌旗，西城之地，襟带巴蜀，藩翰之重，实俟勋庸。

吕温：褒公虎臣，先运而臻。谒帝太原，许唐以身。拥剑驾气，腾风跃云。积忠累仁，光有厥勋。建旄北伐，细柳宵屯。风谧霜凝，严扃达晨。天子之使，驻车军门。安众秉威，此真将军。侁侁桓桓，克壮有闻。

刘昫：敬德夺槊陷阵，鼓勇王师，却赂报恩，竭忠霸主。然而奋拳负气，非自全之道；文皇告诫之言，可为功臣药石。叔宝善用马槊，拔贼垒则以寡敌众，可谓勇矣。知节志平国难，拜隼篽则致命辅君，可谓忠矣。而并晓世充之猜贰，识唐代之霸图，可谓见几君子矣。志玄中镝不言，竟安师旅。公谨投龟定议，志助储君。皆所谓猛将谋臣，知机识变。有唐之盛，斯实赖焉。

643年（贞观十七年），唐太宗将二十四位功臣的画像挂在凌烟阁，段志玄位列第十。

668年（总章元年），段志玄等三十六位太原元从、西府旧臣被唐高宗评为第一等功臣。

705年（神龙元年），唐中宗追封前代功臣二十五家，段志玄也在其中，“所食实封，并依旧给”。

779年（大历十四年），唐代宗评定前代功臣，段志玄与李孝恭、尉迟敬德等人同列第二等二十四人之内。

780年（建中元年），段志玄与裴寂、刘文静等三十四人被定为功臣上等。

祖父：段瑗，北齐平陵县令

父亲：段偃师，隋朝太原郡司法书佐，跟随唐高祖起兵，官至散骑常侍、郢州刺史、益都县公。

段志感，左卫郎将。段会，字志合，折冲都尉。

段瓒，左屯卫大将军、褒国公。

段瓘，朝邑县令。

段珪，宣州长史。

段怀简，段瓒之子，太子詹事、褒国公。

段怀昶，段瓘之子，德州参军。

段怀晏，段瓘之子。

段怀皎，段瓘之子。

段怀本，段珪之子，礼部郎中。

《旧唐书·卷六十八·列传第十八》

《新唐书·卷八十九·列传第十四》

《资治通鉴·卷一百八十四·隋纪八》

《资治通鉴·卷一百八十八·唐纪四》

《资治通鉴·卷一百九十一·唐纪七》

《资治通鉴·卷一百九十四·唐纪十》

古典小说《说唐全传》中，段志玄作段志远，是开唐四老将之一，封定国公，征辽东时在凤凰山被盖苏文杀死。

《兴唐传》等隋唐评书中，段志玄作段志贤，原为隋朝大将，与花公吉、花公义、马三保、殷开山、刘弘基同守金堤关，都使大刀，号称“六口大刀镇金堤”。贾柳楼四十六友反山东，程咬金斧劈花公义，秦叔宝枪挑花公吉，夺取金堤关，段志玄四人投奔潼关大帅魏文昇，李渊起兵时献潼关归降，封开国公。

段志玄墓是昭陵陪葬墓之一，位于陕西礼泉县九嵕山。

段志玄碑立于唐朝贞观十六年（642年），现存于昭陵碑林第一室。碑额以篆书阳刻“大唐故右卫大将军扬州段公之碑”，碑文以楷书书写，共32行，满行65字，漫漶过半。