1988年毕业于中共中央党校。

1990年4月任南京军区政委、党委书记。

1992年11月－1998年8月任广州军区政委、党委书记。

他是中共第十三届、十四届中央委员，第九届全国人大常委会委员，第九届全国人大财政经济委员会委员，第十届全国人大财政经济委员会副主任委员。

1988年9月被授予中将军衔。

1994年5月晋升为上将军衔。

2005年2月12日因病在广州逝世，享年72岁。

史玉孝同志在解放战争的号角声中投身革命，入伍后参加了解放大西北、青海尖区扎剿匪、抗美援朝、康藏高原平叛等重大战役战斗，作战中机智勇敢，英勇顽强，先后荣立大功1次，小功和三等功各2次，用青春热血谱写了一个革命者的战斗开篇。

在担任基层主官期间，史玉孝狠抓部队战备训练和思想政治建设，身先士卒，以身作则，带领部队争创一流成绩，部队全面建设不断得到新的发展。十年动乱期间，他以对党的事业和部队建设高度负责的精神，坚决抵制林彪、江青反革命集团和“极左”思潮的影响，使部队始终保持高度稳定和正确的政治方向。他善于运用典型推动工作，培养和宣传了“硬骨头六连”这一享誉全军的重大典型。

他任军政治委员期间，于1984年率部执行云南前线边境轮战任务，按照军委作战方针，亲临前沿阵地，周密部署，深入动员，精心指挥，不断总结和推广作战经验，出色地完成了上级赋予的作战任务。

在1989年制止动乱、平息反革命暴乱的斗争中，他立场坚定，旗帜鲜明，率领部队赴京担负戒严预备队任务，坚决执行中央军委的命令、指示，圆满完成了各项任务。

在著名的“98抗洪”中，史玉孝同志坚决贯彻执行江主席“严防死守”、“确保长江大堤安全，确保重要城市安全，确保人民生命财产安全”和“决战决胜”的战略方针，深入抗洪一线，亲自指挥抗洪决战，率领部队与兄弟单位和人民群众患难与共，顽强拼搏两个多月，战胜了长江8次洪峰，创造了抗洪史上的伟大奇迹，为保卫人民群众的生命财产安全和改革开放的成果作出了突出贡献。在组织和领导驻香港部队筹建和进驻的过程中，他着眼于“政治上特别过硬”，多次亲临驻军蹲点和检查指导，为驻军的全面建设作出了一系列的正确决策，为部队顺利进驻香港履行防务作出了重要贡献。

史玉孝在担任大军区领导职务期间，坚决拥护以江泽民同志为核心的党的第三代领导集体，认真贯彻落实邓小平新时期军队建设思想、国防和军队建设思想，坚持以军委新时期军事战略方针为统揽，以江主席“五句话”总要求为指导，善于抓大事、把方向、谋全局、统班子。担任南京军区政治委员期间，他高度重视各级领导班子和干部队伍建设，大力加强思想政治工作，在基层积极倡导开展“四不一有”活动，进一步打牢了部队建设的基础。针对东南沿海敌情复杂的特点，他深入海岛调查研究，指导部队抓好战备训练和防间保密工作，有力地加强了海防建设。调任广州军区政治委员后，结合部队地处改革开放和军事斗争准备前沿的实际，并与军区其他领导同志一道，极探索新形势下治军的特点规律，形成了“打基础、抓改革、保稳定、促发展”的正确思路，指导部队深入开展“四个教育”，狠抓营区综合整治、封闭式管理和战备训练，大力开展军警民共建活动，培养了“深圳特区好六连”、“新时期英雄战士”李向群等一批在全军有重大影响的先进典型，使部队有效地抵制了“酒绿灯红”的侵蚀，保持了政治上的坚定和思想道德上的纯洁。他坚持把工作重点放在基层，注重部队的基础建设，全区部队的生活设施得到了很大改善，部队建设形势一年比一年好。他走遍了华东、华南两大战区所有军分区，推动了国防动员、民兵预备役工作的深入发展。老干部的生活条件也因为他的倾情关注，得到了很大的改善。

史玉孝在他的五十多年的革命生涯中，一贯忠于党、忠于祖国、忠于人民，为解放全中国，为国防和军队建设事业献出了毕生的精力。他认真学习马列主义、毛泽东思想、邓小平理论和“三个代表”重要思想，坚持党的基本理论、基本路线，讲学习，讲政治，讲正气，具有坚定的政治信念和政治立场；他博古通今，勤于思考，勇于探索，工作敢抓敢管，善于打开工作局面，具有出色的指挥才能、高超的领导艺术和丰富的政治工作经验；他事业心强，工作勤奋，求真务实，执行上级命令坚决果断，具有高度的组织纪律观念和严谨扎实的工作作风；他坚持原则，公道正派，光明磊落，襟怀坦荡，淡泊名利，顾全大局，团结同志，爱惜人才，一切从党和人民的利益出发，具有共产党人纯洁的党性和高尚的道德情操；他始终牢记解放军性质宗旨，心系基层，情系官兵，体恤下属，为基层办了大量的好事实事，具有很强的群众观念；他艰苦朴素，廉洁自律，克己奉公，不谋私利，对家属、子女和身边工作人员要求严格，具有共产党员的博大胸襟和高风亮节。

史玉孝的一生是革命的一生，战斗的一生，全心全意为人民服务的一生。他以自身的实际行动，实践了为共产主义事业奋斗终身的誓言。他的逝世，使中国共产党失去了一位优秀党员，解放军失去了一位优秀的政治工作者和高级指挥员。（《南方日报》发）