廖山涛在20世纪50年代从事代数拓扑的研究中，引进了特异上同调群间的一种乘法运算，研究了周期变换空间与不动点集间的联系；探讨了对称化消减同伦群，用以估计球丛第二阶段障碍类的问题。20世纪60年代研究方向转向微分动力系统，相继提出“典范方程组”和“阻碍集”两大基本理论，进行了奇点系统的研究，研究了Lyapunov指数的概念，得到了相当于乘法遍历定理的结果，证明了C1封闭引理，得到了星号系统收缩周期轨道有限的结果，在C1稳定性猜测这一中心问题上取得进展。

截至1997年6月，廖山涛在《数学学报》《北京大学学报（自然科学版）》《应用数学》和《力学》等期刊上共发文27篇，著有《微分动力系统的定性理论》，合著《同伦论基础》等，其他部分论著参考如下：

[1]廖山涛.NOTES ON A STUDY OF VECTOR BUNDLE DYNAMICAL SYSTEMS（Ⅱ）──PART 1[J].应用数学和力学（英文版）（9期）：805-818.

[2]廖山涛.ON LOCAL PRODUCTS AND DUAUTY OF POINCARE-ALEXANDER-LEFSCHETZ TYPE[J].Science in China，Ser.A，957（06）：39-55.

[3]廖山涛.周期变换与不动点定理——Ⅰ上积与特异上同调[J].北京大学学报（自然科学版），1957（01）：3-39.

[4]廖山涛.关于投影空间在微分流形内的实现[J].北京大学学报（自然科学版），1958（02）：3-11.

[5]廖山涛.PERIODIC TRANSFORMATIONS AND FIXED POINT THEOREMS——Ⅱ.MANIFOLDS[J].Science in China，Ser.A，1958，1（11）：987-1021.

[6]廖山涛.周期变换与不动点定理——Ⅱ.流形[J].数学学报，1958，8（1）：53-78.

[7]廖山涛.紧致微分流形上常微分方程系统的某类诸态备经性质（续）[J].北京大学学报（自然科学），1963（4）.

[8]廖山涛.AN ERGODIC PROPERTY THEOREM FOR A DIFFERENTIAL SYSTEM[J].Science in China，Ser.A，1973（01）：1-24.

[9]廖山涛.典范方程组[J].数学学报，1974（02）：100-109.

[10]廖山涛.典范方程组（续完）[J].数学学报，1974（04）：270-295.

[11]廖山涛.阻碍集与强匀断条件[J].数学学报，1976（03）：203-209.

[12]廖山涛.ON HYPERBOLICITY PROPERTIES OF NONWANDERING SETS OF CERTAIN 3-DIMENSIONAL DIFFERENTIAL SYSTEMS[J].Acta Mathematica Scientia，1983（04）：361-368.

[13]廖山涛.常微系统的某些一致性质及一个周期轨道存在定理的推广[J].北京大学学报（自然科学版），1985（02）：3-21.

[14]廖山涛.NOTES ON A STUDY OF VECTOR BUNDLE DYNAMICAL SYSTEMS（Ⅱ）──PART 1[J].应用数学和力学：英文版，1996.

1964 年，廖先生在北京大学期间讲授“同伦论”等课程。

廖山涛在教学上主张启发式和独立思考，高标准要求自己和学生。廖山涛在讨论问题时专心听取大家的意见，思考问题的症结。

廖山涛坚守人民教师的职责，培养了一批有深厚数学根基的学生，他们已成长为动力系统等研究领域的骨干和带头人，有的已成为学部委员，如数学家姜伯驹院士，数学家文兰院士，北京大学张筑生教授，汕头大学麦结华教授，北京大学数学科学学院孙文祥教授，清华大学章梅荣教授，清华大学唐云教授，纽约城市大学蒋云平教授等。

廖山涛的父亲廖子豪在家务农，粗通诗文和小学算术，对廖山涛的教育严格。母亲是曾平。

廖山涛于1942年与汪鸿仪结婚，两人育有三个儿子，长子廖章钜，次子廖章林，幼子廖秀北。

“廖山涛先生在中国的数学事业中形成一道特点鲜明的风景线，他是一位永不退色的学者，他的学术成就杰出。他在人们心中有不朽的位置。”（廖山涛诞辰100周年纪念会上数学家席南华院士评）

“他（廖山涛）作为微分动力系统理论的开创者，享誉世界，永远是我们学习的榜样。”（廖山涛诞辰100周年纪念会上数学家姜伯驹院士评）

“廖先生（廖山涛）是一位有战略眼光的大数学家，是一名真正的学者。”（廖山涛诞辰100周年纪念会上数学家张恭庆院士评）