1937年，郑小山出生。1950年，13岁的郑小山走上艺术道路，跟着剧团四处演出，北京天桥、上海大世界、西安平安商场等处都留下他的足迹。郑小山所说的《戏剧与方言》《对对联》《卖布头》等传统相声给观众留下深刻印象。1984年，郑小山赴沈阳参加全国首届相声大赛，受到侯宝林、马三立的好评。郑小山是哥哥，弟弟郑平安年少8岁。

2019年6月24日上午10点15分，郑小山在深圳逝世，享年82岁。