1927年，入职日活大将军摄影所，演了一段时间的小角色。1929年，在渡边邦男执导的《龙卷长屋》中获得了一个重要角色。之后，便时常出现在渡边导演的电影中，出演喜剧角色。

1939年，不仅活跃在新兴电影演艺部，还是吉本兴业的人气演员。期间，他在一次赶去试镜的路上，将一个私人笔记本落在了出租车里，本子上记载着被他默认为对手的名字，这一小小的意外事件经媒体曝光后，伴淳三郎在公众前脸面全无，甚至考虑过自杀了事。据说，在伴淳三郎之后上了那辆出租车的人，是歌手灰田胜彦，灰田什么也没说，将笔记本送了过去。之后，很长一段时间，伴淳三郎都无法在灰田面前抬起头来。

战后，曾暂时离开了银幕，与清川虹子、笠置静子等，在浅草的剧场中表演舞台剧。1951年，伴淳三郎在与自己同居中清川虹子的介绍下，成为新东宝的斋藤寅次郎导演一组的成员，返回银幕。同年，出演了斋藤寅次郎执导、高田浩吉住院的《吃七捕物帖:一番手柄》。很快，不断上位，获得了一个又一个主演的机会。

1955年开始，在松竹拍摄了《二等兵物语》系列。1961年起，与森繁久弥、弗兰克堺一同出演的《驿前》系列，成为当时的热门电影。

伴淳三郎在银幕上的形象总是滑稽人物，但是，1964年，他在内田吐梦执导的《饥饿海峡》中，扮演了一位老年刑警，不仅让观众见识到他正剧中的演技，也为他带来了每日映画竞赛会最佳配角奖。

1978年，接受了紫绶褒章。1981年10月26日，因食道静脉瘤破裂去世，享年73岁。临死前，前妻清川虹子一直守护在起身边，死后还担任丧主。11月3日，遗作《向日葵之歌》开始在电视放送。