从山形市立第一寻常小学顺利毕业后，他离开家乡前往熊谷市，寄宿在哥哥家中并进入当地高等小学继续学业。然而，由于与兄长关系长期不睦，他最终选择离家出走，独自前往东京寻求发展。凭借母亲叔父的人脉以及与知名新剧派演员河合武雄的交情，他得以加入“文艺协会”成为一名新剧演员，跟随东仪铁笛学习并参与演出，在其主演的电影中担任一些龙套角色。在此期间，他坚持在正规英语学校进修，同时报考了东仪铁笛主持的“新剧研究所”研究生班，可惜未能通过选拔。此后，他短暂加入“中川竹三一座”，不久便转投计划进军电影界的“明石潮一座”，并在该剧团参与拍摄的几部影片中获得了少量戏份。1927年，他正式入职日活公司的大将军摄影所，在随后一段时间里仍多以配角身份出演电影。直到1929年，他在导演渡边邦男执导的影片《龙卷长屋》中赢得了一个较为重要的角色，由此开始频繁出现于渡边执导的作品中，并逐渐以喜剧形象受到关注。1931年，他返回东京，加入“曾我乃家五九郎一座”，与清川虹子等演员进行了多次合作。1934年，他转入大都映画公司，首次在电影中担任主角。此后他还曾效力于极东映画公司，并于1937年加入新兴电影公司的京都摄影所，参与多部忍者题材电影的拍摄。1939年，他不仅在新兴电影演艺部十分活跃，同时还是吉本兴业旗下备受观众喜爱的喜剧演员。然而，在此期间发生的一起意外事件却令他陷入尴尬境地：某次前往试镜途中，他不慎将一本私人笔记本遗落在出租车上，本子里记录了他私下视为竞争对手的艺人名单。此事经媒体披露后，伴淳三郎在公众面前颜面尽失，甚至一度萌生自杀念头。据说，随后乘坐那辆出租车的乘客正是歌手灰田胜彦，灰田发现笔记本后并未声张，而是私下将其归还。自此之后很长一段时间，伴淳三郎在灰田胜彦面前始终感到难以抬头。1940年，他与以饰演猫妖闻名的女演员铃木澄子等人一同前往夏威夷和旧金山进行巡回演出。第二次世界大战结束前夕，伴淳三郎接到了征兵召集令。体检当天，他刻意精心打扮，身穿女装前往现场。检查官见到他这般模样后勃然大怒，当场将他驱逐出体检站。最终，伴淳三郎通过吞服大量酱油（一升装）的方式引发身体不适，从而获得“肝脏病”诊断证明，成功免除了兵役。战争结束后，他曾暂时告别电影银幕，与清川虹子、笠置静子等人在浅草地区的剧场从事舞台剧表演。1951年，经由当时同居中的清川虹子引荐，伴淳三郎加入新东宝公司斋藤寅次郎导演的团队，重返电影界。同年，他出演了斋藤寅次郎执导、高田浩吉主演的影片《吃七捕物帖:一番手柄》。此后他的演艺事业迅速攀升，接连获得多个主演机会。自1955年起，他在松竹公司参与拍摄了《二等兵物语》系列电影。1961年开始，他与森繁久弥、弗兰克堺共同主演的《驿前》系列影片广受欢迎，成为当时颇具影响力的热门作品。尽管伴淳三郎在银幕上大多塑造滑稽幽默的角色，但1964年他在导演内田吐梦执导的《饥饿海峡》中饰演一位老年刑警，其深沉而富有张力的正剧表演不仅让观众看到他多样化的演技，也为他赢得了每日映画竞赛会最佳配角奖的荣誉。1978年，他获颁紫绶褒章以表彰其艺术贡献。1981年10月26日，伴淳三郎因食道静脉瘤破裂去世，享年73岁。临终前，他的前妻清川虹子一直陪伴在侧，并在其去世后主持治丧事宜。同年11月3日，他的遗作《向日葵之歌》开始在电视台播映。