徐小平于一九五六年出生在江苏省泰兴市。他的启蒙教育始于当地的襟江小学。在十八岁至二十岁那段青年时期，徐小平曾加入泰兴当地的小城剧团参与演出工作；在剧团演奏的间隙，他坚持自学，通过阅读书籍和聆听唱片等方式，刻苦钻研英语与古代汉语。一九七八年，他成功考入中央音乐学院，就读于音乐学系。一九八三年至一九八七年期间，徐小平自中央音乐学院毕业，随后进入北京大学任职，先后担任艺术教研室的教师、校团委文化部部长以及学生艺术团的指导老师，由此开始接触并参与到教学与办学相关的工作中。上世纪八十年代，国内兴起一股出国热潮，徐小平也参加了为期半年的英语培训，之后辞去北大教职，远赴美国华盛顿，在一家中餐馆从事洗碗工作。一年后，他凭借优异成绩获得加拿大萨斯卡彻温大学的录取通知书，并取得了该校提供的奖学金，得以与伴侣共同进入这所大学深造。完成研究生学业后，徐小平在海外尝试了多种职业，包括担任移民局的翻译、华语广播电台的节目主持人，也曾做过必胜客的外送员、UBS货运公司的卡车司机以及私人音乐课程教师等。九十年代初期，他选择回国创业，创办了一家唱片公司，然而此次创业并未成功，公司经营受挫后，他一度失意地返回加拿大。徐小平在海外求学期间，曾留下不少边学习边打工的生活照片。
一九九五年，徐小平应俞敏洪之邀，与王强一同加入新东方教育机构。次年，三人携手创办新东方咨询处，被外界并称为“新东方三驾马车”，共同推动学校业务发展。徐小平主要分管出国留学、签证咨询及移民事务，同时积极参与企业文化建设，主导梳理并弘扬“新东方精神”。随着当时中国留学热潮的持续升温，来自全国各地的学生纷纷慕名前来求学，新东方借此机遇实现了快速扩张与成长。二〇〇〇年左右，新东方早期管理层中出现家族化倾向，包括俞敏洪在内的多位管理者将亲属引入公司，由此引发内部矛盾。王强为此要求俞敏洪推动制度改革，并以辞职作为施压手段，徐小平也对此表示支持。为了留住这两位核心伙伴，俞敏洪着手对新东方进行体制改革，逐步建立起现代股份制管理体系，改革后俞敏洪持有45%的股份，徐小平与王强则各自拥有10%的股权。二〇〇一年，新东方教育科技集团正式成立。在此期间，徐小平积极推动公司内部治理结构的完善，倡导建立民主决策机制，包括对俞敏洪的个人权限加以制衡，并致力于将投票权、分红权与知情权等股东权益通过制度形式固定下来。他甚至一度带领部分管理层站在俞敏洪的对立面，双方关系紧张到几乎难以共存，最终在一次决定其去留的投票中，徐小平被迫离开新东方管理岗位，但他仍保留10%的股份，作为公司的重要股东之一。二〇〇二年，经协调后徐小平被重新请回董事会。二〇〇六年九月，新东方成功于纽约证券交易所上市，徐小平因其持股价值而被媒体称为仅次于俞敏洪的“中国第二富老师”。同年五月，一位曾在新东方学习的学生找到徐小平，向他推介一个旨在媲美Facebook的电子杂志项目，经过两小时深入交流，徐小平决定向其投资一百万元人民币；也是在同一年，通过兰亭集势创始人郭去疾的介绍，徐小平向陈欧创立的游戏平台gg-game注资十八万美元，获得10%的股权。尽管陈欧的创业项目初期发展并不顺利，甚至经历两次重大方向调整，徐小平为减轻其压力，刻意避免主动联系干预。最终，随着聚美优品成功上市，这笔十八万美元的投资价值飙升至约三亿美元；同年，徐小平还投资了跨境电商平台兰亭集势。二〇〇七至二〇〇八年间，徐小平与王强联合投资了红黄蓝教育、世纪佳缘等多个项目。二〇〇八年，兰亭集势接连获得两轮风险投资，两年内公司估值增长达二十倍。二〇一一年，徐小平正式离开新东方，与王强共同创立“真格”天使投资基金，徐小平主要负责投资决策，王强则侧重基金文化、组织建设与战略方向规划；截至当年十一月，真格基金已投资世纪佳缘、兰亭集势、聚美优品、红黄蓝、朗酷等约八十家企业，成为国内专注早期天使投资、项目数量最多的投资机构之一；十二月一日，真格基金与红杉资本中国基金联合成立新的真格基金，标志着其进入2.0发展阶段，徐小平与合伙人沈南鹏共同宣布，基金将更聚焦于天使阶段创业项目，计划两年内投资上百家早期创业公司；同年，真格基金还与红杉资本中国基金、险峰华兴共同向聚美优品进行总额为六百五十万美元的A轮投资，该笔投资最终获得五六百倍的回报，徐小平个人持有聚美优品8.8%的股份。真格基金二期共募集资金三千万美元，其中一半来自以往新东方的合作者，另一半来自红杉资本，可支持一百至一百五十家公司的投资。二期基金不仅为种子期企业提供资金，还引导大学生创业，开设寒暑假实习班，并通过举办论坛、商业计划大赛等活动，搭建起学生、企业家与投资者面对面交流的平台。真格基金至今已累计投资超过六百家创业公司，其中包括罗辑思维、小红书、VIPKID、ofo共享单车、美菜网、蜜芽、找钢网、英雄互娱等知名企业。二〇一四年八月十八日，徐小平出任聚美优品独立董事，并担任董事会下属审计委员会成员。二〇一六年，徐小平入选美国《福布斯》杂志“全球最佳创投人”榜单（Midas List）。二〇二二年，真格基金在胡润全球创投机构排行榜中位列第六十四名。二〇一五年四月十七日，欧美同学会·中国留学人员联谊会“海归创业学院”于北京成立，徐小平受聘担任首任院长。
在2016年，一个由众多科学家与企业家联合发起的民间科学奖项——“未来科学大奖”正式宣告成立。作为该奖项的重要发起人与支持者之一，徐小平先生个人出资二十五万美元，旨在专项奖励那些在物质科学等相关基础科学领域取得卓越成就、作出突出贡献的杰出科学家。这一举措不仅体现了社会力量对基础科学研究的高度重视，也为推动相关领域的长期发展注入了新的活力。
二零一三年五月十七日，由著名导演陈可辛执导的电影作品《中国合伙人》正式登陆全国各大院线，与广大观众见面。这部影片生动地描绘了三位主要人物——成冬青、孟晓骏与王阳——如何凭借自身的努力与智慧，从零开始共同创立名为“新梦想”的英语培训学校的奋斗历程。影片的故事情节在很大程度上参考并融入了徐小平、王强以及俞敏洪这三位现实中的教育界领军人物携手创办新东方教育科技集团的真实经历与创业细节，从而使得整部电影在艺术创作的基础上增添了浓厚的时代气息与真实感。影片所发布的《中国合伙人》主题海报设计鲜明，视觉冲击力强，有效地传达了影片关于梦想、友谊与创业的核心主题，这张海报也成为了电影宣传期间令人印象深刻的视觉标识之一。
在成功投资了多家上市公司之后，徐小平依然保持着对早期风险投资领域的执着与热情，这份坚持显得尤为难能可贵。他不仅持续关注主流创新项目，甚至对一些看似天马行空、稀奇古怪的创意也抱有开放态度，例如那个致力于实现真空穿梭的“子弹快轨”Hyperloop。回顾2015年，真格基金所投资的众多初创企业都取得了令人瞩目的成长，并赢得了市场的广泛认可，其中包括蜜芽宝贝、出门问问、格灵深瞳、Nice、找钢网、亿航无人机、野兽骑行、优客工场、易会、云造科技等一系列新兴的科技与互联网公司。更为重要的是，徐小平几乎为每一个所投项目都亲自站台、深入参与，事必躬亲，其尽心尽力的程度堪称创业导师中的典范，可谓是最为鞠躬尽瘁的引路人。 在徐小平位于国贸附近的住所里，几乎每天都有创业者往来其间。无论是获得鼓励与肯定，还是得到具体的建议与指点，抑或是进行深夜的长谈，或是轻松地把酒言欢，徐小平总是以他那种略带夸张却又充满感染力的表达方式，让每一位到访者感受到真挚的“温暖”，继而如同注入强心剂一般，带着满满的动力与亢奋重新出发。据闻，徐小平甚至曾将自己另一处私人住宅借给一位创业者居住，由于两处居所距离很近，那位创业者便时常登门与他交流。通过这样的密切互动，徐小平也得以获取更多一线的行业动态与市场资讯，在他看来，这样的交换让自己“赚大了”。