更新时间：2024-10-11 09:47
《概率论与数理统计》是高等院校理工类、经管类的重要课程之一。在考研数学中的比重大约占22%左右（数一、数三）。包括概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容。
概率论与数理统计是数学的一个有特色且又十分活跃的分支，一方面，它有别开生面的研究课题，有自己独特的概念和方法，内容丰富，结果深刻;另一方面，它与其他学科又有紧密的联系，是近代数学的重要组成部分。由于它近年来突飞猛进的发展与应用的广泛性，已发展成为一门独立的一级学科。概率论与数理统计的理论与方法已广泛应用于工业、农业、军事和科学技术中，如预测和滤波应用于空间技术和自动控制，时间序列分析应用于石油勘测和经济管理，马尔科夫过程与点过程统计分析应用于地震预测等，同时他又向基础学科、工科学科渗透，与其他学科相结合发展成为边缘学科，这是概率论与数理统计发展的一个新趋势。 （孔繁亮）
大部分同学开始了概率论和数理统计的复习，本文主要想对同学们近期的复习做一个简单的指导。概率论与数理统计初步主要考查考生对研究随机现象规律性的基本概念、基本理论和基本方法的理解，以及运用概率统计方法分析和解决实际问题的能力。常有的题型有：填空题、选择题、计算题和证明题，试题的主要类型有：
(1)确定事件间的关系，进行事件的运算；
(2)利用事件的关系进行概率计算；
(3)利用概率的性质证明概率等式或计算概率；
(5)利用加法公式、条件概率公式、乘法公式、全概率公式和贝叶斯公式计算概率；
(6)有关事件独立性的证明和计算概率；
(7)有关独重复试验及伯努利概率型的计算；
(8)利用随机变量的分布函数、概率分布和概率密度的定义、性质确定其中的未知常数或计算概率；
(9)由给定的试验求随机变量的分布；
(10)利用常见的概率分布(例如：0-1)分布、二项分布、泊松分布、几何分布、均匀分布、指数分布、正态分布等计算概率；
(11)求随机变量函数的分布(12)确定二维随机变量的分布；
(15)判断随机变量的独立性和计算概率；
(16)求两个独立随机变量函数的分布；
(17)利用随机变量的数学期望、方差的定义、性质、公式，或利用常见随机变量的数学期望、方差求随机变量的数学期望、方差；
(18)求随机变量函数的数学期望；
(20)求随机变量的矩和协方差矩阵；
(21)利用切比雪夫不等式推证概率不等式；
(22)利用中心极限定理进行概率的近似计算；
(23)利用t分布、χ2分布、F分布的定义、性质推证统计量的分布、性质；
(24)推证某些统计量(特别是正态总体统计量)的分布；
(25)计算统计量的概率；
(30)利用χ2检验法对总体分布假设进行检验。
这一部分主要考查概率论与数理统计的基本概念、基本性质和基本理论，考查基本方法的应用。对历年的考题进行分析，可以看出概率论与数理统计的试题，即使是填空题和选择题，只考单一知识点的试题很少，大多数试题是考查考生的理解能力和综合应用能力。要求考生能灵活地运用所学的知识，建立起正确的概率模型，综合运用极限、连续函数、导数、极值、积分、广义积分以及级数等知识去解决问题。
在解答这部分考题时，考生易犯的错误有：
(1)概念不清，弄不清事件之间的关系和事件的结构；
(2)对试验分析错误，概率模型搞错；
(3)计算概率的公式运用不当；
(4)不能熟练地运用独立性去证明和计算；
(5)不能熟练掌握和运用常用的概率分布及其数字特征；
(6)不能正确应用有关的定义、公式和性质进行综合分析、运算和证明。
在自然界和人类的日常生活中，随机现象非常普遍，比如每期福利彩票的中奖号码。概率论是根据大量同类随机现象的统计规律，对随机现象出现某一结果的可能性作出一种客观的科学判断，对这种出现的可能性作出一种客观的科学判断，并作出数量上的描述；比较这些可能性的大小。数理统计是应用概率的理论研究大量随机现象的规律性，对通过科学安排的一定数量的实验所得到的统计方法给出严格的理论证明，并判定各种方法应用的条件以及方法、公式、结论的可靠程度和局限性，使人们能从一组样本判定是否能以相当大的概率来保证某一判断是正确的，并可以控制发生错误的概率。
过来人说
[关键词] 研究热点
罗燕（2007级概率论与数理统计硕士研究生）：应用统计方向的研究越来越热了，应用统计更贴近生活，所以越来越被各行各业注重。但是我们不要忘了统计的基础是概率。概率方面的研究仍然值得重视。
宋高阳（2007级概率论与数理统计硕士研究生）：统计学主要方向有随机理论、数据分析、金融统计等，就现在的情况来看，数据分析和数据挖掘会比较热门，因为应用的范围更广一些。如果研究生毕业之后选择工作，应用性较强的学科是最好的选择。
[关键词] 建议
宋高阳（2007级概率论与数理统计硕士研究生）：国内许多高校将统计学和金融学划归为一类，成立金融与统计学院或者直接统计学划归为经济系。这非常好理解，因为经济学和金融学都是以统计为基本方法的。但作为数学二级学科的统计学的范畴却和金融统计相去甚远，学术成分也更高一些。统计学以概率论为基础，理论性更强，对随机过程、概率极限、回归分析等基础知识的要求也更高。其实，统计学也不仅仅只是在金融学方面才有用武之地，回到开篇提到的“生物统计学”，就是当仁不让的热门“头牌”，这就要考生在报考时注意自己选择的到底是经济学院的统计学，还是数学系的统计学。
跨考院校推荐
北京师范大学的概率论研究群体历经三代人，已有40年的传统和积累，拥有陈木法、李增沪、张余辉、王凤雨等著名的专家学者。这一研究群体被国际上的两个主要数学评论杂志誉为“马氏过程的中国学派”或“北京学派”。主要研究方向有交互作用粒子系统、随机分析、测度值马氏过程等。概率论和数理统计学科实力较强的院校还有南开大学、中南大学、东北师范大学、武汉大学、华中科技大学、中国科学技术大学等。
数学这棵大树历经多年的发展已经枝繁叶茂。一般重点大学的数学系都会有数十位甚至上百位教授或讲师，每位的研究方向都不一样，它们彼此的差异就好比达芬奇的鸡蛋，再加上与各种学科的交叉和发展，又产生了更多的新分支方向。也正因为这样，数学这门学科才会如此丰富多姿。
怎样学“概率论与数理统计”
“概率论与数理统计”是理工科大学生的一门必修课程，也是报考硕士研究生时数学试卷中重要内容之一[数学一和数学三都是占22%(概率论)]。由于该学科与生活实践和科学试验有着紧密的联系，是许多新发展的前沿学科(如控制论、信息论、可靠性理论、人工智能等)的基础，因此学好这一学科是十分重要的。
首先我们从历届考研成绩进行分析，观察一下高等数学与概率统计之间有什么差异其一是概率统计的平均得分率往往低于高等数学平均得分率.其二高等数学的得分分布呈两头小中间大现象，即低分和高分比例小，而中间分数段比例大，而概率统计的得分率却是低分多， 中间分数少，高分较多的现象.为什么会发生上述差异?经分析发现虽然高等数学与概率统计同属数学学科，但各有自己的特点. 高等数学主要是通过学习极限、导数和积分等知识解决有关(一维或多维)函数的有关性质和图象的问题, 它与中学的数学有着密切联系而且有着相同的思想方法和解题思路.因而在概念上理解比较容易接受(当然也有比较抽象的内容如中值定理等).另一方面由于涉及许多具体初等函数，在求导数和积分时有许多计算上的技巧，需要大量练习以熟练掌握这些技巧，因而部分学生即使概念不十分清楚，但仍能正确解答相当多的试题，在考研中得到一定的成绩。
而在“概率论与数理统计”的学习中更注重的是概念的理解，而这正是广大学生所疏忽的，在考研复习时几乎有近一半以上学生对“什么是随机变量”、“为什么要引进随机变量”仍说不清楚.对于涉及随机变量的独立，不相关等概念更是无从着手，这一方面是因为高等数学处理的是“确定”的事件.如函数y=f(x)，当x确定后y有确定的值与之对应.而概率论中随机变量X在抽样前是不确定的，我们只能由随机试验确定它落在某一区域中的概率，要建立用“不确定性”的思维方法往往比较困难，如果套用确定性的思维方法就会出错.由于基本概念没有搞懂，即使是十分简单的题目也难以得分.从而造成低分多的现象.另一方面由于概率论中涉及的计算技巧不多，除了古典概型，几何概型和计算二维随机变量的函数分布时如何确定积分上、下限有一些计算的难点，其他的只是数值或者积分、导数的计算.因而如果概念清楚，那么解题往往很顺利且易得到正确答案，这正是高分较多的原因。
根据上面分析，启示我们不能把高等数学的学习方法照搬到“概率统计”的学习上来，而应按照概率统计自身的特点提出学习方法，才能取得“事半功倍”的效果.下面我们分别对“概率论”和“数理统计”的学习方法提出一些建议。
一、 学习“概率论”要注意以下几个要点
1. 在学习“概率论”的过程中要抓住对概念的引入和背景的理解，例如为什么要引进“随机变量”这一概念。这实际上是一个抽象过程。正如小学生最初学数学时总是一个苹果加2个苹果等于3个苹果，然后抽象为1+2=3.对于具体的随机试验中的具体随机事件，可以计算其概率，但这毕竟是局部的，孤立的，能否将不同随机试验的不同样本空间予以统一，并对整个随机试验进行刻画。随机变量X(即从样本空间到实轴的单值实函数)的引进使原先不同随机试验的随机事件的概率都可转化为随机变量落在某一实数集合B的概率，不同的随机试验可由不同的随机变量来刻画. 此外若对一切实数集合B，知道P(X∈B). 那么随机试验的任一随机事件的概率也就完全确定了.所以我们只须求出随机变量X的分布P(X∈B). 就对随机试验进行了全面的刻画.它的研究成了概率论的研究中心课题.故而随机变量的引入是概率论发展历史中的一个重要里程碑.类似地，概率公理化定义的引进，分布函数、离散型和连续型随机变量的分类，随机变量的数学特征等概念的引进都有明确的背景，在学习中要深入理解体会。
2. 在学习“概率论”过程中对于引入概念的内涵和相互间的联系和差异要仔细推敲，例如随机变量概念的内涵有哪些意义：它是一个从样本空间到实轴的单值实函数X(w)，但它不同于一般的函数，首先它的定义域是样本空间，不同随机试验有不同的样本空间.而它的取值是不确定的，
随着试验结果的不同可取不同值，但是它取某一区间的概率又能根据随机试验予以确定的，而我们关心的通常只是它的取值范围，即对于实轴上任一B，计算概率P(X∈B)，即随机变量X的分布.只有理解了随机变量的内涵，下面的概念如分布函数等等才能真正理解.又如随机事件的互不相容和相互独立两个概念通常会混淆，前者是事件的运算性质，后者是事件的概率性质，但它们又有一定联系，如果P(A)·P(B)＞0，则A，B独立则一定相容.类似地，如随机变量的独立和不相关等概念的联系与差异一定要真正搞懂。
3. 搞懂了概率论中的各个概念，一般具体的计算都是不难的，如F(x)=P(X≤x),EX,DX等按定义都易求得.计算中的难点有古典概型和几何概型的概率计算，二维随机变量的边缘分布fx(x)=∫－∞∞ f(x,y)dy,事件B的概率P((X，Y)∈B)=∫∫Bf(x,y)dxdy，卷积公式等的计算，它们形式上很简单，但是由于f(x,y)通常是分段函数，真正的积分限并不再是(－∞,∞)或B，这时如何正确确定事实上的积分限就成了正确解题的关键，要切实掌握。
4. 概率论中也有许多习题，在解题过程中不要为解题而解题，而应理解题目所涉及的概念及解题的目的，至于具体计算中的某些技巧基本上在高等数学中都已学过.因此概率论学习的关键不在于做许多习题，而要把精力放在理解不同题型涉及的概念及解题的思路上去.这样往往能“事半功倍”。
二、 学习“数理统计”要注意以下几个要点
1. 由于数理统计是一门实用性极强的学科，在学习中要紧扣它的实际背景，理解统计方法的直观含义.了解数理统计能解决那些实际问题.对如何处理抽样数据，并根据处理的结果作出合理的统计推断，该结论的可靠性有多少要有一个总体的思维框架，这样，学起来就不会枯燥而且容易记忆.例如估计未知分布的数学期望，就要考虑到① 如何寻求合适的估计量的途径，②如何比较多个估计量的优劣?这样，针对①按不同的统计思想可推出矩估计和极大似然估计，而针对②又可分为无偏估计、有效估计、相合估计，因为不同的估计名称有着不同的含义，一个具体估计量可以满足上面的每一个，也可能不满足.掌握了寻求估计的统计思想，具体寻求估计的步骤往往是“套路子”的，并不困难，然而如果没有从根本上理解，仅死背套路子往往会出现各种错误。
2. 许多同学在学习数理统计过程中往往抱怨公式太多，置信区间，假设检验表格多而且记不住.事实上概括起来只有八个公式需要记忆，而且它们之间有着紧密联系，并不难记，而区间估计和假设检验中只是这八个公式的不同运用而已，关键在于理解区间估计和假设检验的统计意义，在理解基础上灵活运用这八个公式，完全没有必要死记硬背。
（陈希孺访谈）
记者：陈希孺院士，请你谈谈概率论与数理统计学学科的诞生和发展情况。
陈希孺院士：先从数理统计学开始，数理统计学是研究收集数据、分析数据并据以对所研究的问题作出一定的结论的科学和艺术。数理统计学所考察的数据都带有随机性（偶然性）的误差。这给根据这种数据所作出的结论带来了一种不确定性，其量化要借助于概率论的概念和方法。数理统计学与概率论这两个学科的密切联系，正是基于这一点。
统计学起源于收集数据的活动，小至个人的事情，大至治理一个国家，都有必要收集种种有关的数据，如在我国古代典籍中，就有不少关于户口、钱粮、兵役、地震、水灾和旱灾等等的记载。现今各国都设有统计局或相当的机构。当然，单是收集、记录数据这种活动本身并不能等同于统计学这门科学的建立，需要对收集来的数据进行排比、整理，用精炼和醒目的形式表达，在这个基础上对所研究的事物进行定量或定性估计、描述和解释，并预测其在未来可能的发展状况。例如根据人口普查或抽样调查的资料对我国人口状况进行描述，根据适当的抽样调查结果，对受教育年限与收入的关系，对某种生活习惯与嗜好（如吸烟）与健康的关系作定量的评估。根据以往一般时间某项或某些经济指标的变化情况，预测其在未来一般时间的走向等，做这些事情的理论与方法，才能构成一门学问——数理统计学的内容。
这样的统计学始于何时？恐怕难于找到一个明显的、大家公认的起点。一种受到某些著名学者支持的观点认为，英国学者葛朗特在1662年发表的著作《关于死亡公报的自然和政治观察》，标志着这门学科的诞生。中世纪欧洲流行黑死病，死亡的人不少。自1604年起，伦敦教会每周发表一次“死亡公报”，记录该周内死亡的人的姓名、年龄、性别、死因。以后还包括该周的出生情况——依据受洗的人的名单，这基本上可以反映出生的情况。几十年来，积累了很多资料，葛朗特是第一个对这一庞大的资料加以整理和利用的人，他原是一个小店主的儿子，后来子承父业，靠自学成才。他因这一部著作被选入当年成立的英国皇家学会，反映学术界对他这一著作的承认和重视。
这是一本篇幅很小的著作，主要内容为8个表，从今天的观点看，这只是一种例行的数据整理工作，但在当时则是有原创性的科研成果，其中所提出的一些概念，在某种程度上可以说沿用至今，如数据简约（大量的、杂乱无章的数据，须注过整理、约化，才能突出其中所包含的信息）、频率稳定性（一定的事件，如“生男”、“生女”，在较长时期中有一个基本稳定的比率，这是进行统计性推断的基础）、数据纠错、生命表（反映人群中寿命分布的情况，仍是保险与精算的基础概念）等。
葛朗特的方法被他同时代的政治经济学家佩蒂引进到社会经济问题的研究中，他提倡在这类问题的研究中不能尚空谈，要让实际数据说话，他的工作总结在他去世后于1690年出版的《政治算术》一书中。
当然，也应当指出，他们的工作还停留在描述性的阶段，不是现代意义下的数理统计学，那时，概率论尚处在萌芽的阶段，不足以给数理统计学的发展提供充分的理论支持，但不能由此否定他们工作的重大意义，作为现代数理统计学发展的几个源头之一，他们以及后续学者在人口、社会、经济等领域的工作，特别是比利时天文学家兼统计学家凯特勒19世纪的工作，对促成现代数理统计学的诞生起了很大的作用。
数理统计学的另一个重要源头来自天文和测地学中的误差分析问题。早期，测量工具的精度不高，人们希望通过多次量测获取更多的数据，以便得到对量测对象的精度更高的估计值。量测误差有随机性，适合于用概率论即统计的方法处理，远至伽利略就做过这方面的工作，他对测量误差的性态作了一般性的描述，法国大数学家拉普拉斯曾对这个问题进行了长时间的研究，现今概率论中著名的“拉普拉斯分布”，即是他在这研究中的一个产物，这方面最著名且影响深远的研究成果有二：一是法国数学家兼天文家勒让德19世纪初（1805）在研究慧星轨道计算时发明的“最小二乘法”，他在估计过巴黎的子午线长这一工作中，曾使用这个方法。现今著作中把这一方法的发明归功于高斯，但高斯使用这一方法最早见诸文字是1809年，比勒让德晚。一种现在逐步取得公认——这项发明系由二人独立做出，看来使比较妥当的。另外一个重要成果是德国大学者高斯1809年在研究行星绕日运动时提出用正态分布刻画测量误差的分布。正态分布也常称为高斯分布，其曲线是钟形，极象颐和园中玉带桥那样的形状，故有时又称为“钟形曲线”，它反映了这样一种极普通的情况：天下形形色色的事物中，“两头小，中间大”的居多，如人的身高，太高太矮的都不多，而居于中间者占多数——当然，这只是一个极粗略的描述，要作出准确的描述，须动用高等数学的知识。正是其数学上的特性成为其广泛应用的根据。
正态分布在数理统计学中占有极重要的地位，现今仍在常用的许多统计方法，就是建立在“所研究的量具有或近似地具有正态分布”这个假定的基础上，而经验和理论（概率论中所谓“中心极限定理”）都表明这个假定的现实性，现实世界许多现象看来是杂乱无章的，如不同的人有不同的身高、体重。大批生产的产品，其质量指标各有差异 。看来毫无规则，但它们在总体上服从正态分布。这一点，显示在纷乱中有一种秩序存在，提出正态分布的高斯，一生在多个领域里面有不少重大的贡献，但在德国10马克的有高斯图像的钞票上，单只画出了正态曲线，以此可以看出人们对他这一贡献评价之高。
20世纪以前数理统计学发展的一个重要成果，是19世纪后期由英国遗传学家兼统计学家高尔顿发起，并经现代统计学的奠基人之一K·皮尔逊和其他一些英国学者所发展的统计相关与回归理论。所谓统计相关，是指一种非决定性的关系如人的身高X与体重Y，存在一种大致的关系，表现在X大（小）时，Y也倾向于大（小），但非决定性的：由X并不能决定Y。现实生活中和各种科技领域中，这种例子很多，如受教育年限与收入的关系，经济发展水平与人口增长速度的关系等，都是属于这种性质，统计相关的理论把这种关系的程度加以量化，而统计回归则是把有统计相关的变量，如上文的身高X和体重Y的关系的形式作近似的估计，称为回归方程，现实世界中的现象往往涉及众多变量，它们之间有错综复杂的关系，且许多属于非决定性质，相关回归理论的发明，提供了一种通过实际观察去对这种关系进行定量研究的工具，有着重大的认识和实用意义。
到20世纪初年，由于上述几个方面的发展，数理统计学已积累了很丰富的成果——在此因篇幅关系，我们不能详尽无遗地一一列举有关的重要成果，如抽样调查的理论和方法方面的进展，但是直到这时为止，我们还不能说现代意义下的数理统计学已经建立起来，其主要标志之一就是这门学问还缺乏一个统一的理论框架，这个任务在20世纪上半叶得以完成，狭义一点说可界定在1921——1938年，起主要作用的是几位大师级的人物，特别是英国的费歇尔·K·皮尔逊，发展统计假设检验理论的奈曼与E·皮尔逊和提出统计决策函数理论的瓦尔德等。我国已故著名统计学家许宝（1910——1970）在这项工作中也卓有建树。
自二战结束迄今，数理统计学有了迅猛的发展，主要有以下三方面的原因：一是数理统计学理论框架的建立以及概率论和数学工具的进展，为统计理论在面上和向纵深的发展打开了门径和提供了手段，许多在早期比较粗略的理论和方法，在理论上得到了完善与深入，并不断提出新的研究课题；二是实用上的需要，不断提出了复杂的问题与模型，吸引了学者们的研究兴趣；三是电子计算机的发明与普及应用，一方面提供了必要的计算工具——统计方法的实施往往涉及大量数据的处理与运算，用人力无法在合理的时间内完成，所以在早年，一些统计方法人们虽然知道，但很少付诸实用，就因为是人力所难及。计算机的出现解决了这个问题。而赋予统计方法以现实的生命力。同时，计算机对促进统计理论研究也有助益，统计模拟是其表现之一，在承认上述成就的同时，不少统计学家也指出这一时期发展中出现的一些问题或偏向，其中主要的一点是，数理统计学理论研究中的“数学化”气味愈来愈重，相当一部分研究工作停留在数学的层面，早期那种理论研究与现实问题密切结合的优良传统有所淡化，一些学者还提出了补救的建议，对未来统计学发展的方向进行探讨。同时，现实问题愈来愈涉及到大量的，结构复杂的数据，按现行的数理统计学规范去处理，显得力所不及，需要一些带有根本性创新的思路，使统计学的发展登上一个新的台阶，以适应应用上的需要，考虑这一背景，有的统计学家乐观地认为数理统计学正面临一个新的突破。
在上面讲述数理统计学的发展状况时，我们着重在实际需要所起的促进作用方面，由于概率论的概念和方法是数理统计学的理论基础，概率论的进展也必然对数理统计学的发展起促进作用。
概率，又称几率，或然率，指一种不确定的情况出现可能性的大小，例如，投掷一个硬币，“出现国徽”（国徽一面朝上）是一个不确定的情况。因为投掷前，我们无法确定所指情况（“出现国徽”）发生与否，若硬币是均匀的且投掷有充分的高度，则两面的出现机会均等，我们说“出现国徽”的概率是1/2；同时，投掷一个均匀骰子，“出现4点”的概率是1/6，除了这些以及类似的简单情况外，概率的计算不容易，往往需要一些理论上的假定，在现实生活中则往往用经验的方法确定概率，例如某地区有N人，查得其中患某种疾病者有M人，则称该地区的人患该种疾病的概率为M/N，这事实上是使用统计方法对发病概率的一个估计。
概率的概念起源于中世纪以来的欧洲流行的用骰子赌博，这一点不难理解，某种情况出现可能性的大小要能够体察并引起研究的兴趣，必须满足两个条件：一是该情况可以在多次重复中被观察其发生与否（在多次重复下出现较频繁的情况有更大的概率），一是该情况发生与否与当事人的利益有关或为其兴趣关注之所在，用骰子赌博满足这些条件。
当时有一个“分赌本问题”曾引起热烈的讨论，并经历了长达一百多年才得到正确的解决。在这过程中孕育了概率论一些重要的基本概念，举该问题的一个简单情况：甲、乙二人赌博，各出赌注30元，共60元，每局甲、乙胜的机会均等，都是1/2。约定：谁先胜满3局则他赢得全部赌注60元，现已赌完3局，甲2胜1负，而因故中断赌情，问这60元赌注该如何分给2人，才算公平，初看觉得应按2：1分配，即甲得40元，乙得20元，还有人提出了一些另外的解法，结果都不正确，正确的分法应考虑到如在这基础上继续赌下去，甲、乙最终获胜的机会如何，至多再赌2局即可分出胜负，这2局有4种可能结果：甲甲、甲乙、乙甲、乙乙。前3种情况都是甲最后取胜，只有最后一种情况才是乙取胜，二者之比为3：1，故赌注的公平分配应按3：1的比例，即甲得45元，乙15元。
当时的一些学者，如惠更斯、巴斯噶、费尔马等人，对这类赌情问题进行了许多研究，有的出版了著作，如惠更斯的一本著作曾长期在欧洲作为概率论的教科书，这些研究使原始的概率和有关概念得到发展和深化。不过，在这个概率论的草创阶段，最重要的里程碑是伯努利的著作《推测术》。在他死后的1713年发表，这部著作除了总结前人关于赌情的概率问题的成果并有所提高外，还有一个极重要的内容，即如今以他的名字命名的“大数律”，大数律是关于（算术）平均值的定理，算术平均值，即若干个数X1、X2……Xn之和除以n，是最常用的一种统计方法，人们经常使用并深信不疑。但其理论根据何在，并不易讲清楚， 就是伯努利的大数律要回答的问题，在某种程度上可以说，这个大数律是整个概率论最基本的规律之一，也是数理统计学的理论基石。
概率论虽发端于赌博，但很快在现实生活中找到多方面的应用，首先是在人口、保险精算等方面，在其发展过程中出现了若干里程碑的《机遇的原理》，其第三版发表于1756年，法国大数学家拉普拉斯的《分析概率论》，发表于1812年，1933年苏联教学家柯尔莫哥洛夫完成了概率论的公理体系，在几条简洁的公理之下，发展出概率论整座的宏伟建筑，有如在欧几里得公理体系之下发展出整部几何。自那以来，概率论成长为现代数学的一个重要分支，使用了许多深刻和抽象的数学理论，在其影响下，数理统计的理论也日益向深化的方向发展。
三四百年前在欧洲许多国家，贵族之间盛行赌博之风。掷骰子是他们常用的一种赌博方式。因骰子的形状为小正方体，当它被掷到桌面上时，每个面向上的可能性是相等的，即出现1点至6点中任何一个点数的可能性是相等的。有的参赌者就想：如果同时掷两颗骰子，则点数之和为9与点数之和为10，哪种情况出现的可能性较大？
17世纪中叶，法国有一位热衷于掷骰子游戏的贵族德·梅耳，发现了这样的事实：将一枚骰子连掷四次至少出现一个六点的机会比较多，而同时将两枚骰子掷24次，至少出现一次双六的机会却很少。
这是什么原因呢？后人称此为著名的德·梅耳问题。又有人提出了“分赌注问题”：
两个人决定赌若干局，事先约定谁先赢得6局便算赢家。如果在一个人赢3局，另一人赢4局时因故终止赌博，应如何分赌本？
诸如此类的需要计算可能性大小的赌博问题提出了不少，但他们自己无法给出答案。
数学家们“参与”赌博。参赌者将他们遇到的上述问题请教当时法国数学家帕斯卡，帕斯卡接受了这些问题，他没有立即回答，而把它交给另一位法国数学家费尔马。他们频频通信，互相交流，围绕着赌博中的数学问题开始了深入细致的研究。这些问题后来被来到巴黎的荷兰科学家惠更斯获悉，回荷兰后，他独立地进行研究。
帕斯卡和费尔马一边亲自做赌博实验，一边仔细分析计算赌博中出现的各种问题，终于完整地解决了“分赌注问题”，并将此题的解法向更一般的情况推广，从而建立了概率论的一个基本概念——数学期望，这是描述随机变量取值的平均水平的一个量。而惠更斯经过多年的潜心研究，解决了掷骰子中的一些数学问题。1657年，他将自己的研究成果写成了专著《论掷骰子游戏中的计算》。这本书迄今为止被认为是概率论中最早的论著。因此可以说早期概率论的真正创立者是帕斯卡、费尔马和惠更斯。这一时期被称为组合概率时期，计算各种古典概率。
在他们之后，对概率论这一学科做出贡献的是瑞士数学家族——贝努利家族的几位成员。雅可布·贝努利在前人研究的基础上，继续分析赌博中的其他问题，给出了“赌徒输光问题”的详尽解法，并证明了被称为“大数定律”的一个定理，这是研究等可能性事件的古典概率论中的极其重要的结果。大数定律证明的发现过程是极其困难的，他做了大量的实验计算，首先猜想到这一事实，然后为了完善这一猜想的证明，雅可布花了20年的时光。雅可布将他的全部心血倾注到这一数学研究之中，从中他发展了不少新方法，取得了许多新成果，终于将此定理证实。
1713年，雅可布的著作《猜度术》出版。遗憾的是在他的大作问世之时，雅可布已谢世8年之久。圣彼得堡悖论是数学家丹尼尔·伯努利（Daniel Bernoulli）的表兄尼古拉·伯努利(Nicola Bernoulli)在1738提出的一个概率期望值悖论，它来自于一种掷币游戏，即圣彼得堡游戏。设定掷出正面或者反面为成功，游戏者如果第一次投掷成功，得奖金2元，游戏结束；第一次若不成功，继续投掷，第二次成功得奖金4元，游戏结束；这样，游戏者如果投掷不成功就反复继续投掷，直到成功，游戏结束。如果第n次投掷成功，得奖金2元，游戏结束。。问在赌博开始前甲应付给乙多少卢布才有权参加赌博而不致亏损乙方？
尼古拉同时代的许多数学家研究了这个问题，并给出了一些不同的解法。但其结果是很奇特的，所付的款数竟为无限大。即不管甲事先拿出多少钱给乙，只要赌博不断地进行，乙肯定是要赔钱的。
随着18、19世纪科学的发展，人们注意到某些生物、物理和社会现象与机会游戏相似，从而由机会游戏起源的概率论被应用到这些领域中，同时也大大推动了概率论本身的发展。
法国数学家拉普拉斯将古典概率论向近代概率论进行推进，他首先明确给出了概率的古典定义，并在概率论中引入了更有力的数学分析工具，将概率论推向一个新的发展阶段。他还证明了“棣莫弗——拉普拉斯定理”，把棣莫弗的结论推广到一般场合，还建立了观测误差理论和最小二乘法。拉普拉斯于1812年出版了他的著作《分析的概率理论》，这是一部继往开来的作品。这时候人们最想知道的就是概率论是否会有更大的应用价值？是否能有更大的发展成为严谨的学科。
概率论在20世纪再度迅速地发展起来，则是由于科学技术发展的迫切需要而产生的。1906年，俄国数学家马尔科夫提出了所谓“马尔科夫链”的数学模型。1934年，前苏联数学家辛钦又提出一种在时间中均匀进行着的平稳过程理论。
如何把概率论建立在严格的逻辑基础上，这是从概率诞生时起人们就关注的问题，这些年来，好多数学家进行过尝试，终因条件不成熟，一直拖了三百年才得以解决。
20世纪初完成的勒贝格测度与积分理论及随后发展的抽象测度和积分理论，为概率公理体系的建立奠定了基础。在这种背景下柯尔莫哥洛夫1933年在他的《概率论基础》一书中首次给出了概率的测度论式定义和一套严密的公理体系。他的公理化方法成为现代概率论的基础，使概率论成为严谨的数学分支。
概率论与以它作为基础的数理统计学科一起，在自然科学，社会科学，工程技术，军事科学及工农业生产等诸多领域中都起着不可或缺的作用。
直观地说，卫星上天，导弹巡航，飞机制造，宇宙飞船遨游太空等都有概率论的一份功劳；及时准确的天气预报，海洋探险，考古研究等更离不开概率论与数理统计；电子技术发展，影视文化的进步，人口普查及教育等同概率论与数理统计也是密不可分的。
根据概率论中用投针试验估计π值的思想产生的蒙特卡罗方法，是一种建立在概率论与数理统计基础上的计算方法。借助于电子计算机这一工具，使这种方法在核物理、表面物理、电子学、生物学、高分子化学等学科的研究中起着重要的作用。
概率论作为理论严谨，应用广泛的数学分支正日益受到人们的重视，并将随着科学技术的发展而得到发展。
概率统计理论与方法的应用几乎遍及所有科学技术领域、工农业生产和国民经济的各个部门中.
例如:1.气象、水文、地震预报、人口控制及预测都与概率论紧密相关；
2.产品的抽样验收，新研制的药品能否在临床中应用，均需要用到 假设检验；
3.寻求最佳生产方案要进行实验设计和数据处理；
4.电子系统的设计, 火箭卫星的研制与发射都离不开可靠性估计；
5.处理通信问题, 需要研究信息论
7.研究化学反应的时变率，要以马尔可夫过程来描述；
8.在生物学中研究群体的增长问题时提出了生灭型随机模型，传染病流行问题要用到多变量非线性生灭过程；
9.许多服务系统，如电话通信、船舶装卸、机器维修、病人候诊、存货控制、可用一类概率模型来描述，其涉及到的知识就是排队论。
概率统计理论进入其他自然科学领域的趋势还在不断发展.在社会科学领域 ,特别是经济学中研究最优决策和经济的稳定增长等问题,都大量采用 概率统计方法.法国数学家拉普拉斯(Laplace)说对了:“生活中最重要的问题 , 其中绝大多数在实质上只是概率的问题.”英国的逻辑学家和经济学家杰文斯曾对概率论大加赞美：“概率论是生活真正的领路人,如果没有对概率的某种估计, 那么我们就寸步难行,无所作为。