更新时间：2024-04-29 09:18
英国学者托马斯·贝叶斯在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到 20世纪 30 年代。到50～60年代，已发展为一个有影响的学派。其影响日益扩大。
它是总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中，除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。
例如，某甲怀疑自己患有一种疾病A，在就诊时医生对他测了诸如体温、血压等指标，其结果构成样本X。引进参数θ：有病时，θ=1；无病时，θ=0。X的分布取决于θ是0还是1，因而知道了X有助于推断θ是否为1。按传统（频率）学派的观点，医生诊断时，只使用X提供的信息；而按贝叶斯学派观点，则认为只有在规定了一个介于0与1之间的数p作为事件{θ=1}的先验概率时，才能对甲是否有病（即θ是否为1）进行推断。p这个数刻画了本问题的先验分布，且可解释为疾病A的发病率。先验分布的规定对推断结果有影响，如在此例中，若疾病A的发病率很小，医生将倾向于只有在样本X显示出很强的证据时，才诊断甲有病。在这里先验分布的使用看来是合理的，但贝叶斯学派并不是基于 “p是发病率”这样一个解释而使用它的，事实上即使对本病的发病率毫无所知，也必须规定这样一个p，否则问题就无法求解。
根据样本 X 的分布Pθ及θ的先验分布π（θ），用概率论中求条件概率分布的方法，可算出在已知X=x的条件下，θ的条件分布 π（θ|x）。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯学派认为：这个分布综合了样本X及先验分布π（θ）所提供的有关的信息。抽样的全部目的，就在于完成由先验分布到后验分布的转换。如上例，设p=P（θ=1)=0.001，而π（θ=1|x)=0.86，则贝叶斯学派解释为：在某甲的指标量出之前，他患病的可能性定为0.001，而在得到X后，认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。计算后验分布的公式本质上就是概率论中著名的贝叶斯公式（见概率），这公式正是上面提到的贝叶斯1763年的文章的一个重要内容。
例如，在奈曼－皮尔逊理论（见假设检验）中，为了确定水平α的检验的临界值C，必须考虑X的分布Pθ，这在贝叶斯推断中是不允许的。但贝叶斯推断在如何使用π（θ│X）上，有一定的灵活性，例如为作θ的点估计，可用后验分布密度h（θ|X）关于θ的最大值点，也可以用π（θ|X）的均值或中位数（见概率分布）等。为作θ的区间估计，可以取区间[A(X)，B(X)]，使π（A(X）≤θ≤B（X）│X）等于事先指定的数1-α（0<；α<1），并在这个条件下使区间长度B（X)-A(X）最小。若要检验关于θ的假设H：θ∈ω，则可以算出ω的后验概率 π（ω|X），然后在π（ω│X)<1/2时拒绝H。如果是统计决策性质（见统计决策理论）问题，则有一定的损失函数L（θ，α），知道了π（θ|X），可算出各行动α的后验风险，即L（θ，α）在后验分布π（θ|X）下的数学期望值，然后挑选行动α使这期望值达到最小,这在贝叶斯统计中称为“后验风险最小”的原则，是贝叶斯决策理论中的根本原则和方法。
贝叶斯学派与频率学派争论的焦点在于先验分布的问题。所谓频率学派是指坚持概率的频率解释的统计学家形成的学派。贝叶斯学派认为先验分布可以是主观的，它没有也不需要有频率解释。而频率学派则认为，只有在先验分布有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在统计推断中使用先验分布，否则就会丧失客观性。另一个批评是：贝叶斯方法对任何统计问题都给以一种程式化的解法，这导致人们对问题不去作深入分析，而只是机械地套用公式。贝叶斯学派则认为：从理论上说，可以在一定条件下证明，任何合理的优良性准则必然是相应于一定先验分布的贝叶斯准则，因此每个统计学家自觉或不自觉地都是“贝叶斯主义者”。他们认为，频率学派表面上不使用先验分布，但所得到的解也还是某种先验分布下的贝叶斯解，而这一潜在的先验分布，可能比经过慎重选定的主观先验分布更不合理。其次，贝叶斯学派还认为，贝叶斯方法对统计推断和决策问题给出程式化的解是优点而非缺点，因为它免除了寻求抽样分布，（见统计量）这个困难的数学问题。而且这种程式化的解法并不是机械地套公式，它要求人们对先验分布、损失函数等的选择作大量的工作。还有，贝叶斯学派认为，用贝叶斯方法求出的解不需要频率解释，因而即使在一次使用下也有意义。反之，根据概率的频率解释而提供的解，则只有在大量次数使用之下才有意义，而这常常不符合应用的实际。这两个学派的争论是战后数理统计学发展中的一个特色。这个争论还远没有解决，它对今后数理统计学的发展还将产生影响。
贝叶斯统计的历史可以上溯到 16 世纪。1713 年，James Bernoulli 意识到在可用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别，他提出一个著名的问题：前者的机理如何能帮助处理后面的推断。托马斯.贝叶斯（ThomasBayes， 1702－1761）是长老会的牧师。他对这个问题产生浓厚的兴趣，并且对这个问题进行认真的研究，期间，他写了一篇文章来回答Bernoulli 的问题，提出了后来以他的名字命名的公式：贝叶斯公式。但是，直到贝叶斯死后才由他的朋友Richard Price 在 1763 年发表了这篇文章，对Bernoulli 的问题提供了回答。这篇文章标志着贝叶斯统计的产生。但贝叶斯统计的思想在开始时并没有得到重视。后来，Laplace 本人重新发现了贝叶斯公式，而且阐述得比贝叶斯更为清晰。由于贝叶斯统计对于概率的观点过于主观，与当时的主流统计观点相左，此外也很难应用当时严谨的数学理论解释。
例如贝叶斯统计中的先验概率的观点，一直以来都是贝叶斯统计学派和非贝叶斯统计学派争论的焦点之一。在历史上，贝叶斯统计长期受到排斥，受到当时主流的数学家们的拒绝。例如，近代优秀的统计学家R. A. Fisher 就是贝叶斯统计的反对者。然而，随着科学的进步，贝叶斯统计在实际应用上取得的成功慢慢改变了人们的观点。贝叶斯统计慢慢的受到人们的重视，贝叶斯统计已经成为统计学中一门很热门的研究课题。
从贝叶斯为了回答James Bernoulli 的问题而写的那一篇论文，提出著名的贝叶斯统计思想以来，经过几百年的发展，关于贝叶斯统计的论文和学术专著有很多。统计界公认比较权威的贝叶斯统计的著作是James O. Berger 的作品：StatisticalDecisiontheory and Bayesian Analysis。国内有其中译本：《统计决策论及贝叶斯分析》，它是由贾乃光主译，吴喜之校译，中国统计出版社出版。