第一节　贝叶斯方法概述

一、贝叶斯起源与发展

贝叶斯统计学是以英国数学家Thomas Bayes的名字命名的。其生前著有《论有关机遇问题的求解》一文，该论文给出贝叶斯公式并采用归纳推理的方法以二项分布为基础对未知参数进行推断，但可能由于贝叶斯认为该理论尚存在不完善的地方，此论文在其生前并未发表。1763年，其朋友Richard Price于英国皇家学会宣读了该论文，该论文正式发表。1814年Laplace PC出版了《关于概率的哲学评述》重新推导了贝叶斯公式，并推广获得一系列新成果。此后很长一段时间，因其观点有悖经典统计学，同时因计算困难，长期未被普遍接受。现代贝叶斯统计方法的发展归功于Jeffreys（1939）、Savage（1954）、Ravaffa、Schleifer（1961）、Lindly（1972）及De Finetti（1974）等贝叶斯统计先驱的重要贡献。经后来统计学者的不断努力，发展为一种系统的统计推断方法，称为贝叶斯统计方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。贝叶斯统计需要求解高维函数的积分，在20世纪80年代之前求解这些积分成为其发展的障碍，因此该方法一直停留在理论阶段。20世纪90年代起马尔可夫链蒙特卡罗（Markov Chain Monte Carlo，MCMC）方法被广泛应用于贝叶斯统计，成功地解决了限制贝叶斯统计发展的高维积分运算问题，为贝叶斯统计带来了革命性的突破，进而使贝叶斯统计在更多的领域得到应用。近期发展的哈密尔顿蒙特卡罗（Hamiltonian Monte Carlo，HMC）算法、积分嵌套拉普拉斯近似方法，丰富了贝叶斯计算方法，进一步促进了贝叶斯统计的发展。

二、贝叶斯统计学与经典统计学的区别

贝叶斯统计学与经典统计学在统计推断的理念和方法上有着本质的区别，主要可总结为以下三个方面：

第一，二者对信息的利用有本质差异。贝叶斯统计学派认为在观察到样本之前，对于任一未知的参数θ有一定的了解，即已经积累一些关于参数θ的信息——先验信息（prior information），在对未知参数进行统计推断时应综合总体信息、先验信息及样本信息。用统计学语言可描述为：θ作为一个随机变量，有一定的先验分布，其分布为θ～π（θ）。在获得样本之后（给定的样本信息），θ的后验分布π（θ|x）应包含θ的综合信息，关于参数θ的统计推断均基于θ的后验分布（posterior distribution）进行。因此，贝叶斯统计方法的关键在于所作出的任何推断完全取决于后验分布π（θ|x），而不再涉及样本x的分布。参数θ是否为随机变量、先验分布是否存在及如何选取，成为经典频率学派集中批评的靶点。频率学派的观点认为参数θ在每一个确定的问题中都有一个确定值，无随机性，因而也无分布而言。认为贝叶斯学派以主观概率的立场出发，引进先验分布，将先验分布看作为主观随意性的概念，进而认为贝叶斯统计问题的解也为主观随意性的解，因此无科学意义。迄今为止，贝叶斯学派仍未提出一种确定先验分布的方法，这成为其重大的弱点。但是也应看到，虽然贝叶斯学派采用主观概率的概念，并不是完全主观随意的选取先验分布，而是以从实践中获得的主观认识作为先验信息。虽然理论上尚无统一的、完整的、不失一般性的确定先验分布的方法，但是在实用范围内的常见问题所采用的先验分布，已经得到正确的验证。

第二，对未知参数θ解释的差异。频率学派对参数θ解释是概率的频率解释，尤其是对置信区间的求解和解释。经典统计学首先指定置信水平（1-α），然后构建一个含有未知参数θ的枢轴量，通过枢轴量的分布求得参数θ置信水平为（1-α）的置信区间。对于经典统计学来讲，参数是固定的而未知，无统计分布而言，因此对于所得到的置信区间的理解存在一定困难。正确的理解为若反复抽样多次，每个样本值可以确定一个区间，这个区间要么包含参数θ，要么不包含参数θ，在这么多的区间中，包含参数θ的占95%，未包含参数θ占5%，而不能理解为“有95%的概率使得参数θ落在置信区间中”，因为由经典统计学派求得的置信区间已不是随机区间。而贝叶斯学派认为参数θ为一随机变量，结合样本信息和先验信息可以构造一个区间，贝叶斯统计中称为可信区间（credit interval），应区别于经典统计学派的置信区间（confidence interval），使得未知参数θ以一定的概率落在这个区间中，因此贝叶斯学派可以陈述为“有95%的概率使得参数θ落在可信区间中”。

第三，统计推断的理念的差异。经典学派奠基人Fisher将经典统计推断总结为三个问题：选定模型、确定统计量和相应统计量的分布。即选定模型，构建一个分布已知含有未知参数的枢轴量，根据抽样分布来计算统计量的全部性质。而贝叶斯统计推断完全源于未知参数的后验分布，未知参数的所有的统计学性质均由后验分布决定。