在贝叶斯统计中,先验概率(Prior probability)分布,即关于某个变量 X 的概率分布,是在获得某些信息或者依据前,对 X 之不确定性所进行的猜测。这是对不确定性(而不是随机性)赋予一个量化的数值的表征,这个量化数值可以是一个参数,或者是一个潜在的变量。
先验概率仅仅依赖于主观上的经验估计,也就是事先根据已有的知识的推断。例如, X 可以是投一枚硬币,正面朝上的概率,显然在未获得任何其他信息的条件下,我们会认为 P ( X )=0.5;
后验概率(Posterior probability)是关于随机事件或者不确定性断言的条件概率,是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布,并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是,考虑相关事件已经被检视并且能够得到一些信息。
后验概率是关于参数 θ 在给定的信息 X 下的概率,即 P ( θ | X )。若对比后验概率和似然函数,似然函数是在给定参数下的证据信息 X 的概率分布,即 P ( X | θ )。用 P ( θ )表示概率分布函数,用 P ( X | θ )表示观测值 X 的似然函数。后验概率定义为
注意这也是贝叶斯定理所揭示的内容。
鉴于分母是一个常数,上式可以表达成如下比例关系(而且这也是更多被采用的形式):后验概率∝似然×先验概率。