贝叶斯推断

贝叶斯推断将后验概率（考虑相关证据或数据后，某一事件的条件几率）作为先验概率（考虑相关证据或数据前，某一事件不确定性的几率）和似然函数（由观测数据的统计模型（概率模型）推导而得）这两个前因导出的结果。贝叶斯推断根据贝叶斯定理计算后验概率：

${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}$

其中

• ${\displaystyle \textstyle \mid }$表示将某事件成立作为条件（因此${\displaystyle \textstyle (A\mid B)}$表示「假定 B 事件成立下，A 事件发生」）
• ${\displaystyle \textstyle H}$表示假说，其几率可能会受实验数据（以下会称为证据）影响。一般来说会有许多互相矛盾的假说，任务是要确认哪一个假说可能性最高。
• ${\displaystyle \textstyle E}$表示证据。证据对应新的数据，也就是还没用来计算先验概率的数据。
• ${\displaystyle \textstyle P(H)}$，先验概率，是观察到数据${\displaystyle \textstyle E}$（目前证据）之前，假说${\displaystyle \textstyle H}$的几率。
• ${\displaystyle \textstyle P(H\mid E)}$，后验概率，是在给定证据 ${\displaystyle \textstyle E}$之后，假说${\displaystyle \textstyle H}$的几率，是希望求得的信息，也就是在有目前证据时，假说${\displaystyle \textstyle H}$的几率。
• ${\displaystyle \textstyle P(E\mid H)}$是假定 ${\displaystyle \textstyle H}$成立时，观察到${\displaystyle \textstyle E}$的几率。在${\displaystyle \textstyle H}$不变时，这是${\displaystyle \textstyle E}$的函数，也是似然函数，指出在给定假设下假说和证据的兼容程度。似然函数是证据${\displaystyle \textstyle E}$的函数，而后验概率是假说${\displaystyle \textstyle H}$的函数。
• ${\displaystyle \textstyle P(E)}$有时会称为边缘似然率。此系数对所有可能的假说都是定值，因此在判断不同假说的相对几率时，不会用到这个系数中。

针对不同的${\displaystyle \textstyle H}$数值，只有${\displaystyle \textstyle P(H)}$和${\displaystyle \textstyle P(E\mid H)}$（都在分子）会影响${\displaystyle \textstyle P(H\mid E)}$的数值。假说的后验概率和其先验概率（固有似然率）和新产生的似然率（假说和新得到证据的兼容性）乘积成正比。

贝叶斯定理也可以写成下式：

${\displaystyle P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)}$

其中系数${\displaystyle \textstyle {\frac {P(E\mid H)}{P(E)}}}$可以解释成${\displaystyle E}$对${\displaystyle H}$几率的影响。

贝叶斯推断最关键的点是可以利用贝叶斯定理结合新的证据及以前的先验几率，来得到新的几率（这和频率学派推断相反，频率论推论只考虑证据，不考虑先验几率）。

而且贝叶斯推断可以迭代使用：在观察一些证据后得到的后设几率可以当作新的先验几率，再根据新的证据得到新的后设几率。因此贝叶斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个进程称为贝叶斯更新（Bayesian updating）。

• ${\displaystyle x}$是数据点，可能是一个有许多数值形成的矢量。
• ${\displaystyle \theta }$是数据点分布的参数，也就是说${\displaystyle x\sim p(x\mid \theta )}$。这也有可能是参数形成的矢量。
• ${\displaystyle \alpha }$是参数的超参数，也就是说${\displaystyle \theta \sim p(\theta \mid \alpha )}$。这也有可能是超参数形成的矢量。
• ${\displaystyle \mathbf {X} }$，由观测到的${\displaystyle n}$个数据点组成的一组数据，${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$，需预测分布的新数据点。

• 先验分布是在观测数据前的参数分布${\displaystyle p(\theta \mid \alpha )}$。
• 先验分布可能不容易确认，此时可以用杰佛里斯事前分配在更新较新的观测值时，先获得后验分布。
• 采样分布是以观测数据的条件，其参数的分布${\displaystyle p(\mathbf {X} \mid \theta )}$。这也称为似然函数，尤其是视为是参数的函数时，有时会写成${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$。
• 边缘似然率（有时也称为证据）是观测数据在参数上的边缘分布${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }$。
• 后验分布是考虑观测数据后的参数分布。可以由贝叶斯定理确认，也是贝叶斯推断的内核：

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}$

若用文本表示，即为「后验和先验及似然率的乘积成正比」，有时也会写成「后验 = 先验 × 似然率，在有证据的情形下」。

贝叶斯推断有在人工智能及专家系统上应用。自1950年代后期开始，贝叶斯推断技巧就是电脑模式识别技术中的基础。现在也越来越多将贝叶斯推断和以仿真为基础的蒙地卡罗方法合并使用的应用，因为一些模杂的模型无法用贝叶斯分析得到解析解，因图模式结构可以配合一些快速的仿真方式（例如吉布斯抽样或是其他Metropolis–Hastings算法）[2]。因为上述理由，贝叶斯推断在系统发生学研究社群中来越受到重视，许多的应用可以用同时估测许多人口和进化参数。