正态分布

常态分布最早是棣莫弗在1718年著作的书籍的（），及1734年发表的一篇关于二项分布文章中提出的，当二项随机变量的位置参数n很大及形状参数p为1/2时，则所推导出二项分布的近似分布函数就是常态分布。拉普拉斯在1812年发表的《分析概率论》（）中对棣莫佛的结论作了扩展到二项分布的位置参数为n及形状参数为1>p>0时。现在这一结论通常被称为棣莫佛－拉普拉斯定理。

拉普拉斯在误差分析试验中使用了常态分布。勒让德于1805年引入最小二乘法这一重要方法；而高斯则宣称他早在1794年就使用了该方法，并通过假设误差服从常态分布给出了严格的证明。

将正态分布称作「钟形曲线」的习惯可以追溯到Jouffret他在1872年首次提出这个术语（Bell curve）用来指代二元常态分布。正态分布这个名字还被查尔斯·皮尔士、法兰西斯·高尔顿、威尔赫姆·莱克希斯在1875分别独立地使用。这个术语是不幸的，因为它反映和鼓励了一种谬误，即很多概率分布都是常态的。（请参考下面的「实例」）

这个分布被称为「常态」或者「高斯」正好是史蒂格勒名字由来法则的一个例子，这个法则说「没有科学发现是以它最初的发现者命名的」。

四个不同参数集的概率密度函数（红色线代表标准正态分布）

常态分布的概率密度函数均值为${\displaystyle \mu }$ 方差为${\displaystyle \sigma ^{2}}$ (或标准差${\displaystyle \sigma }$)是高斯函数的一个实例：

${\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$。

(请看指数函数以及${\displaystyle \pi }$.)

如果一个随机变量${\displaystyle X}$服从这个分布，我们写作 ${\displaystyle X}$ ~ ${\displaystyle N(\mu ,\sigma ^{2})}$. 如果${\displaystyle \mu =0}$并且${\displaystyle \sigma =1}$，这个分布被称为标准正态分布，这个分布能够简化为

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi }}}\,\exp \left(-{\frac {x^{2}}{2}}\right)}$。

右边是给出了不同参数的正态分布的函数图。

正态分布中一些值得注意的量：

• 密度函数关于平均值对称
• 平均值与它的众数（statistical mode）以及中位数（median）同一数值。
• 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
• 95.449974%的面积在平均数左右两个标准差${\displaystyle 2\sigma }$的范围内。
• 99.730020%的面积在平均数左右三个标准差${\displaystyle 3\sigma }$的范围内。
• 99.993666%的面积在平均数左右四个标准差${\displaystyle 4\sigma }$的范围内。
• 函数曲线的拐点（inflection point）为离平均数一个标准差距离的位置。

上图所示的几率密度函数的累积分布函数

累积分布函数是指随机变量${\displaystyle X}$小于或等于${\displaystyle x}$的几率，用几率密度函数表示为

${\displaystyle F(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\int _{-\infty }^{x}\exp \left(-{\frac {(t-\mu )^{2}}{2\sigma ^{2}}}\ \right)\,dt.}$

常态分布的累积分布函数能够由一个叫做误差函数的特殊函数表示：

${\displaystyle \Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z-\mu }{\sigma {\sqrt {2}}}}\right)\right].}$

标准常态分布的累积分布函数习惯上记为${\displaystyle \Phi }$，它仅仅是指${\displaystyle \mu =0}$，${\displaystyle \sigma =1}$时的值，

${\displaystyle \Phi (x)=F(x;0,1)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}\exp \left(-{\frac {t^{2}}{2}}\right)\,dt.}$

将一般常态分布用误差函数表示的公式简化，可得：

${\displaystyle \Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)\right].}$

它的反函数被称为反误差函数，为：

${\displaystyle \Phi ^{-1}(p)={\sqrt {2}}\;\operatorname {erf} ^{-1}\left(2p-1\right).}$

该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。

常态分布的分布函数${\displaystyle \Phi (x)}$没有解析表达式，它的值可以通过数值积分、泰勒级数或者渐进串行近似得到。

动差生成函数，或称动差母函数被定义为${\displaystyle \exp(tX)}$的期望值。

常态分布的动差产生函数如下：

${\displaystyle M_{X}(t)\,}$	${\displaystyle =\mathrm {E} \left(e^{tX}\right)}$
	${\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}e^{\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}e^{tx}\,dx}$
	${\displaystyle =e^{\left(\mu t+{\frac {\sigma ^{2}t^{2}}{2}}\right)}}$

可以通过在指数函数内配平方得到。

特征函数被定义为${\displaystyle \exp(itX)}$的期望值，其中${\displaystyle i}$是虚数单位. 对于一个常态分布来讲，特征函数是：

${\displaystyle \phi _{X}(t;\mu ,\sigma )\!}$	${\displaystyle =\mathrm {E} \left[\exp(itX)\right]}$
	${\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)\exp(itx)\,dx}$
	${\displaystyle =\exp \left(i\mu t-{\frac {\sigma ^{2}t^{2}}{2}}\right).}$

把矩生成函数中的${\displaystyle t}$换成${\displaystyle it}$就能得到特征函数。

一些常态分布的一阶动差如下：

阶数	原动差	中心矩	累积量
0	1	0
1	${\displaystyle \mu }$	0	${\displaystyle \mu }$
2	${\displaystyle \mu ^{2}+\sigma ^{2}}$	${\displaystyle \sigma ^{2}}$	${\displaystyle \sigma ^{2}}$
3	${\displaystyle \mu ^{3}+3\mu \sigma ^{2}}$	0	0
4	${\displaystyle \mu ^{4}+6\mu ^{2}\sigma ^{2}+3\sigma ^{4}}$	${\displaystyle 3\sigma ^{4}}$	0

标准常态的所有二阶以上的累积量为零。

正态分布的概率密度函数，参数为μ = 12，σ = 3，趋近于n = 48、p = 1/4的二项分布的概率质量函数。

常态分布有一个非常重要的性质：在特定条件下，大量统计独立的随机变量的平均值的分布趋于正态分布，这就是中央极限定理。中央极限定理的重要意义在于，根据这一定理的结论，其他概率分布可以用正态分布作为近似。

• 参数为${\displaystyle n}$和${\displaystyle p}$的二项分布，在${\displaystyle n}$相当大而且${\displaystyle p}$接近0.5时近似于正态分布（有的参考书建议仅在${\displaystyle np}$与${\displaystyle n(1-p)}$至少为5时才能使用这一近似）。

近似正态分布平均数为${\displaystyle \mu =np}$且方差为${\displaystyle \sigma ^{2}=np(1-p)}$.

• 一泊松分布带有参数${\displaystyle \lambda }$当采样样本数很大时将近似正态分布${\displaystyle \lambda }$.

近似正态分布平均数为${\displaystyle \mu =\lambda }$且方差为${\displaystyle \sigma ^{2}=\lambda }$.

这些近似值是否完全充分正确取决于用户的使用需求

正态分布是无限可分的概率分布。

正态分布是严格稳定的概率分布。

深蓝色区域是距平均值小于一个标准差之内的数值范围。在常态分布中，此范围所占比率为全部数值之68%，根据常态分布，两个标准差之内的比率合起来为95%；三个标准差之内的比率合起来为99%。

在实际应用上，常考虑一组数据具有近似于常态分布的几率分布。若其假设正确，则约68.3%数值分布在距离平均值有1个标准差之内的范围，约95.4%数值分布在距离平均值有2个标准差之内的范围，以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为「68-95-99.7法则」或「经验法则」。

多元正态分布的协方差矩阵的估计的推导是比较难于理解的。它需要了解谱原理（spectral theorem）以及为什么把一个标量看做一个1×1矩阵的迹（trace）而不仅仅是一个标量更合理的原因。请参考协方差矩阵的估计（estimation of covariance matrices）。

某饮料公司装瓶流程严谨，每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配法则。随机选取一罐，求（1）容量超过605毫升的几率；（2）容量小于590毫升的几率。

容量超过605毫升的几率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475

容量小于590毫升的几率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004

6-标准差(6-sigma或6-σ)的品质管制标准

6-标准差(6-sigma或6-σ)，是制造业流行的品质管制标准。在这个标准之下，一个标准常态分配的变量值出现在正负三个标准差之外，只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是说，这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准，而每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配。那么预期装填容量的范围应该多少？

6-标准差的范围 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此，预期装填容量应该介于591至609毫升之间。

假设某校入学新生的智力测验平均分数与标准差分别为100与12。那么随机抽取50个学生，他们智力测验平均分数大于105的几率？小于90的几率？

本例没有常态分配的假设，还好中央极限定理提供一个可行解，那就是当随机样本长度超过30，样本平均数${\displaystyle {\bar {x}}}$近似于一个常态变量，

因此标准常态变量${\displaystyle Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}$。

平均分数大于105的几率 ${\displaystyle P(Z>{\frac {105-100}{12/{\sqrt {50}}}})=P(Z>5/1.7)=P(Z>2.94)=0.0016}$

平均分数小于90的几率 ${\displaystyle P(Z<{\frac {90-100}{12/{\sqrt {50}}}})=P(Z<-5.88)=0.0000}$

在计算机模拟中，经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法，Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是：求12个在（0,1）上均匀分布的和，然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布；选择一个方差12。这个随即推导的结果限制在（-6,6）之间，并且密度为12，是用11次多项式估计正态分布。

Box-Muller方法是以两组独立的随机数U和V，这两组数在(0,1]上均匀分布，用U和V生成两组独立的标准常态分布随机变量X和Y:

${\displaystyle X={\sqrt {-2\ln U}}\,\cos(2\pi V),}$

${\displaystyle Y={\sqrt {-2\ln U}}\,\sin(2\pi V)}$。

这个方程的提出是因为二自由度的卡方分布（见性质4）很容易由指数随机变量（方程中的lnU）生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度，用指数分布选择半径然后变换成（正态分布的）x,y坐标。