概率论基础 - 8 - 大数定理

概率论历史上第一个极限定理属于伯努利，后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。

依概率收敛

定义

• 有 ：

\lim _{n \rightarrow \infty} P\left\{\left|Y_{n}-a\right| \leq \varepsilon\right\}=1

​

• 则称序列依概率收敛于a，记作：

Y_{n} \stackrel{P}{\rightarrow} a

含义

• 收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
• 依概率：表明序列无穷远处的随机变量Y_{\infty}的分布规律为：绝大部分分布于点 a，极少数位于a 之外。且分布于a 之外的事件发生的概率之和为0。

大数定理

• 设随机变量X_1,X_2, \dots ,X_n, \dots 相互独立，且具有相同的数学期望和方差：

\mathbb{E}\left[X_{k}\right]=\mu, \operatorname{Var}\left[X_{k}\right]=\sigma^{2}

• 则序列X_i依概率收敛于\mu：

• 这里并没有要求随机变量X_1,X_2, \dots ,X_n, \dots 同分布。

证明见 切比雪夫不等式

辛钦定理

• 设随机变量X_1,X_2, \dots ,X_n, \dots 相互独立，服从同一分布，且具有相同的数学期望\mu，则对于任意正数\varepsilon有：

• 注意：这里并没有要求随机变量X_i的方差存在

证明

• 由于X_i同分布，他们有相同的分布，也就具有相同的特征函数：

\varphi_{X}(t)=E\left[e^{i t X}\right]

• 其中e^{i t X}为：

e^{i t X}=1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}

• 因此X的期望E(X)可以用特征函数在t=0处的一阶导数表示：

• 将特征函数在t=0处泰勒展开，有：

\varphi_{X}(t)=\varphi_{X}(0)+\varphi_{X}'(0)t+o(t)=1+i\mu t+o(t)

• 其中\mu=E(X)
• 由于X_i相互独立，变量\frac{1}{n} \sum_{k=1}^{n} X_{k}的特征函数为：

• 根据（可由洛必达法则推出）：

• 得：

{g_n}(t)=e^{i\mu t}=1+\frac{i t E(X)}{1}-\frac{t^{2} E(X^{2})}{2 !}+\cdots+\frac{(i t)^{n} E(X^{n})}{n !}

• 而e^{i\mu t}为：

e^{i\mu t}=1+\frac{i t \mu}{1}-\frac{t^{2} \mu^{2}}{2 !}+\cdots+\frac{(i t)^{n} \mu^{n}}{n !}

• 即X的n阶矩与期望的关系为：

• 变量\frac{1}{n} \sum_{k=1}^{n} X_{k}与退化函数：

• 二者具有相同的特征函数，因此具有相同的分布，有：

伯努利大数定理

• 设n_A为n次独立重复实验中事件A发生的次数， p是事件A在每次试验中发生的概率。则对于任意正数\varepsilon有：

• 当独立重复实验执行非常大的次数时，事件A发生的频率逼近于它的概率
• 伯努利大数定理是亲钦定理的特殊情况

参考资料

• http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html