大数定律

大数定律（Law of Large Numbers）断言：大量独立同分布随机变量的算术平均值依概率收敛到其数学期望。这是"频率稳定于概率"的数学表述。

切比雪夫不等式（核心工具）

$P(|X - E(X)| \geq \varepsilon) \leq \frac{\operatorname{Var}(X)}{\varepsilon^2}$

大数定律的几乎所有证明都围绕此不等式展开——用方差控制偏差概率。

伯努利大数定律

设 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p = P(A)$。则对任意 $\varepsilon > 0$： $\lim_{n \to \infty} P\!\left(\left|\frac{n_A}{n} - p\right| \geq \varepsilon\right) = 0$

即频率 $\dfrac{n_A}{n}$ 依概率收敛到概率 $p$。

意义：这为"概率的统计定义"（频率的稳定值就是概率）提供了严格的数学依据。

切比雪夫大数定律

设 $X_1, X_2, \ldots$ 两两不相关，且方差一致有界（$\operatorname{Var}(X_n) \leq C$）。则： $\frac{1}{n}\sum_{i=1}^{n} (X_i - E(X_i)) \xrightarrow{P} 0$

证明思路

$\operatorname{Var}(\bar{X}_n) = \frac{1}{n^2}\sum \operatorname{Var}(X_i) \leq \frac{C}{n} \to 0$。由切比雪夫不等式立得。

辛钦大数定律（最常用）

设 $X_1, X_2, \ldots$ 独立同分布，且期望 $E(X_1) = \mu$ 存在（不需要方差存在！）。则： $\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu$

重要：辛钦大数定律只要求期望存在，不要求方差存在。但证明需要特征函数——无法用切比雪夫不等式直接论证。

强大数定律（补充）

设 $X_1, X_2, \ldots$ 独立同分布，$E(X_1) = \mu$ 存在。则： $\bar{X}_n \xrightarrow{a.s.} \mu$

即样本均值以概率 $1$ 收敛（几乎必然收敛）到总体均值。强大数定律比弱大数定律更强，但结论形式相似。

大数定律对比

定律	条件	收敛模式	核心工具
伯努利	二项分布	依概率	切比雪夫不等式
切比雪夫	两两不相关 + 方差有界	依概率	切比雪夫不等式
辛钦	独立同分布 + 期望存在	依概率	特征函数
柯尔莫哥洛夫	独立同分布 + 期望存在	几乎必然	更精细分析

大数定律的应用

1. 蒙特卡洛方法：用样本均值近似积分/期望——理论基础正是大数定律
2. 统计估计的一致性：样本均值是总体均值的一致估计
3. 保险精算：大量保单的赔付平均值稳定于期望赔付
4. 误差分析：多次测量取平均值可以减小随机误差