中心极限定理的Python实践

最近在读扩散模型相关的几篇paper,中间有对概率论的大篇幅引用. 在DDPM的推导中，用到了中心极限定理.

中心极限定理是概率论和统计学中的一个核心定理，它揭示了大量独立随机变量之和的分布规律。本文将深入探讨中心极限定理的原理、意义、历史以及如何通过Python代码来验证这一重要定理。

中心极限定理的基本原理

中心极限定理的核心内容可以简述如下：

当从任意分布的总体中抽取足够大的样本时，这些样本的均值的分布将近似服从正态分布。这个正态分布的均值等于总体均值，方差等于总体方差除以样本容量。

换言之，不论原始总体服从何种分布，只要样本量足够大，样本均值的分布就会趋近于正态分布。这一发现极大地简化了统计推断过程。

数学表述

设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立，具有相同的数学期望 $\mu$ 和方差 ${\sigma }^2$，则随机变量之和的标准化形式：

$$Z_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}$$

当 $n\to \infty$ 时，$Z_n$ 的分布收敛于标准正态分布 $N(0,1)$。

中心极限定理的意义

1. 为统计推断提供理论基础，如参数估计、置信区间构建和假设检验。
2. 解释了自然界中许多现象近似服从正态分布的原因。
3. 简化了复杂系统的分析，使我们能够用正态分布来近似描述多个随机因素的综合效应。

历史发展

• 1733年：棣莫弗(De Moivre)首次提出，研究了二项分布的正态近似。
• 1812年：拉普拉斯(Laplace)推广了棣莫弗的结果。
• 1901年：李雅普诺夫(Lyapunov)给出了中心极限定理的严格证明。
• 20世纪：理论得到进一步发展和推广，形成了一类重要的极限定理。

Python代码实践

以下是一个使用Python验证中心极限定理的示例：

import numpy as np
import matplotlib.pyplot as pltnp.random.seed(0)# 参数设置
n_samples = 1000
n_experiments = 1000
sample_size = 30# 进行实验
sample_means = []
for _ in range(n_experiments):sample = np.random.exponential(scale=1.0, size=sample_size)sample_means.append(np.mean(sample))# 绘图
plt.figure(figsize=(10, 6))
plt.hist(sample_means, bins=30, density=True, alpha=0.7,color='blue', label='样本均值分布')mean = np.mean(sample_means)
std_dev = np.std(sample_means)
xmin, xmax = plt.xlim()x = np.linspace(xmin, xmax, 100)
normal_dist = (1/(std_dev * np.sqrt(2 * np.pi))) * \np.exp(-0.5 * ((x - mean) / std_dev) ** 2)
plt.plot(x, normal_dist, 'k', linewidth=2, label='正态分布曲线')plt.title('样本均值的抽样分布（中心极限定理演示）')
plt.xlabel('样本均值')
plt.ylabel('密度')
plt.legend()
plt.grid(True)
plt.show()

结果分析

从生成的图表中，我们可以观察到：

1. 蓝色柱状图表示从指数分布中抽取样本后计算得到的样本均值分布。
2. 黑色曲线代表理论正态分布。
3. 尽管原始数据来自指数分布（非正态分布），但样本均值的分布仍然呈现出明显的钟形，与正态分布曲线高度吻合。
4. 样本均值分布的中心接近1，这与指数分布的理论均值一致。
5. 分布的形状与正态分布曲线非常接近，有力地验证了中心极限定理。

结论

通过这个Python实例，我们直观地展示了中心极限定理的核心内容：即使原始总体不服从正态分布，只要样本量足够大，样本均值的分布就会近似正态分布。这一性质在统计推断、质量控制、金融分析等诸多领域都有着广泛的应用。

理解并掌握中心极限定理，不仅能帮助我们更好地理解统计学的基本原理，还能在实际问题中做出更准确的推断和决策。无论是在学术研究还是实际应用中，中心极限定理都是一个强大而实用的工具。