概率基础——大数定律

概率基础——大数定律

介绍

大数定律是概率论中的一个重要定理，它描述了随机变量序列的均值在概率意义下收敛于其数学期望的现象。简单来说，大数定律说明了当试验次数足够多时，样本平均值将逼近于总体均值。在实际应用中，大数定律为统计学和概率论提供了重要的理论基础，也是估计总体参数的一种重要方法。

理论及公式

弱大数定律

设$X_1,X_2,\dots ,X_n$是相互独立、具有相同分布、且具有有限数学期望$\mu$的随机变量序列，定义其样本平均为

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

则对于任意正数$ϵ>0$，有

$$\underset{n\to \infty }{\lim }P(|{\overline{X}}_n-\mu |\ge ϵ)=0$$

即样本平均${\overline{X}}_n$以概率1收敛于总体均值$\mu$。

较强大数定律

设$X_1,X_2,\dots ,X_n$是独立同分布的随机变量序列，且具有有限的数学期望$\mu$，则对于任意正数$ϵ>0$，有

$$P(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mu )=1$$

即样本平均${\overline{X}}_n$ 以概率1收敛于总体均值$\mu$。

推导过程

弱大数定律的推导

我们使用切比雪夫不等式来证明弱大数定律。

由切比雪夫不等式：

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}$$

将$X$替换为样本平均${\overline{X}}_n$，$\mu$替换为总体均值$\mu$， $\sigma$替换为样本平均的标准差$\frac{\sigma }{\sqrt{n}}$

$$P(|{\overline{X}}_n-\mu |\ge k\cdot \frac{\sigma }{\sqrt{n}})\le \frac{1}{k^2}$$

当$n\to \infty$ 时，有$k\cdot \frac{\sigma }{\sqrt{n}}\to 0$，因此$P(|{\overline{X}}_n-\mu |\ge ϵ)\to 0$，即样本平均${\overline{X}}_n$概率1收敛于总体均值$\mu$。

大数定律的推导

假设$X_1,X_2,...,X_n$是一组独立同分布的随机变量序列，它们的均值为 $\mu$，方差为${\sigma }^2$。令$S_n=X_1+X_2+...+X_n$，则 $S_n$的期望为$n\mu$，方差为$n{\sigma }^2$。

根据切比雪夫不等式，对于任意给定的正数$ϵ$，有：

$$P(|S_n-n\mu |\ge nϵ)\le \frac{n{\sigma }^2}{n^2{ϵ}^2}=\frac{{\sigma }^2}{n{ϵ}^2}$$

令 $n\to \infty$，则 $\frac{{\sigma }^2}{n{ϵ}^2}\to 0$。因此，对于足够大的$n$，有$P(|S_n-n\mu |\ge nϵ)\to 0$，即：

$$P(|S_n-n\mu |<nϵ)\to 1$$

即样本的平均值$\frac{S_n}{n}$在 $n\to \infty$时以概率$1$趋近于总体均值$\mu$。

模拟大数定律的案例1

生成3组各15000个服从参数为（10，0.4）的二项分布变量，随机变量的期望$n\times p$=4，然后观察随着样本数目的增大，样本均值和实际分布期望之间的关系。

import numpy as np
from scipy.stats import binom
import matplotlib.pyplot as plt

n = 10
p = 0.4

sample_size = 15000
expected_value = n * p
N_samples = range(1, sample_size, 10)

for k in range(3):
    binom_rv =  binom(n, p)
    X = binom_rv.rvs(sample_size)
    sample_average = [X[: i].mean() for i in N_samples]
    plt.plot(N_samples, sample_average, label=f'average of sample {k}')
plt.plot(N_samples, expected_value * np.ones_like(sample_average), ls='--', label=f'true expected value:n*p={n * p}', c='k')
plt.ylim([3.0, 5.0])
plt.legend()
plt.grid()
plt.show()

设置了3个相同的试验组，从试验结果来看，在每一组试验中，随着样本数量逐渐增大，样本均值都会越来越收敛于随机变量的期望。

模拟大数定律的案例2

从大数定律的定义出发，先生成1000,000个服从均值0，标准差为20的正态分布的样本，依次进行3种不同的处理，并观察对应的3组分布。

import numpy as np
from scipy.stats import norm
import matplotlib.pyplot as plt

norm_rvs = norm(loc=0, scale=20).rvs(size=100000)
plt.hist(norm_rvs, density=True, alpha=0.5, bins=100, color='k', label='Original')

mean_array = []

for i in range(10000):
    sample = np.random.choice(norm_rvs, size=5, replace=False)
    mean_array.append(sample.mean())

plt.hist(mean_array, density=True, alpha=0.5, bins=100, color='r', label='sample size = 5')

for i in range(10000):
    sample = np.random.choice(norm_rvs, size=50, replace=False)
    mean_array.append(sample.mean())

plt.hist(mean_array, density=True, alpha=0.5, bins=100, color='g', label='sample size = 50')

plt.gca().axes.set_xlim(-60, 60)

plt.legend(loc='best')
plt.grid(ls='--')
plt.show()

该程序的样本规模比较大，运行时间会相对较长。

如图所示，原始正态分布的样本分布图像，分布呈现的高度最矮。从1000,000个原始正态分布样本中，每次随机选取5个数，计算它们的均值，重复操作10,000次，观察10,000个均值的分布，分布呈现的高度次之。
从1000,000个原始正态分布样本中，每次随机选取50个数，计算它们的均值，重复操作10,000次，观察10,000个均值的分布，分布呈现的高度最高。
从图中可以发现，随着每次选取的样本数量的增多，样本均值的图像越来越期望集中，佐证了大数定律。

结论

大数定律描述了随机变量序列的均值在概率意义下收敛于其数学期望的现象。通过概率不等式的推导，我们可以得到样本平均在概率1下收敛于总体均值的结论。在实际应用中，大数定律为统计学和概率论提供了重要的理论基础，也为估计总体参数提供了一种有效的方法。

原文地址：https://blog.csdn.net/weixin_39753819/article/details/136318979

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！