数据科学基础(四) 大数定律与中心极限定理

4.1 大数定律

$P\left{X\geq a\right}\leq\displaystyle\frac{EX}{a}$
证明:$EX=\displaystyle\int_0^{\infty}xf(x)dx=\int_a^{\infty}xf(x)dx+\int_0^{a}xf(x)dx\geq\int_a^{\infty}xf(x)dx\geq\int_a^{\infty}af(x)dx=a P\left{X\geq a\right}$

定理: 若 $EX$ 和 $DX$ 均存在, $\forall \epsilon >0$,均有 ${|X-EX|\geq \epsilon } \leq \frac{DX}{\epsilon ^2}$

证明:
$\begin{aligned}\{|X-EX|\geq \epsilon \}&=\int_{|X-EX|\geq \epsilon }f(x)dx \\\\&\leq {\int_{|X-EX| \geq \epsilon }\frac{|X-EX|^2}{\epsilon ^2}f(x)dx}\\\\&\leq {\int_{-\infty}^{+\infty}\frac{(X-EX)^2}{\epsilon ^2}f(x)dx}\\ \\&\leq\frac{DX}{\epsilon ^2} \end{aligned}$

依概率收敛: $X_n \rightarrow a$, $\forall \epsilon >0,∃ N>0$ 使得当 $n>N$ 时,有 $\left{|X_n-a| \leq \epsilon \right}=1$

$n$ 重伯努利试验, $A$ 发生了 $m_n$ 次, $P$ 为概率,则
$\displaystyle\lim_{n\rightarrow+\infty}P\{|\frac{m_n}{n}-P|\leq ε\}=1$
证明:
$\begin{aligned} &m_n\sim B(n,p),Em_n=np,Dm_n=np(1-p),\\ &E(\frac{m_n}{n})=p,D(\frac{m_n}{n})=\frac{p(1-p)}{n}\\ &1\geq P\{|\frac{m_n}{n}-P|\leq ε\}\geq 1-\frac{\frac{p(1-p)}{n}}{ε^2}\rightarrow1,n\rightarrow+\infty\\ \end{aligned}$

$X1,…,X_n$ 是不相关(没有线性关系)的变量,$EX_i$ 和 $DX_i$ 均存在,且方差有界,,$DX_i \leq M$, 则 $\forall\epsilon >0$ ,有$\displaystyle\lim{n\rightarrow\infty}P\left{|\frac{1}{n}\displaystyle\sum{i=1}^{n}X_i-\frac{1}{n}\displaystyle\sum{i=1}^{n}EX_i|<\epsilon \right}=1$

证明:
$\begin{aligned} &E(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)=\frac{1}{n}\sum_{i=1}^n(EX_i),\\ &D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)=\frac{1}{n^2}\sum_{i=1}^n(DX_i)\leq \frac{M}{n}\\ 则&1\geq\lim_{n\rightarrow\infty}P\{|\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i-\frac{1}{n}\displaystyle\sum_{i=1}^{n}EX_i|<ε\} \geq 1-\frac{D\Bigg(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i\Bigg)}{ε^2} \geq 1-\frac{M}{nε^2}=1\\ \end{aligned}$

$X1,…,X_n$ 是独立同分布的变量,$EX_i=\mu$,( 注:方差无要求 ) , 则 $\forall\epsilon >0$ ,有$$\displaystyle\lim{n\rightarrow\infty}\left{|\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i-\mu|<\epsilon \right}=1$$

证明: 同样可用切比雪夫不等式.

现象由大量相互独立的因素影响, 大量独立同分布的变量和极限分布是正态分布.
定理: 随机变量 $X1, X_2,…,X_n$ 独立同分布, 且 $E(X_i)=\mu,D(X_i)=\sigma^2>0(i=1,2,3…),$则随机变量之和$\displaystyle\sum{i=1}^{n}X_i$的标准化变量
$Y_n=\frac{\displaystyle\sum_{i=1}^{n}X_i-E(\sum_{i=1}^{n}X_i)}{\displaystyle\sqrt{D(\displaystyle\sum_{i=1}^{n}X_i)}}=\frac{\displaystyle\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}$
的分布函数 $F_n(x)$ 对于任意 x 满足
$\begin{aligned} \lim_{n\rightarrow{\infty}}F_n(x)&=\lim_{n\rightarrow{\infty}}P\left\{\frac{\displaystyle\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\leq x\right\}\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{x^2}{2}}dx=\Phi_0(x)\end{aligned}$

可以改写成

$\frac{\overline{X}-\mu}{\sigma n^{-\frac{1}{2}}}\sim N(0,1)$

或者

$\overline{X} \sim N(\mu,\frac{\sigma^2}{n})$