数据科学基础(五) 数理统计的基本概念

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

5.1. 总体与样本

5.2. 常用统计量

定义

• 样本均值: $\overline{X}=\displaystyle\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i$

• 修正后的样本方差: $\begin{aligned}S^{2}=\frac{1}{n-1} \sum{i=1}^{n}\left(X{i}-\bar{X}\right)^{2}\end{aligned}$

样本均值和样本方差的性质

• 定理: 设总体$X$的均值为$EX=\mu$,方差为$DX=\sigma^2$,样本{$X_1,X_2,\ldots ,X_n$} 来自总体$X$ ,则:
  • $E\overline{X}=\mu$
  • $\displaystyle D\overline{X} = \frac{1}{n}\sigma^2$
  • $ES^2=\sigma^2$

• 前两者证明略. $ES^2=\sigma^2$ 的证明:

  $$\begin{aligned} & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)-(\bar{X}-\mu)\right]^{2} \\=& \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^{2}\right] \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu) \sum_{i=1}^{n}\left(X_{i}-\mu\right)+\sum_{i=1}^{n}(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)\left(\sum_{i=1}^{n} X_{i}-\sum_{i=1}^{n} \mu\right)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)(n \bar{X}-n \mu)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\bar{X}-\mu)^{2}+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \end{aligned}$$

  有:

  $$\begin{aligned} \text { } & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \\ & E S^{2}=E\left[\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right] \\ &=\frac{1}{n-1} E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2}\right] \\ &=\frac{1}{n-1}\left\{E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right]-n E(\bar{X}-\mu)^{2}\right\} \\ &=\frac{1}{n-1}\left[\sum_{i=1}^{n} E\left(X_{i}-\mu\right)^{2}-n D \bar{X}\right] \\ &=\frac{1}{n-1} [ \sum_{i=1}^{n} D X_{i}-n D \bar{X} ] \\ &=\frac{1}{n-1}\left(n \sigma^{2}-n \frac{1}{n} \sigma^{2}\right)=\sigma^{2} \end{aligned}$$

5.3. 抽样分布

5.3.1. 三种重要分布

1. 卡方分布($\chi^2$分布)

• 定理: 设随机变量 $X{1}, X{2}, \ldots, X{n}$ 相互独立,且服从标准正态分布,则他们的平方和 $\chi^{2}=X{1}^{2}+X{2}^{2}+\ldots+X{n}^{2}$ 服从的分布称为自由度为 $n$ 的卡方分布.记作: $X \sim \chi^2(n)$.
  其中自由度表示独立的随机变量的个数.

• 密度函数:

  $$f(x)=\left\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} e^{-\frac{x}{2}} x^{\frac{n}{2}-1},&x>0 \text { } \\ 0 &,x \leq 0 \text {}\end{array}\right.$$

• 结论:若$X \sim \chi^2(n)$ 则:$EX = n, DX = 2n$

• 定理:若$X \sim \chi^2(m)$,$Y \sim \chi^2(n)$,则$X+Y \sim \chi^2{(m+n)}$

  • 推论:

    1. 若 $X{i} \sim \chi^{2}\left(n{i}\right), \quad i=1,2, \ldots, n,$ 且相互独立, 则

       $$\left(\sum_{i=1}^{n} X_{i}\right) \sim \chi^{2}\left(\sum_{i=1}^{n} n_{i}\right)$$

    2. 若 $X{1}, X{2}, \ldots, X{n}$ 相互独立，同服从于正态分布 $N\left(\mu{i}, \sigma_{i}^{2}\right),$ 则

    $$\sum_{i=1}^{n}\left(\frac{X_{i}-\mu_{i}}{\sigma_{i}}\right)^{2} \sim \chi^{2}(n)$$

2.$t$ 分布

• 定理:$X \sim N(0,1), Y \sim \chi^{2}(n), X,Y,$ 独立，则 称随机变量

$$T=\frac{X}{\sqrt{Y} / n}=\frac{X}{\sqrt{Y}} \sqrt{n}$$

服从的分布为自由的为 $n$ 的 $t-$ 分布.当自由度很大时,$t$ 分布无限趋近于标准正态分布.

• 性质:因为该分布是对称的, $t{1-\alpha}(n)=-t{\alpha}(n)$

3. $F$ 分布

• 定理:若 $X \sim \chi^{2}\left(n{1}\right), Y \sim \chi^{2}\left(n{2}\right), X, Y$ 独立,
  则 随机变量 $\quad F=\frac{X} / n{1}{\mathbf{Y} / n}{2} \quad$ 所服从的分布为自由度是$(n_1,n_2)$ 的 $F$ 分布,$n_1,n_2$ 分别为第一自由度,第二自由度.

5.3.2. 正态总体下的抽样分布

• 总体是正态分布, 抽样本, 构造统计量的分布.

• 定理: $X\sim N(\mu , \sigma^2)$ ,${X1\ldots X_n}$ 为样本,则
  (1) $\bar{X} \sim N(\mu, \frac{\sigma^2}{n})$
  (2) $\displaystyle \frac{(n-1) S^{2}}{\sigma^{2}}=\frac{1}{\sigma^{2}} \sum{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \sim \chi ^{2}(n-1)$ 证明较复杂,略
  (3) $\overline{X}$ 与 $S^2$ 独立

• 定理: (前提与上面的相同)
  (1) $\displaystyle \sum^{n}{i=1}(\frac{X_i-\mu}{\sigma})^2= \frac{1}{\sigma^{2}} \sum{i=1}^{n}\left(X_{i}-\mu\right)^{2} \sim \chi ^{2}(n)$ 上面的自由度为 $n-1$ 下面的为 $n$ ,可借助”多一个方程,自由未知量少一个来理解”
  (2) $\displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1)$

  证明:

  $$\begin{aligned} &\displaystyle\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)...①,\\&\frac{(n-1) S^{2}}{\sigma^{2}}\sim\chi^2(n-1)...② \\ \therefore &\frac{①}{\sqrt{② /(n-1)}}=\displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1) \end{aligned}$$

  • 定理: 两个正态总体 $X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2),X$ 取了$n_1$ 个,$Y$ 取了 $n_2$ 个,$\bar{X},\bar{Y},S_1^2,S_2^2$,则

    1. $\displaystyle\bar{X}-\bar{Y} \sim N\left(\mu{1}-\mu{2}, \frac{\sigma^2{1}}{n{1}}+\frac{\sigma{2}^2}{n{2}}\right)$
    2. $\displaystyle\frac{S{1}^{2} / \sigma{1}^{2}}{S{2}^{2} / \sigma{2}^{2}} \sim F\left(n{1}-1 , n{2}-1\right)$