数据科学基础(一) 随机事件及其概率

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

1.1 随机试验与随机事件

• 随机试验:

  • 相同条件可重复
  • 结果不止一个
  • 无法预测

• 事件：每种结果，随机事件A、B、C.

• 基本事件: 相对于实验目的不可再分.
• 复合事件: 由基本事件复合.

1.2 样本空间

• 样本空间: 所有基本事件复合, 记作 $\Omega$.
• 样本点: $\Omega$ 中的元素 $\omega$.

以下两种是非随机/极端:

• 必然事件: 一定会发生的事件.
• 不可能事件: 一定不发生的事件.
• 无限可列个: 按某种规律排成一个序列.

1.3 事件间的关系

• 包含
• 交( 积 )
• 并( 和 )
• 差: $A - B = A - AB$
• 互不相容事件: $A$ 与 $B$不同时发生
• 对立事件: $A + B = \Omega$ 且 $AB = \phi$
  与互不相容事件的不同:
  • 互不相容事件可以有多个, 对立事件只有两个.
  • 互不相容事件可以均不发生, 对立事件必定发生一个.
    相关公式: $A-B=A - AB=A\overline{B}$.

• 完备事件组:

  $$A_1, A_2,A_3...A_n 两两不相容, 且 \bigcup_{i=1}^{n} A_i = \Omega$$

• 运算律
  (1) 交换律
  (2) 结合律
  (3) 分配律
  (4) 对偶律:

  • $\overline{A\cup{B} } = \overline{A}\cap \overline{ {B}}$
  • $\overline{A\cap{B} } = \overline{A}\cup \overline{ {B}}$

1.4 频率与概率

1.4.1 频率

1.4.2 概率: 发生的可能性大小: $P(A)$

• 性质:
  1. 规范性: $P(\Omega) = 1$ , $P(\phi) = 0$
  2. 非负性: $0 \leq P(A) \leq 1$
  3. 可加性

1.5 事件概率

1.5.1 古典概型

$$P(A) = \frac{A的有利样本点}{\Omega 中样本总数}=\frac{A中基本事件数}{基本事件数}$$

• 性质:

  1. 有限可能

  2. 等可能

  3. 有限可加性:

     $$A_1, A_2,A_3...A_n 两两不相容,P(A_1+A_2+A_3...+A_n) = \sum_{i=1}^n {P(A_i)}$$

1.5.2 几何概型

典型问题: 会面问题, 蒲丰投针

• 性质:
  1. 完全可加性:$P(\bigcup_{i=1}^{\infty}A_i) = \sum_{i=1}^{\infty}P(A_i)$

1.6 公理化

1. 非负性: $0 \leq P(E) \leq 1$
2. 规范性: $P(\Omega) = 1$
3. 完全可加性: $P(\bigcup_{i=1}^{\infty}A_i) = \sum_{i=1}^{\infty}P(A_i)$

由这三条公理可以推出其他定理.
定理 1: $P(\phi) = 0$
证明:

$$\begin{aligned} &P(\Omega) = P(\Omega+\phi) = 1,\\ \because &\Omega \cap \phi = \phi,\\ \therefore &P(\Omega) = P(\Omega)+P(\phi) = 1,\\ &P(\phi) = 0. \end{aligned}$$

定理 2:$P(\overline{E}) = 1 - P(E)$
证明:

$$\begin{aligned} &P(\Omega) = P(E\cup\overline{E}),\\ &\because E\cup \overline{E}=\phi,\\ &\therefore P(\overline{E})+P(E) = 1.\\ \end{aligned}$$

定理 3: $P(A\cup B) = P(A)+P(B)-P(AB)$
证明:

$$\begin{aligned} P(A\cup B) &= P((A-B)+(B-A)+AB)\\ &=P(A-B)+P(B-A)+P(AB),\\ P(A\cup B) + P(AB) &= P(A-B)+P(AB)+P(B-A)+P(AB),\\ P(A\cup B) +P(AB) &= P(A)+P(B).\\ \end{aligned}$$

补充: $P(A+B+C) = P(A)+P(B)+P(C)-P(AB)-P(C)-P(BC)+P(ABC).$

1.7 条件概率

1.7.1 条件概率

定义: 在样本空间内, $A$,$B$ 两个事件,$ P(B)>0$,在 $B$ 已经发生的条件下 $A$
发生的概率, 记作 $P(A|B)$.
公式: $P(A|B) = \frac{P(AB)}{P(B)}$. 乘法公式:$P(AB) = P(A|B)P(B)$
性质:

• $P(A|B)\leq 0$
• $P(\Omega|B) = 0$

1.7.2 全概率公式

定理：$A_1,A_2,A_3...A_n$ 是完备事件组（互不相容且并集为样本空间），且 $P(A_i)>0$ ,则 $P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$
典型问题: 各个厂家的产品各占多少,每个厂家的不合格率也不一样,求总的不合格概率

1.7.3 贝叶斯公式

全概率公式是知道原因推结果,贝叶斯公式是知道结果推原因, 例子: 感冒和肺炎都有可能引起发烧,全概率公式是感冒情况下发烧概率和肺炎情况下发烧概率都已知情况下求总的发烧概率,而贝叶斯公式是已知发烧,求感冒或者肺炎的概率.定理: $A_1,A_2,A_3…A_n$ 是完备事件组,则

$$P(A_i)>0,P(B)>0,P(A_k|B)=\frac{P(A_k)P(B|A_k)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}$$

• $P(A_i)$:先验概率,易算
• $P(A_i|B)$:后验概率,不易算(知道结果,求原因)

1.8 独立性

定义:
  事件 A 发生的概率不受事件 B 是否发生的影响.即: $P(A|B) = P(A)$.

• 注意:$\phi,\Omega$与任意事件独立.

定理 1：$P(AB)=P(A)P(B)$, 则为独立事件.
定理 2:

• $A$与$B$独立, 则 $A$与$\overline{B}$,$\overline{A}$与$B$,$\overline{A}$与$\overline{B}$独立
• $P(A) = 0$或者$P(A)=1$,则$A$与任何事件独立.
  • 注意: 概率为零不一定是空集, 概率为1也不一定是全集,比如集合概率模型,落在数轴上某点概率为零,但仍然可以发生.
• $E(X+Y)=E(X)+E(Y)$
• $D(X+Y)=D(X)+D(Y)$