Math Review: Probability Theory

本期是概率论与数理统计的简单复习。

随机事件和概率

概率的性质

• 差的概率：

  $$P(B-A)=P(B)-P(A B)$$

• 加法定理：

  $$P(A \cup B)=P(A)+P(B)-P(A B)$$

  一般地，

  $$P\left(\bigcup_{i=1}^n A_i\right) =\sum_{i=1}^n P\left(A_i\right)-\sum_{1 \leq i<j \leq n} P\left(A_i A_j\right) +\sum_{1 \leq i<j<k \leq n} P\left(A_i A_j A_k\right)+\cdots+(-1)^{n-1} P\left(A_1 A_2 \cdots A_n\right)$$

条件概率

• 全概率公式：

  若 $B_1, B_2, \cdots, B_n$ 两两互斥，且 $\Omega=\bigcup_{i=1}^n B_i$，那么

  $$P(A)=\sum_{i=1}^n P\left(B_i\right) P\left(A | B_i\right)$$

• 贝叶斯公式：

  $$P\left(B_i | A\right)=\frac{P\left(A B_i\right)}{P(A)}=\frac{P\left(B_i\right) P\left(A | B_i\right)}{\sum_{j=1}^n P\left(B_j\right) P\left(A | B_j\right)}$$

随机变量及其分布

常见的离散型分布

• 两点分布：

  $$P(X=k)=p^k(1-p)^{1-k}, \quad k=0,1$$

• 二项分布：$X \sim B(n, p)$

  $$P(X=k)=C_n^k p^k(1-p)^{n-k}, \quad k=0,1,2, \cdots, n$$

• 几何分布：

  $$P(X=k)=p(1-p)^{k-1}, \quad k=1,2, \cdots$$

• 负二项分布（帕斯卡分布）：

  $$P(X=k)=C_{k-1}^{r-1} p^r(1-p)^{k-r}, \quad k=r, r+1, \cdots$$

• 泊松分布：$X \sim P(\lambda)$

  $$P(X=k)=e^{-\lambda} \frac{\lambda^k}{k!}, \quad k=0,1,2, \cdots$$

泊松分布和其他分布的关系

• 泊松分布与二项分布：若 $X \sim B(n, p)$，当 $n$ 较大，$p$ 较小，而 $np$ 适中时，可以近似看成参数为 $np$ 的泊松分布

  • 泊松定理：设 $\displaystyle \lim_{n \rightarrow \infty} n p_n=\lambda>0$，则对固定的 $k$

    $$\lim_{n \rightarrow \infty} C_n^k p_n^k\left(1-p_n\right)^{n-k} =e^{-\lambda} \frac{\lambda^k}{k!}, \quad k =0 ,1,2, \cdots$$