分享

MoeFocalors' Blog

下面给出完整文件的「表格化重排版」:

  • 所有知识点一字不删
  • 凡遇“事件同时发生”一律正规写作 A \cap B
  • 能用表格的尽量用三线表压缩,密度最大化;
  • 直接复制即可在 GitHub / Typora / VS Code / Obsidian 等环境正常渲染。

《概率论与数理统计》期末复习知识点总结

理工类·简明版 —— 基于吴赣昌教材


目录

[TOC]


1 随机事件及其概率

名称 公式
加法 $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
乘法 $P(A \cap B) = P(A)P(B
全概率 $P(A) = \sum_i P(B_i)P(A
贝叶斯 $P(B_k

古典概型例题
将甲、乙、丙三人随机分配到 3 间房,求“每房恰 1 人”的概率。
样本点总数:$3^3 = 27$,有利事件数:$3! = 6$,
$$ P = \frac{6}{27} = \frac{2}{9} $$


2 随机变量及其分布

2.1 常用分布一览

类型 记号 参数 PMF/PDF 期望 方差
0–1 $\text{Bern}(p)$ $0<p<1$ $p^x(1-p)^{1-x},, x\in{0,1}$ $p$ $p(1-p)$
二项 $\text{Bin}(n,p)$ $n\ge 1,, 0<p<1$ $\binom{n}{x}p^x(1-p)^{n-x}$ $np$ $np(1-p)$
泊松 $\text{Pois}(\lambda)$ $\lambda>0$ $\dfrac{e^{-\lambda}\lambda^x}{x!}$ $\lambda$ $\lambda$
几何 $\text{Geom}(p)$ $0<p<1$ $p(1-p)^{x-1},, x=1,2,\dots$ $\dfrac{1}{p}$ $\dfrac{1-p}{p^2}$
均匀 $U(a,b)$ $a<b$ $\dfrac{1}{b-a},, a<x<b$ $\dfrac{a+b}{2}$ $\dfrac{(b-a)^2}{12}$
指数 $\text{Exp}(\lambda)$ $\lambda>0$ $\lambda e^{-\lambda x},, x>0$ $\dfrac{1}{\lambda}$ $\dfrac{1}{\lambda^2}$
正态 $N(\mu,\sigma^2)$ $\mu\in\mathbb R,, \sigma>0$ $\dfrac{1}{\sqrt{2\pi}\sigma}\exp[-\tfrac{(x-\mu)^2}{2\sigma^2}]$ $\mu$ $\sigma^2$
分布 记号 独立条件 $E[aX+bY+c]$ $D(aX+bY+c)$ (X⊥Y)
0–1 $\text{Bern}(p)$ X⊥Y $ap+bq+c$ $a^2p(1-p)+b^2q(1-q)$
二项 $\text{Bin}(n,p)$ X⊥Y $a np+b m q+c$ $a^2 np(1-p)+b^2 m q(1-q)$
泊松 $\text{Pois}(\lambda)$ X⊥Y $a\lambda+b\mu+c$ $a^2\lambda+b^2\mu$
几何 $\text{Geom}(p)$ X⊥Y $\dfrac{a}{p}+\dfrac{b}{r}+c$ $a^2\dfrac{1-p}{p^2}+b^2\dfrac{1-r}{r^2}$
均匀 $U(a,b)$ X⊥Y $a\dfrac{a+b}{2}+b\dfrac{c+d}{2}+c$ $a^2\dfrac{(b-a)^2}{12}+b^2\dfrac{(d-c)^2}{12}$
指数 $\text{Exp}(\lambda)$ X⊥Y $\dfrac{a}{\lambda}+\dfrac{b}{\mu}+c$ $\dfrac{a^2}{\lambda^2}+\dfrac{b^2}{\mu^2}$
正态 $N(\mu,\sigma^2)$ X⊥Y $a\mu+b\nu+c$ $a^2\sigma^2+b^2\tau^2$

2.2 分布函数与标准化

  • 分布函数:$F(x) = P(X \le x)$
  • 正态标准化:$Z = \dfrac{X - \mu}{\sigma} \sim N(0,1)$

3 多维随机变量及其分布

3.1 联合→边缘→条件→独立

情形 判据
离散 $p_{ij} = p_{i\cdot},p_{\cdot j}$
连续 $f(x,y) = f_X(x),f_Y(y)$
一般 $F(x,y) = F_X(x),F_Y(y)$

4 数字特征

概念 公式
期望线性 $E(aX+bY) = aE(X) + bE(Y)$
方差定义 $\operatorname{Var}(X) = E(X^2) - [E(X)]^2$
协方差 $ \operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y) $
相关系数 $\rho_{XY} = \dfrac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}$
切比雪夫 $P(
弱大数 $P!\left(\left
中心极限 $\dfrac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} N(0,1)$

协方差定义拆解

[
\operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y)
]

符号来源

  • E(XY):随机变量 乘积的期望,即“平均意义上的 X·Y”。
    计算时必需回到 联合分布
类型 公式
离散 $$\displaystyle E(XY)=\sum_{i}\sum_{j} x_i y_j p_{ij},\quad p_{ij}=P(X=x_i,Y=y_j)$$
连续 $$\displaystyle E(XY)=\iint_{\mathbb{R}^2} x y,f(x,y),dx,dy,\quad f(x,y)\text{ 为联合密度}$$
  • E(X)E(Y):各自期望的简单乘积。
  • X⊥Y(独立)时,E(XY)=E(X)E(Y) ⇒ Cov=0。
编号 性质 公式
1 定义 $\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y)$
2 对称 $\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X)$
3 自协方差 $\operatorname{Cov}(X,X)=\operatorname{Var}(X)$
4 常数隔离 $\operatorname{Cov}(a,X)=0\quad(a\text{ 为常数})$
5 线性齐次 $\operatorname{Cov}(aX,bY)=ab\operatorname{Cov}(X,Y)$
6 线性平移 $\operatorname{Cov}(X+a,Y+b)=\operatorname{Cov}(X,Y)$
7 加法展开 $\operatorname{Cov}(X_1+X_2,Y)=\operatorname{Cov}(X_1,Y)+\operatorname{Cov}(X_2,Y)$
8 双线性 $\operatorname{Cov}!\bigl(\sum a_iX_i,\sum b_jY_j\bigr)=\sum_{i,j}a_ib_j\operatorname{Cov}(X_i,Y_j)$
9 独立必不相关 $X\perp Y\Rightarrow\operatorname{Cov}(X,Y)=0$
10 方差求和 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y)$
11 方差线性 $\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\operatorname{Cov}(X,Y)$
12 Cauchy-Schwarz $
13 相关系数归一 $\rho_{XY}=\dfrac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}\in[-1,1]$
14 线性变换协方差阵 若 $\mathbf{Z}=\mathbf{A}\mathbf{X}$,则 $\operatorname{Cov}(\mathbf{Z})=\mathbf{A}\operatorname{Cov}(\mathbf{X})\mathbf{A}^{\top}$

5 数理统计基础

5.1 样本数字特征

统计量 公式
样本均值 $\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$
样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$

5.2 三大抽样分布

分布 构造 期望 方差
$\chi^2(n)$ $\sum_{i=1}^n Z_i^2,, Z_i\sim N(0,1)$ $n$ $2n$
$t(n)$ $\dfrac{Z}{\sqrt{U/n}},, Z\sim N(0,1),, U\sim\chi^2(n)$ $0;(k>1)$ $\dfrac{n}{n-2};(k>2)$
$F(m,n)$ $\dfrac{U/m}{V/n},, U\sim\chi^2(m),, V\sim\chi^2(n)$ $\dfrac{n}{n-2};(n>2)$ 见原文

5.3 正态总体抽样定理

  • $\overline{X} \sim N!\left(\mu,\frac{\sigma^2}{n}\right)$
  • $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
  • $\frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$

6 参数估计

6.1 估计方法

方法 要点
矩估计 用样本矩替换总体矩:$E(X^k) = \frac{1}{n}\sum X_i^k$
最大似然 似然函数 $L(\theta) = \prod f(X_i;\theta)$,解 $\frac{\partial \ln L}{\partial\theta} = 0$

6.2 估计量评价

准则 定义
无偏 $E(\hat\theta) = \theta$
有效 方差最小
一致 $\hat\theta \xrightarrow{P} \theta;(n\to\infty)$

6.3 正态总体置信区间

待估参数 条件 置信区间
均值 $\sigma^2$已知 $\overline{X} \pm z_{\alpha/2}\frac{\sigma}{\sqrt{n}}$
均值 $\sigma^2$未知 $\overline{X} \pm t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}$
方差 $\mu$未知 $\left(\dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},; \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)$

7 假设检验

7.1 步骤

  1. 假设 $H_0 \leftrightarrow H_1$
  2. 选统计量
  3. 计算观测值
  4. 定拒绝域(显著性水平 $\alpha$)
  5. 决策

7.2 常用检验统计量

名称 统计量 分布
Z 检验 $Z = \frac{\overline{X}-\mu_0}{\sigma/\sqrt{n}}$ $N(0,1)$
t 检验 $t = \frac{\overline{X}-\mu_0}{S/\sqrt{n}}$ $t(n-1)$
$\chi^2$ 方差检验 $\chi^2 = \frac{(n-1)S^2}{\sigma_0^2}$ $\chi^2(n-1)$

7.3 两类错误

  • 第一类:拒绝真 $H_0$,概率 $\alpha$
  • 第二类:接受假 $H_0$,概率 $\beta$

增补:常用分布速查表(公式大全)

分布 记号 参数 PMF/PDF 期望 方差 MGF 无记忆/可加 常用分位点
0-1 $\text{Bern}(p)$ $0<p<1$ $p^x(1-p)^{1-x},, x\in{0,1}$ $p$ $p(1-p)$ $1-p+pe^t$
二项 $\text{Bin}(n,p)$ $n\ge 1,, 0<p<1$ $\binom{n}{x}p^x(1-p)^{n-x}$ $np$ $np(1-p)$ $(1-p+pe^t)^n$ 可加
泊松 $\text{Pois}(\lambda)$ $\lambda>0$ $\frac{e^{-\lambda}\lambda^x}{x!}$ $\lambda$ $\lambda$ $\exp[\lambda(e^t-1)]$ 可加
几何 $\text{Geom}(p)$ $0<p<1$ $p(1-p)^{x-1},, x=1,2,\dots$ $\frac{1}{p}$ $\frac{1-p}{p^2}$ $\frac{pe^t}{1-(1-p)e^t}$ 无记忆
超几何 $\text{HG}(N,K,n)$ $N,K,n\in\mathbb N$ $\frac{\binom{K}{x}\binom{N-K}{n-x}}{\binom{N}{n}}$ $\frac{nK}{N}$ $\frac{nK(N-K)(N-n)}{N^2(N-1)}$
负二项 $\text{NB}(r,p)$ $r\ge 1,, 0<p<1$ $\binom{x-1}{r-1}p^r(1-p)^{x-r}$ $\frac{r}{p}$ $\frac{r(1-p)}{p^2}$ $\left(\frac{pe^t}{1-(1-p)e^t}\right)^r$ 可加
均匀 $U(a,b)$ $a<b$ $\frac{1}{b-a},, a<x<b$ $\frac{a+b}{2}$ $\frac{(b-a)^2}{12}$ $\frac{e^{tb}-e^{ta}}{(b-a)t}$
指数 $\text{Exp}(\lambda)$ $\lambda>0$ $\lambda e^{-\lambda x},, x>0$ $\frac{1}{\lambda}$ $\frac{1}{\lambda^2}$ $\frac{\lambda}{\lambda-t},, t<\lambda$ 无记忆
正态 $N(\mu,\sigma^2)$ $\mu\in\mathbb R,, \sigma>0$ $\frac{1}{\sqrt{2\pi}\sigma}\exp[-\frac{(x-\mu)^2}{2\sigma^2}]$ $\mu$ $\sigma^2$ $\exp[\mu t+\frac{1}{2}\sigma^2t^2]$ 可加 $z_{0.975}=1.96$
伽马 $\Gamma(k,\theta)$ $k>0,, \theta>0$ $\frac{x^{k-1}e^{-x/\theta}}{\Gamma(k)\theta^k},, x>0$ $k\theta$ $k\theta^2$ $(1-\theta t)^{-k},, t<1/\theta$ 可加
贝塔 $\text{Beta}(\alpha,\beta)$ $\alpha>0,, \beta>0$ $\frac{x^{\alpha-1}(1-x)^{\beta-1}}{\mathrm B(\alpha,\beta)},, 0<x<1$ $\frac{\alpha}{\alpha+\beta}$ $\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$
卡方 $\chi^2(k)$ $k\in\mathbb N$ $\frac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)},, x>0$ $k$ $2k$ $(1-2t)^{-k/2},, t<1/2$ 可加 $\chi^2_{0.95}(10)=18.31$
t 分布 $t(k)$ $k\in\mathbb N$ $\frac{\Gamma(\frac{k+1}{2})}{\sqrt{k\pi},\Gamma(\frac{k}{2})}(1+\frac{x^2}{k})^{-\frac{k+1}{2}}$ $0;(k>1)$ $\frac{k}{k-2};(k>2)$ $t_{0.975}(10)=2.228$
F 分布 $F(d_1,d_2)$ $d_1,d_2\in\mathbb N$ (略) $\frac{d_2}{d_2-2};(d_2>2)$ $\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2)^2(d_2-4)};(d_2>4)$ $F_{0.95}(5,10)=3.33$

样本均值定理

总体分布 记号 样本均值 $\overline X$ 的精确/渐近分布 备注
0–1 $\text{Bern}(p)$ $\overline X = \dfrac{S}{n},; S\sim\text{Bin}(n,p)$ 精确:$n\overline X\sim\text{Bin}(n,p)$
二项 $\text{Bin}(m,p)$ $\overline X = \dfrac{S}{n},; S\sim\text{Bin}(nm,p)$ 精确:$n\overline X\sim\text{Bin}(nm,p)$
泊松 $\text{Pois}(\lambda)$ $n\overline X\sim\text{Pois}(n\lambda)$ 精确:$n\overline X$ 仍为泊松
几何 $\text{Geom}(p)$ $n\overline X\sim\text{NB}(n,p)$ 精确:$n\overline X$ 为负二项
均匀 $U(a,b)$ $\overline X\sim\N!\left(\dfrac{a+b}{2},\dfrac{(b-a)^2}{12n}\right)$ 精确(正态总体定理)
指数 $\text{Exp}(\lambda)$ $\overline X\sim\text{Gamma}(n,\tfrac{1}{n\lambda})$ 精确:$n\lambda\overline X\sim\Gamma(n,1)$
正态 $\N(\mu,\sigma^2)$ $\overline X\sim\N!\left(\mu,\dfrac{\sigma^2}{n}\right)$ 精确(任意 $n$)

附录公式(保持原样,仅补 \cap

几何分布无记忆性

$$ P(X>k+m \mid X>k) = \frac{P(X>k+m)}{P(X>k)} = \frac{(1-p)^{k+m}}{(1-p)^k} = (1-p)^m = P(X>m). $$

指数分布无记忆性

$$ P(X>s+t \mid X>s) = \frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} = e^{-\lambda t} = P(X>t). $$

正态 3σ 法则

$$ P(\mu - 3\sigma \le X \le \mu + 3\sigma) = \Phi(3) - \Phi(-3) = 2\Phi(3) - 1 \approx 0.9973. $$

χ²、t、F 分位点换算

  • $t^2_{1-\alpha/2}(n) = F_{1-\alpha}(1,n)$
  • $Z \sim N(0,1) \Rightarrow Z^2 \sim \chi^2(1)$
  • 当 $n\to\infty$,$t(n)\to N(0,1)$;$\chi^2(n)\approx N(n,2n)$

伽马与贝塔函数

$$ \Gamma(z) = \int_0^\infty t^{z-1}e^{-t},dt,\quad \Gamma(n+1)=n!;(n\in\mathbb N). $$
$$ \mathrm B(a,b) = \int_0^1 t^{a-1}(1-t)^{b-1},dt = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}. $$

矩、偏度、峰度

  • 原点矩:$\mu_k’ = E[X^k]$
  • 中心矩:$\mu_k = E[(X - E[X])^k]$
  • 偏度:$\gamma_1 = \mu_3 / \mu_2^{3/2}$
  • 峰度:$\gamma_2 = \mu_4 / \mu_2^2 - 3$(超额峰度)

随机变量变换(一维)

若 $Y = g(X)$ 严格单调、可导,则
$$ f_Y(y) = f_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right|. $$

随机变量和(卷积)

独立连续型 $Z = X + Y$:
$$ f_Z(z) = \int_{-\infty}^\infty f_X(x)f_Y(z-x),dx. $$
:$X\sim\Gamma(k_1,\theta),,Y\sim\Gamma(k_2,\theta)$ 独立 $\Rightarrow Z\sim\Gamma(k_1+k_2,\theta)$.

大样本近似

  • 二项:$n\ge30,,np\ge5,,n(1-p)\ge5$ 时
    $$ \hat p \approx N!\left(p,,\frac{p(1-p)}{n}\right) $$
  • 泊松:$\lambda\ge15$ 时
    $$ \bar X \approx N!\left(\lambda,,\frac{\lambda}{n}\right) $$

(完)