分享

MoeFocalors' Blog

《概率论与数理统计》期末复习知识点总结


目录

[TOC]


1 随机事件及其概率

名称 公式
加法 P(AB)=P(A)+P(B)P(AB)P(A \cup B) = P(A) + P(B) - P(A \cap B)
乘法 P(AB)=P(A)P(BA)=P(B)P(AB)P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)
全概率 P(A)=iP(Bi)P(ABi)P(A) = \sum_i P(B_i)P(A|B_i)
贝叶斯 P(BkA)=P(Bk)P(ABk)iP(Bi)P(ABi)P(B_k|A) = \dfrac{P(B_k)P(A|B_k)}{\sum_i P(B_i)P(A|B_i)}

古典概型例题
将甲、乙、丙三人随机分配到 3 间房,求“每房恰 1 人”的概率。
样本点总数:33=273^3 = 27,有利事件数:3!=63! = 6

P=627=29 P = \frac{6}{27} = \frac{2}{9}

2 随机变量及其分布

2.1 常用分布一览

类型 记号 参数 PMF/PDF 期望 方差
0–1 Bern(p)\text{Bern}(p) 0<p<10<p<1 px(1p)1x,x{0,1}p^x(1-p)^{1-x},\, x\in\{0,1\} pp p(1p)p(1-p)
二项 Bin(n,p)\text{Bin}(n,p) n1,0<p<1n\ge 1,\, 0<p<1 (nx)px(1p)nx\binom{n}{x}p^x(1-p)^{n-x} npnp np(1p)np(1-p)
泊松 Pois(λ)\text{Pois}(\lambda) λ>0\lambda>0 eλλxx!\dfrac{e^{-\lambda}\lambda^x}{x!} λ\lambda λ\lambda
几何 Geom(p)\text{Geom}(p) 0<p<10<p<1 p(1p)x1,x=1,2,p(1-p)^{x-1},\, x=1,2,\dots 1p\dfrac{1}{p} 1pp2\dfrac{1-p}{p^2}
均匀 U(a,b)U(a,b) a<ba<b 1ba,a<x<b\dfrac{1}{b-a},\, a<x<b a+b2\dfrac{a+b}{2} (ba)212\dfrac{(b-a)^2}{12}
指数 Exp(λ)\text{Exp}(\lambda) λ>0\lambda>0 λeλx,x>0\lambda e^{-\lambda x},\, x>0 1λ\dfrac{1}{\lambda} 1λ2\dfrac{1}{\lambda^2}
正态 N(μ,σ2)N(\mu,\sigma^2) μR,σ>0\mu\in\mathbb R,\, \sigma>0 12πσexp[(xμ)22σ2]\dfrac{1}{\sqrt{2\pi}\sigma}\exp[-\tfrac{(x-\mu)^2}{2\sigma^2}] μ\mu σ2\sigma^2
分布 记号 独立条件 E[aX+bY+c]E[aX+bY+c] D(aX+bY+c)D(aX+bY+c) (X⊥Y)
0–1 Bern(p)\text{Bern}(p) X⊥Y ap+bq+cap+bq+c a2p(1p)+b2q(1q)a^2p(1-p)+b^2q(1-q)
二项 Bin(n,p)\text{Bin}(n,p) X⊥Y anp+bmq+ca np+b m q+c a2np(1p)+b2mq(1q)a^2 np(1-p)+b^2 m q(1-q)
泊松 Pois(λ)\text{Pois}(\lambda) X⊥Y aλ+bμ+ca\lambda+b\mu+c a2λ+b2μa^2\lambda+b^2\mu
几何 Geom(p)\text{Geom}(p) X⊥Y ap+br+c\dfrac{a}{p}+\dfrac{b}{r}+c a21pp2+b21rr2a^2\dfrac{1-p}{p^2}+b^2\dfrac{1-r}{r^2}
均匀 U(a,b)U(a,b) X⊥Y aa+b2+bc+d2+ca\dfrac{a+b}{2}+b\dfrac{c+d}{2}+c a2(ba)212+b2(dc)212a^2\dfrac{(b-a)^2}{12}+b^2\dfrac{(d-c)^2}{12}
指数 Exp(λ)\text{Exp}(\lambda) X⊥Y aλ+bμ+c\dfrac{a}{\lambda}+\dfrac{b}{\mu}+c a2λ2+b2μ2\dfrac{a^2}{\lambda^2}+\dfrac{b^2}{\mu^2}
正态 N(μ,σ2)N(\mu,\sigma^2) X⊥Y aμ+bν+ca\mu+b\nu+c a2σ2+b2τ2a^2\sigma^2+b^2\tau^2

2.2 分布函数与标准化

  • 分布函数:F(x)=P(Xx)F(x) = P(X \le x)
  • 正态标准化:Z=XμσN(0,1)Z = \dfrac{X - \mu}{\sigma} \sim N(0,1)

3 多维随机变量及其分布

3.1 联合→边缘→条件→独立

情形 判据
离散 pij=pipjp_{ij} = p_{i\cdot}\,p_{\cdot j}
连续 f(x,y)=fX(x)fY(y)f(x,y) = f_X(x)\,f_Y(y)
一般 F(x,y)=FX(x)FY(y)F(x,y) = F_X(x)\,F_Y(y)

4 数字特征

概念 公式
期望线性 E(aX+bY)=aE(X)+bE(Y)E(aX+bY) = aE(X) + bE(Y)
方差定义 Var(X)=E(X2)[E(X)]2\operatorname{Var}(X) = E(X^2) - [E(X)]^2
协方差 Cov(X,Y)=E(XY)E(X)E(Y) \operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y)
相关系数 ρXY=Cov(X,Y)Var(X)Var(Y)\rho_{XY} = \dfrac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}
切比雪夫 P(XE(X)ε)Var(X)ε2P(|X - E(X)| \ge \varepsilon) \le \dfrac{\operatorname{Var}(X)}{\varepsilon^2}
弱大数 P ⁣(1ni=1nXiμε)0,  nP\!\left(\left|\frac{1}{n}\sum_{i=1}^n X_i - \mu\right| \ge \varepsilon\right) \to 0,\; n\to\infty
中心极限 i=1nXinμσndN(0,1)\dfrac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} N(0,1)

协方差定义拆解

[ \operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y) ]

符号来源

  • E(XY):随机变量 乘积的期望,即“平均意义上的 X·Y”。
    计算时必需回到 联合分布
类型 公式
离散 E(XY)=ijxiyjpij,pij=P(X=xi,Y=yj)\displaystyle E(XY)=\sum_{i}\sum_{j} x_i y_j p_{ij},\quad p_{ij}=P(X=x_i,Y=y_j)
连续 E(XY)=R2xyf(x,y)dxdy,f(x,y) 为联合密度\displaystyle E(XY)=\iint_{\mathbb{R}^2} x y\,f(x,y)\,dx\,dy,\quad f(x,y)\text{ 为联合密度}
  • E(X)E(Y):各自期望的简单乘积。
  • X⊥Y(独立)时,E(XY)=E(X)E(Y) ⇒ Cov=0。
编号 性质 公式
1 定义 Cov(X,Y)=E(XY)E(X)E(Y)\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y)
2 对称 Cov(X,Y)=Cov(Y,X)\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X)
3 自协方差 Cov(X,X)=Var(X)\operatorname{Cov}(X,X)=\operatorname{Var}(X)
4 常数隔离 Cov(a,X)=0(a 为常数)\operatorname{Cov}(a,X)=0\quad(a\text{ 为常数})
5 线性齐次 Cov(aX,bY)=abCov(X,Y)\operatorname{Cov}(aX,bY)=ab\operatorname{Cov}(X,Y)
6 线性平移 Cov(X+a,Y+b)=Cov(X,Y)\operatorname{Cov}(X+a,Y+b)=\operatorname{Cov}(X,Y)
7 加法展开 Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\operatorname{Cov}(X_1+X_2,Y)=\operatorname{Cov}(X_1,Y)+\operatorname{Cov}(X_2,Y)
8 双线性 Cov ⁣(aiXi,bjYj)=i,jaibjCov(Xi,Yj)\operatorname{Cov}\!\bigl(\sum a_iX_i,\sum b_jY_j\bigr)=\sum_{i,j}a_ib_j\operatorname{Cov}(X_i,Y_j)
9 独立必不相关 XYCov(X,Y)=0X\perp Y\Rightarrow\operatorname{Cov}(X,Y)=0
10 方差求和 Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y)
11 方差线性 Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y)\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\operatorname{Cov}(X,Y)
12 Cauchy-Schwarz Cov(X,Y)Var(X)Var(Y)|\operatorname{Cov}(X,Y)|\le\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}
13 相关系数归一 ρXY=Cov(X,Y)Var(X)Var(Y)[1,1]\rho_{XY}=\dfrac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}}\in[-1,1]
14 线性变换协方差阵 Z=AX\mathbf{Z}=\mathbf{A}\mathbf{X},则 Cov(Z)=ACov(X)A\operatorname{Cov}(\mathbf{Z})=\mathbf{A}\operatorname{Cov}(\mathbf{X})\mathbf{A}^{\top}

5 数理统计基础

5.1 样本数字特征

统计量 公式
样本均值 X=1ni=1nXi\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i
样本方差 S2=1n1i=1n(XiX)2S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2

5.2 三大抽样分布

分布 构造 期望 方差
χ2(n)\chi^2(n) i=1nZi2,ZiN(0,1)\sum_{i=1}^n Z_i^2,\, Z_i\sim N(0,1) nn 2n2n
t(n)t(n) ZU/n,ZN(0,1),Uχ2(n)\dfrac{Z}{\sqrt{U/n}},\, Z\sim N(0,1),\, U\sim\chi^2(n) 0  (k>1)0\;(k>1) nn2  (k>2)\dfrac{n}{n-2}\;(k>2)
F(m,n)F(m,n) U/mV/n,Uχ2(m),Vχ2(n)\dfrac{U/m}{V/n},\, U\sim\chi^2(m),\, V\sim\chi^2(n) nn2  (n>2)\dfrac{n}{n-2}\;(n>2) 见原文

5.3 正态总体抽样定理

  • XN ⁣(μ,σ2n)\overline{X} \sim N\!\left(\mu,\frac{\sigma^2}{n}\right)
  • (n1)S2σ2χ2(n1)\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)
  • XμS/nt(n1)\frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)

6 参数估计

6.1 估计方法

方法 要点
矩估计 用样本矩替换总体矩:E(Xk)=1nXikE(X^k) = \frac{1}{n}\sum X_i^k
最大似然 似然函数 L(θ)=f(Xi;θ)L(\theta) = \prod f(X_i;\theta),解 lnLθ=0\frac{\partial \ln L}{\partial\theta} = 0

6.2 估计量评价

准则 定义
无偏 E(θ^)=θE(\hat\theta) = \theta
有效 方差最小
一致 θ^Pθ  (n)\hat\theta \xrightarrow{P} \theta\;(n\to\infty)

6.3 正态总体置信区间

待估参数 条件 置信区间
均值 σ2\sigma^2已知 X±zα/2σn\overline{X} \pm z_{\alpha/2}\frac{\sigma}{\sqrt{n}}
均值 σ2\sigma^2未知 X±tα/2(n1)Sn\overline{X} \pm t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}
方差 μ\mu未知 ((n1)S2χα/22(n1),  (n1)S2χ1α/22(n1))\left(\dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\; \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)

7 假设检验

7.1 步骤

  1. 假设 H0H1H_0 \leftrightarrow H_1
  2. 选统计量
  3. 计算观测值
  4. 定拒绝域(显著性水平 α\alpha
  5. 决策

7.2 常用检验统计量

名称 统计量 分布
Z 检验 Z=Xμ0σ/nZ = \frac{\overline{X}-\mu_0}{\sigma/\sqrt{n}} N(0,1)N(0,1)
t 检验 t=Xμ0S/nt = \frac{\overline{X}-\mu_0}{S/\sqrt{n}} t(n1)t(n-1)
χ2\chi^2 方差检验 χ2=(n1)S2σ02\chi^2 = \frac{(n-1)S^2}{\sigma_0^2} χ2(n1)\chi^2(n-1)

7.3 两类错误

  • 第一类:拒绝真 H0H_0,概率 α\alpha
  • 第二类:接受假 H0H_0,概率 β\beta

增补:常用分布速查表(公式大全)

分布 记号 参数 PMF/PDF 期望 方差 MGF 无记忆/可加 常用分位点
0-1 Bern(p)\text{Bern}(p) 0<p<10<p<1 px(1p)1x,x{0,1}p^x(1-p)^{1-x},\, x\in\{0,1\} pp p(1p)p(1-p) 1p+pet1-p+pe^t
二项 Bin(n,p)\text{Bin}(n,p) n1,0<p<1n\ge 1,\, 0<p<1 (nx)px(1p)nx\binom{n}{x}p^x(1-p)^{n-x} npnp np(1p)np(1-p) (1p+pet)n(1-p+pe^t)^n 可加
泊松 Pois(λ)\text{Pois}(\lambda) λ>0\lambda>0 eλλxx!\frac{e^{-\lambda}\lambda^x}{x!} λ\lambda λ\lambda exp[λ(et1)]\exp[\lambda(e^t-1)] 可加
几何 Geom(p)\text{Geom}(p) 0<p<10<p<1 p(1p)x1,x=1,2,p(1-p)^{x-1},\, x=1,2,\dots 1p\frac{1}{p} 1pp2\frac{1-p}{p^2} pet1(1p)et\frac{pe^t}{1-(1-p)e^t} 无记忆
超几何 HG(N,K,n)\text{HG}(N,K,n) N,K,nNN,K,n\in\mathbb N (Kx)(NKnx)(Nn)\frac{\binom{K}{x}\binom{N-K}{n-x}}{\binom{N}{n}} nKN\frac{nK}{N} nK(NK)(Nn)N2(N1)\frac{nK(N-K)(N-n)}{N^2(N-1)}
负二项 NB(r,p)\text{NB}(r,p) r1,0<p<1r\ge 1,\, 0<p<1 (x1r1)pr(1p)xr\binom{x-1}{r-1}p^r(1-p)^{x-r} rp\frac{r}{p} r(1p)p2\frac{r(1-p)}{p^2} (pet1(1p)et)r\left(\frac{pe^t}{1-(1-p)e^t}\right)^r 可加
均匀 U(a,b)U(a,b) a<ba<b 1ba,a<x<b\frac{1}{b-a},\, a<x<b a+b2\frac{a+b}{2} (ba)212\frac{(b-a)^2}{12} etbeta(ba)t\frac{e^{tb}-e^{ta}}{(b-a)t}
指数 Exp(λ)\text{Exp}(\lambda) λ>0\lambda>0 λeλx,x>0\lambda e^{-\lambda x},\, x>0 1λ\frac{1}{\lambda} 1λ2\frac{1}{\lambda^2} λλt,t<λ\frac{\lambda}{\lambda-t},\, t<\lambda 无记忆
正态 N(μ,σ2)N(\mu,\sigma^2) μR,σ>0\mu\in\mathbb R,\, \sigma>0 12πσexp[(xμ)22σ2]\frac{1}{\sqrt{2\pi}\sigma}\exp[-\frac{(x-\mu)^2}{2\sigma^2}] μ\mu σ2\sigma^2 exp[μt+12σ2t2]\exp[\mu t+\frac{1}{2}\sigma^2t^2] 可加 z0.975=1.96z_{0.975}=1.96
伽马 Γ(k,θ)\Gamma(k,\theta) k>0,θ>0k>0,\, \theta>0 xk1ex/θΓ(k)θk,x>0\frac{x^{k-1}e^{-x/\theta}}{\Gamma(k)\theta^k},\, x>0 kθk\theta kθ2k\theta^2 (1θt)k,t<1/θ(1-\theta t)^{-k},\, t<1/\theta 可加
贝塔 Beta(α,β)\text{Beta}(\alpha,\beta) α>0,β>0\alpha>0,\, \beta>0 xα1(1x)β1B(α,β),0<x<1\frac{x^{\alpha-1}(1-x)^{\beta-1}}{\mathrm B(\alpha,\beta)},\, 0<x<1 αα+β\frac{\alpha}{\alpha+\beta} αβ(α+β)2(α+β+1)\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
卡方 χ2(k)\chi^2(k) kNk\in\mathbb N xk/21ex/22k/2Γ(k/2),x>0\frac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)},\, x>0 kk 2k2k (12t)k/2,t<1/2(1-2t)^{-k/2},\, t<1/2 可加 χ0.952(10)=18.31\chi^2_{0.95}(10)=18.31
t 分布 t(k)t(k) kNk\in\mathbb N Γ(k+12)kπΓ(k2)(1+x2k)k+12\frac{\Gamma(\frac{k+1}{2})}{\sqrt{k\pi}\,\Gamma(\frac{k}{2})}(1+\frac{x^2}{k})^{-\frac{k+1}{2}} 0  (k>1)0\;(k>1) kk2  (k>2)\frac{k}{k-2}\;(k>2) t0.975(10)=2.228t_{0.975}(10)=2.228
F 分布 F(d1,d2)F(d_1,d_2) d1,d2Nd_1,d_2\in\mathbb N (略) d2d22  (d2>2)\frac{d_2}{d_2-2}\;(d_2>2) 2d22(d1+d22)d1(d22)2(d24)  (d2>4)\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2)^2(d_2-4)}\;(d_2>4) F0.95(5,10)=3.33F_{0.95}(5,10)=3.33

样本均值定理

总体分布 记号 样本均值 X\overline X 的精确/渐近分布 备注
0–1 Bern(p)\text{Bern}(p) X=Sn,  SBin(n,p)\overline X = \dfrac{S}{n},\; S\sim\text{Bin}(n,p) 精确:nXBin(n,p)n\overline X\sim\text{Bin}(n,p)
二项 Bin(m,p)\text{Bin}(m,p) X=Sn,  SBin(nm,p)\overline X = \dfrac{S}{n},\; S\sim\text{Bin}(nm,p) 精确:nXBin(nm,p)n\overline X\sim\text{Bin}(nm,p)
泊松 Pois(λ)\text{Pois}(\lambda) nXPois(nλ)n\overline X\sim\text{Pois}(n\lambda) 精确:nXn\overline X 仍为泊松
几何 Geom(p)\text{Geom}(p) nXNB(n,p)n\overline X\sim\text{NB}(n,p) 精确:nXn\overline X 为负二项
均匀 U(a,b)U(a,b) XN ⁣(a+b2,(ba)212n)\overline X\sim\N\!\left(\dfrac{a+b}{2},\dfrac{(b-a)^2}{12n}\right) 精确(正态总体定理)
指数 Exp(λ)\text{Exp}(\lambda) XGamma(n,1nλ)\overline X\sim\text{Gamma}(n,\tfrac{1}{n\lambda}) 精确:nλXΓ(n,1)n\lambda\overline X\sim\Gamma(n,1)
正态 N(μ,σ2)\N(\mu,\sigma^2) XN ⁣(μ,σ2n)\overline X\sim\N\!\left(\mu,\dfrac{\sigma^2}{n}\right) 精确(任意 nn

附录公式(保持原样,仅补 \cap

几何分布无记忆性

P(X>k+mX>k)=P(X>k+m)P(X>k)=(1p)k+m(1p)k=(1p)m=P(X>m). P(X>k+m \mid X>k) = \frac{P(X>k+m)}{P(X>k)} = \frac{(1-p)^{k+m}}{(1-p)^k} = (1-p)^m = P(X>m).

指数分布无记忆性

P(X>s+tX>s)=eλ(s+t)eλs=eλt=P(X>t). P(X>s+t \mid X>s) = \frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} = e^{-\lambda t} = P(X>t).

正态 3σ 法则

P(μ3σXμ+3σ)=Φ(3)Φ(3)=2Φ(3)10.9973. P(\mu - 3\sigma \le X \le \mu + 3\sigma) = \Phi(3) - \Phi(-3) = 2\Phi(3) - 1 \approx 0.9973.

χ²、t、F 分位点换算

  • t1α/22(n)=F1α(1,n)t^2_{1-\alpha/2}(n) = F_{1-\alpha}(1,n)
  • ZN(0,1)Z2χ2(1)Z \sim N(0,1) \Rightarrow Z^2 \sim \chi^2(1)
  • nn\to\inftyt(n)N(0,1)t(n)\to N(0,1)χ2(n)N(n,2n)\chi^2(n)\approx N(n,2n)

伽马与贝塔函数

Γ(z)=0tz1etdt,Γ(n+1)=n!  (nN). \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}\,dt,\quad \Gamma(n+1)=n!\;(n\in\mathbb N). B(a,b)=01ta1(1t)b1dt=Γ(a)Γ(b)Γ(a+b). \mathrm B(a,b) = \int_0^1 t^{a-1}(1-t)^{b-1}\,dt = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}.

矩、偏度、峰度

  • 原点矩:μk=E[Xk]\mu_k' = E[X^k]
  • 中心矩:μk=E[(XE[X])k]\mu_k = E[(X - E[X])^k]
  • 偏度:γ1=μ3/μ23/2\gamma_1 = \mu_3 / \mu_2^{3/2}
  • 峰度:γ2=μ4/μ223\gamma_2 = \mu_4 / \mu_2^2 - 3(超额峰度)

随机变量变换(一维)

Y=g(X)Y = g(X) 严格单调、可导,则

fY(y)=fX(g1(y))ddyg1(y). f_Y(y) = f_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right|.

随机变量和(卷积)

独立连续型 Z=X+YZ = X + Y

fZ(z)=fX(x)fY(zx)dx. f_Z(z) = \int_{-\infty}^\infty f_X(x)f_Y(z-x)\,dx.

XΓ(k1,θ),YΓ(k2,θ)X\sim\Gamma(k_1,\theta),\,Y\sim\Gamma(k_2,\theta) 独立 ZΓ(k1+k2,θ)\Rightarrow Z\sim\Gamma(k_1+k_2,\theta).

大样本近似

  • 二项:n30,np5,n(1p)5n\ge30,\,np\ge5,\,n(1-p)\ge5p^N ⁣(p,p(1p)n) \hat p \approx N\!\left(p,\,\frac{p(1-p)}{n}\right)
  • 泊松:λ15\lambda\ge15XˉN ⁣(λ,λn) \bar X \approx N\!\left(\lambda,\,\frac{\lambda}{n}\right)

(完)