概统概率公式总结
概率论的基本概念
补事件
A−B=A−AB=AB
德摩根律
⋃i=1nAi=⋂i=1nAi
⋂i=1nAi=⋃i=1nAi
概率可加性
P(⋃i=1∞Ai)=∑i=1∞P(Ai) 其中 A1A2... 是一列两两互不相容的事件
P(⋃i=1nAi)=∑i=1nP(Ai) 其中 A1A2...An 是一列两两互不相容的事件
一些常识
P(∅)=0
如果 A⊂B,则 P(A)≤P(B),反之不一定成立
P(A)+P(A)=1
加减法公式
P(A−B)=P(AB)=P(A)−P(AB)
P(A∪B)=P(A)+P(B)−P(AB)
P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)
古典概型
P(A)=nk 其中 k 是事件 A 的样本点数,n 是样本总点数
几何概型
P(A)=SΩSA 其中 SA 是事件 A 对应的面积,SΩ 是总面积
条件概率
P(A∣B)=P(B)P(AB) 其中 P(B)>0,B 发生情况下 A 发生的条件概率
乘法公式
P(AB)=P(A)P(B∣A)=P(B)P(A∣B)
P(A1A2A3...An)=P(A1)P(A2∣A1)P(A3∣A1A2)...P(An∣A1A2...An−1)
全概率公式
P(B)=∑i=1∞P(Ai)P(B∣Ai) 其中 Ai 是一个划分
贝叶斯公式
P(Ak∣B)=∑i=1nP(Ai)P(B∣Ai)P(Ak)P(B∣Ak)
独立的判断与性质
P(AB)=P(A)P(B) 与 A、B 独立互为充要条件
(A,B)、(A,B)、(A,B)、(A,B) 四个之中只要有一个独立,其余三个均独立
若 A 与 A 独立则 P(A)=0 或 1
P(A)>0,P(B)>0 且 AB=∅ 则 A 与 B 独立,二者互为充要条件
从 A1,A2,...,An 中任取 k(2≤k≤n) 个事件均满足:
P(Ai1Ai2...Ain)=P(Ai1)P(Ai2)...P(Ain)
伯努利实验
如果实验 E 只有两个结果:A 和 A,并且 P(A)=p,P(A)=q,把实验 E 独立的重复 n 次构成一个实验,成为 n 重伯努利实验
随机变量及其类型
分布函数及其性质
F(x)=P(X≤x)F(∞)=1,F(−∞)=0F(x)为x的单调不减函数P(a≤X≤b)=F(b)−F(a−0)P(a<X≤b)=F(b)−F(a)P(a<X<b)=F(b−0)−F(a)P(a≤X<b)=F(b−0)−F(a−0)
二项分布
写作 X∼B(n,p),n 为实验次数,p 为成功概率
P(X=k)=Cnkpkqn−k,k=0,1,...,n
E(X)=np,D(X)=npq=np(1−p)
泊松分布
写作 X∼P(λ),λ 为参数且大于零
P(X=k)=k!λke−λ,k=0,1,...
E(X)=λ,D(X)=λ,E(X2)=λ2+λ
设 X,Y 相互独立,且分别服从参数为 λ1,λ2 的泊松分布 Z=X+Y 有 Z∼P(λ1+λ2)
几何分布
写作 X∼G(p),P>0
P(X=k)=pqk−1=p(1−p)k−1,k=1,2,...
E(X)=p1,D(X)=p2q=p21−p,E(X2)=P2q+1
P(X>n+m∣X>m)=P(X>n) 几何分布的无记忆性
超几何分布
写作 X∼H(n,M,N),N>M,N>n
P(X=k)=CNnCMkCN−Mn−k,k=0,1,...,min(M,n)
密度函数及性质
F(x)=∫−∞xf(t)dt,x∈R,f(x) 即为密度函数
0≤f(x),∫−∞∞f(x)=1
P(X=c)=0,c 为常数
P(a<x<b)=P(a<x≤b)=P(a≤x<b)=P(a≤x≤b)=∫abf(x)dx
均匀分布
写作 X∼U(a,b)
f(x)=b−a1,x∈(a,b)
F(x)=b−ax−a,x∈(a,b)
E(x)=2a+b,E(x2)=3a2+b2+ab,D(x)=12(b−a)2
指数分布
写作 X∼E(λ)
f(x)=λe−λx,x>0
F(x)=1−e−λx,x>0
E(x)=λ1,E(x2)=λ22,D(x)=λ21
P(X>t+s∣X>s)=P(X>t) 指数分布的无记忆性
正态分布
写作 X∼N(μ,σ2)
f(x)=2πσ1e−2σ2(x−μ)2,x∈R
将 μ=0,σ2=1 的正态分布称为标准正态分布,其分布函数写作 Φ(x),密度函数写作 ϕ(x)
ϕ(x)=2π1e−2x2,Φ(x)=∫−∞xϕ(t)dt
若 X∼N(μ,σ2),令 Z=σX−μ,则 Z∼N(0,1)
E(x)=μ,D(x)=σ2
设 X1,X2,...,Xn 相互独立,且 Xi∼N(μi,σi2),i=1,2,...,n 那么对于任意常数 ai,i=1,2,...,n 以及常数 c,有:
∑i=1naiXi+c∼N(∑i=1naiμi+c,∑i=1nai2σi2) 正态分布的可加性
离散型随机变量函数的分布列
若 X∼[x1 x2 x3...p1 p2 p3...],Y=g(X),则:
Y∼[g(x1) g(x2) g(x3)...p1 p2 p3...]
一个定理
设连续性随机变量 X 的密度函数为 fX(x),y=g(x) 是一个严格单调函数,且具有一阶连续导函数,x=h(y) 是 y=g(x) 的反函数,则 Y=g(X) 的密度函数为:
fY(y)=fX(h(y))∣h′(y)∣
二维随机变量的联合分布函数及其性质
设二维随机变量 (X,Y),对任意实数 x,y,二元函数:
F(x,y)=P(X≤x,Y≤y) 称为 (X,Y) 的联合分布函数
P(x1<X≤x2,y1<Y≤y2)=F(x2,y2)−F(x1,y2)−F(x2,y1)+F(x1,y1)
F(x,y) 对 x 或 y 都是不减函数,即对任意 y,若 x1≤x2,则 F(x1,y)≤F(x2,y),对于任意的 x 同理
F(−∞,y)=0,F(x,−∞)=0,F(−∞,−∞)=0,F(∞,∞)=1
F(x+0,y)=F(x,y)=F(x,y+0)
边际分布函数
FX(x)=F(x,∞),FY(y)=F(∞,y)
二维离散型随机变量的独立性
设 (X,Y) 为二维离散型随机变量,X 与 Y 的可能取值分别为 x1,x2,... 与 y1,y2,... 如果对任意的 i,j=1,2,... 都有:
P(X=xi,Y=yj)=P(X=xi)P(Y=yj) 则称 X 与 Y 是相互独立的
二维离散型随机变量的条件分布列
设 (X,Y) 为二维离散型随机变量,X 与 Y 的可能取值分别为 x1,x2,... 与 y1,y2,... 如果对任意的 i,j=1,2,...,称:
pi∣j=P(X=xi∣Y=yj)=P(Y=yj)P(X=xi,Y=yj) 为已知 {Y=yj} 的条件下 X 的分布列
二维连续型随机变量及性质
设 F(x,y) 为二维随机变量 (X,Y) 的联合分布函数,若存在非负函数 f(x,y) 使得对于任意的 x,y∈R,有:
F(x,y)=∫−∞x∫−∞yf(u,v)dudv
则 f(x,y) 为 (X,Y) 的联合概率密度函数
f(x,y)≥0,∫−∞∞∫−∞∞f(x,y)dxdy=1
∂x∂y∂2F(x,y)=f(x,y)
fX(x)=∫−∞∞f(x,y)dy,x∈R,fY(y)=∫−∞∞f(x,y)dx,y∈R
fX(x) 为 X 的边际密度函数,fY(y) 为 Y 的边际密度函数
二维均匀分布
D 为平面有界闭区域,面积为 SD
f(x,y)=SD1,(x,y)∈D
若 G 为 D 的子区域:
P((X,Y)∈G)=∬Gf(x,y)dσ=SD1∬Gdσ=SDSG
二维正态分布
写作 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ),σ1>0,σ2>0,∣ρ∣<1
f(x,y)=2πσ1σ21−ρ21e2(1−ρ2)−1[σ12(x−μ1)2−σ1σ22ρ(x−μ1)(y−μ2)+σ22(y−μ2)2]
二维正态分布的两个边缘分布都是一维正态分布,且参数分别为 (μ1,σ1) 和 (μ2,σ2)
具有相同的参数 μ1,μ2,σ1,σ2,但 ρ 不同的二维正态分布具有相同的边缘分布函数
X 与 Y 相互独立的充要条件是 ρ=0
设 Z=aX+bY、W=cX+dY,a b c d 均为常数,则 (Z,W) 也遵从二维正态分布,且 Z 和 W 均为一维正态分布
二维连续型随机变量的独立性
若对于所有的 x,y 有:
f(x,y)=fX(x)fY(y) 或 F(x,y)=FX(x)FY(y) 则称 X 和 Y 相互独立
若 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ),则 X 与 Y 相互独立的充要条件是 ρ=0
二维连续性随机变量的条件密度
给定 Y=y 的条件下 X 的条件分布函数与条件密度函数:
FX∣Y(x∣y)=∫−∞xfY(y)f(u,y)du,fX∣Y(x∣y)=fY(y)f(x,y)
给定 X=x 的条件下 Y 的条件分布函数与条件密度函数:
FY∣X(y∣x)=∫−∞yfX(x)f(x,u)du,fY∣X(y∣x)=fX(x)f(x,y)
f(x,y)=fX(x)fY∣X(y∣x)=fY(y)fX∣Y(x∣y)
极大极小分布
设随机变量 X1,X2,...,Xn 相互独立,且 Xi 的分布函数为 FXi(x),i=1,2,...
令 Y=max{X1,X2,...,Xn},Z=min{X1,X2,...,Xn}
Y 的分布函数 Fmax=∏i=1nFXi(x)
Z 的分布函数 Fmin=1−∏i=1n(1−FXi(x))
特别的,如果 X1,X2,...,Xn 的分布函数相同,有:
Fmax=F(x)n,Fmin=1−(1−F(x))n
max{X,Y}=21(X+Y+∣X−Y∣)
min{X,Y}=21(X+Y−∣X−Y∣)
随机变量的数字特征
数学期望
EX=∑k=1∞xkpk(离散型随机变量)
E(X)=∫−∞∞xf(x)dx(连续型随机变量)
设 Y=g(X),则:
E(Y)=∑k=1∞g(xk)pk(X 是离散)
E(Y)=∫−∞∞g(x)f(x)dx(X 是连续)
设 Z=g(X,Y),f(x,y) 为 (X,Y) 的密度函数则:
E(Z)=∑i=1∞∑j=1∞g(xi,yj)pij(Z 是离散)
E(Z)=∫−∞∞∫−∞∞g(x,y)f(x,y)dxdy(Z 是连续)
设 (X,Y) 为二维离散随机变量有:
E(X)=∑i=1∞∑j=1∞xipij,E(Y)=∑j=1∞∑i=1∞yjpij
设 (X,Y) 为二维连续随机变量,联合概率密度函数为 f(x,y) 有:
E(X)=∫−∞∞∫−∞∞xf(x,y)dxdy,E(Y)=∫−∞∞∫−∞∞yf(x,y)dxdy
E(c)=c,E(cX)=cE(X),c 为常数
E(X1+X2)=E(X1)+E(X2)
若 X 与 Y 相互独立,则 E(XY)=E(X)E(Y),g(X) h(Y) 为 X 和 Y 的函数,E[g(x)h(y)]=E[g(x)]E[h(y)]
E(XY)=∬[f(x,y)∗x∗y]dxdy
方差
D(X)=E{[E−E(X)]2}=E(X2)−[E(x)]2=σX2
D(c)=0,c 为常数
D(aX+b)=a2D(X),a 与 b 均为常数
若 X 与 Y 相互独立,有 D(X+Y)=D(X)+D(Y)
协方差
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)
Cov(X,Y)=Cov(Y,X)
Cov(X,X)=D(X)
Cov(aX,bY)=ab⋅Cov(X,Y)
若 X 与 Y 相互独立,有 Cov(X,Y)=0,反之不成立
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
D(aX+bY)=a2D(X)+b2D(Y)+2ab⋅Cov(X,Y)
相关系数
ρXY=D(X)D(Y)Cov(X,Y)
∣ρXY≤1∣
当 ρXY=1 时,存在正整数 a 与实数 b 使 Y=aX+b(X 与 Y 成正相关),−1 时称负相关
当 ρXY=0 时,称 X 与 Y 不相关(只指没有线性关系,不代表独立)
若 (X,Y) 遵守二维正态分布,X 与 Y 相互独立的充要条件是 ρXY=0
随机变量的标准化
X∗=DXX−EX
EX∗=0,DX∗=1
ρX,Y=ρX∗,Y∗=EX∗Y∗
矩
设 X 为一个随机变量,如果 E∣X∣k<∞,k=1,2,...,则称 EXk 为 X 的 k 阶原点矩,称 E(X−EX)k 为 X 的 k 阶中心距
协方差矩阵
设 X1,X2,...,Xn 为 n 个随机变量,令 σij=Cov(Xi,Xj),i,j=1,2,...,n
称矩阵 ∑=(σ)n×n 为 X1,X2,...,Xn 的协方差矩阵
协方差矩阵是对称矩阵,是半正定矩阵
大数定律
切比雪夫不等式
设随机变量 X,E(X)=μ,D(X)=σ2,对于任意正数 ε,有:
P{∣X−μ∣≥ε}≤ε2σ2
P{∣X−μ∣<ε}≥1−ε2σ2
大数定律与中心极限定理
设 X1,X2,...,Xn,... 是一个随机变量序列,a 是一个常数,若对于任意整数 ε,有:
limn→∞P{∣Xn−a∣≥ε}=0
或
limn→∞P{∣Xn−a∣<ε}=1
则称序列 X1,X2,...,Xn,... 依概率收敛于 a,记为 Xn→Pa
切比雪夫大数定律
设 X1,X2,...,Xn,... 是一个相互独立的随机变量序列,每个随机变量都存在有限的方差,且一致有界,即存在常数 C,使 D(Xi)≤C,则对于任意正数 ε,有:
limn→∞P{∣n1∑i=1nXi−n1∑i=1nE(Xi)∣≥ε}=0
伯努利大数定律
设 nA 是 n 重伯努利实验中事件 A 的出现次数,p 是事件 A 在每次实验中出现的概率,对任意正数 ε,有:
limn→∞P{∣nnA−p≥ε}=0 或 limn→∞P{∣nnA−p<ε}=1
辛钦大数定律
设 X1,X2,...,Xn,... 是一系列独立同分布的随机变量,且具有数学期望 E(Xi)=μ,i=1,2,..,n,...,对于任意正数 ε 有:
limn→∞P{∣n1∑i=1nXi−μ∣>ε}=0(即 n1∑i=1nXi 依概率收敛于 μ)
独立同分布的中心极限定理
设 X1,X2,...,Xn,... 是相互独立同分布的随机变量序列,且 E(Xi)=μ,D(Xi)=σ2,i=1,2,...,对于 ∀x∈R,有:
limn→∞P{nσ∑i=1nXi−nμ≤x}=Φ(x)
即:
limn→∞P((∑i=1nXi)∗≤x)=Φ(x)
棣莫弗-拉普拉斯中心极限定理
设随机变量 X 是 n 重伯努利实验中事件 A 的出现次数,p 是事件 A 在每次实验中出现的概率,对任意实数 x,有:
limn→∞P{np(1−p)X−np≤x}=2π1∫−∞xe−2t2dt=Φ(x)
概统统计公式总结
数理统计的基本概念
一些重要的统计量
设 X1,X2,...,Xn 是从总体 X 中抽取的样本:
X=n1∑i=1nxi 样本均值
S2=n−11∑i=1n(xi−x)2=n−11(∑i=1nxi2−nX2) 样本方差
S=n−11∑i=1n(xi−x)2 样本标准差
Ak=n1∑i=1nXik,k=1,2,... 样本 k 阶原点矩
X(n)=max{X1,X2,...,Xn} 极大次序统计量
X(1)=min{X1,X2,...,Xn} 极小次序统计量
χ2分布
设 X1,X2,...,Xn 相互独立,且均服从 N(0,1),称:
χ2=X12+X22+...+Xn2 为服从自由度为 n 的 χ2 分布,记作 χ2(n)
若 X∼χ2(n),Y∼χ2(m),且 X 与 Y 相互独立,则 X+Y∼χ2(n+m) χ2 分布的可加性
若 X∼χ2(n),有 E[χ2(n)]=n,D[χ2(n)]=2n
t分布
设 X∼N(0,1),Y∼χ2(n),且 X 与 Y 相互独立,称:
t=Y/nX 为服从自由度为 n 的 t 分布,记作 t(n)
当 n 充分大时,t 分布可以近似看做标准正态分布
F分布
设 X∼χ2(n),Y∼χ2(m),且 X 与 Y 相互独立,称:
F=Y/mX/n 为服从自由度为 n,m 的 F 分布,记作 F(n,m)
t(n)2=F(1,n),F(n,m)=F(m,n)1
单正态总体的抽样分布定理
设总体 X∼N(μ,σ2),X1,X2,...,Xn 是总体 X 的简单随机样本,样本均值为 X,样本方差为 S2,有:
E(X)=μ,D(X)=nσ2
E(S2)=σ2,D(S2)=n−12σ4
σ/nX−μ∼N(0,1)
σ2n−1S2∼χ2(n−1),且 X 与 S2 相互独立
σ21∑i=1n(xi−X)2∼χ2(n−1)
S/nX−μ∼t(n−1)
双正态总体的抽样分布定理
设总体 X∼N(μ1,σ12) 与 Y∼N(μ2,σ22) 相互独立,X1,X2,...,Xn 是总体 X 的简单随机样本,Y1,Y2,...,Ym 是总体 Y 的简单随机样本,以 X,Y,S12,S22 分别表示两组样本的均值与方差:
nσ12+mσ22(X−Y)−(μ1−μ2)∼N(0,1)
S22S12σ12σ22∼F(n−1,m−1)
若 σ12=σ22 则:
Swn1+m1(X−Y)−(μ1−μ2)∼t(n+m−2)
其中 Sw=n+m−2(n−1)S12+(m−1)S22
正态分布的上a分位点
设随机变量 Z∼N(0,1),若对 a∈(0,1),实数 za 满足:
P{Z>za}=a
则称 za 为标准正态分布的上 a 分位点
z1−a=−za,Φ(za)=1−a
χ2分布上的a分位点
设随机变量 χ2∼χ2(n) 若对 a∈(0,1),实数 χa2(n) 满足:
P{χ2>χa2(n)}=a
则称 χa2(n) 为 χ2(n) 的上 a 分位点
P{χ2(n)≤χ1−a2(n)}=a
t分布的上a分位点
设随机变量 t∼t(n),若对 a∈(0,1),实数 ta(n) 满足:
P{t>ta(n)}=a
则称 ta(n) 为 t(n) 分布的上 a 分位点
t1−a(n)=−ta(n)
F分布的上a分位点
设随机变量 F∼F(n,m),若对 a∈(0,1),实数 Fa(n,m) 满足:
P{F>Fa(n,m)}=a
则称 Fa(n,m) 为 F(n,m) 分布的上 a 分位点
F1−a(n,m)=Fa(m,n)1,P{F(m,n)>Fa(n,m)1}=1−a
连续分布的上a分位点
设随机变量 Y 为一个连续型随机变量,若对 a∈(0,1),实数 Ya 满足:
P{Y>Ya}=a
则称 Ya 为 Y 的上 a 分位点
P{Y>Ya}=a,P{Y<Y1−a}=a
P{Y<Y1−a/2或Y>Ya/2}=a,P{Y<Ya}=1−a
P{Y>Y1−a}=1−a,P{Y1−a/2<Y<Ya/2}=1−a
点估计
矩估计法
即用样本矩替换同阶总体矩,如一阶样本矩 A1=n1∑i=1nxi=EX=X=h(θ)
对于总体有多个未知数的情况:hi(θ1,θ2,...,θk)=E(Xi)=Ai=n1∑j=1nxji,(i=1,2,3,...,k)
求解相应的多元方程组就好,若遇到没有意义的方程组只需要继续求更高阶的矩就好
对于任意的分布有:μ^=X,σ2^=n1∑i=1nXi2−X2=n1∑i=1n(Xi−X)2
最大(极大)似然估计法
设 X1,X2,...,Xn 为来自总体 X 的简单随机样本,x1,x2,...,xn 为样本观测值,称:
L(θ)=∏i=1np(xi,θ) 为参数 θ 的似然函数,p(xi,θ) 为 X 的 P{X=xi}(X 离散)或 f(x,θ) 在 xi 处的取值 f(xi,θ)(X 连续)
L(θ) 实际上就是样本 X1,X2,...,Xn 恰好取 x1,x2,...,xn 的概率
设 L(θ)=∏i=1np(xi,θ) 为参数 θ 的似然函数,若存在一个只与样本观测值有关的实数 θ^(x1,x2,...,xn) 使得:
L(θ^)=maxL(θ)
则称 θ^(x1,x2,...,xn) 为参数 θ 的最大似然估计值,称 θ^(X1,X2,...,Xn) 为参数 θ 的最大似然估计量
对数似然函数 lnL(θ) 与似然函数拥有相同的最(极)大值点,故可求对数似然函数的最(极)大值来得到 θ 的最大似然估计
对于 X∼N(μ,σ2),X1,X2,...,Xn 为简单随机抽样,μ 的极大似然估计为 X,σ2 的为 n1∑i=1n(Xi−X)2
点估计优良性的评定标准
无偏性(最基本)
若参数 θ 的估计量 θ^=θ^(X1,X2,...,Xn) 满足:
E(θ^)=θ
称 θ^ 为 θ 的一个无偏估计量,否则称为有偏估计量
有效性
设 θ1^ 和 θ2^ 都是参数 θ 的无偏估计量,如果:
D(θ1^)<D(θ2^)
称 θ1^ 比 θ2^ 有效。即在期望相等的条件下,方差小者估计的效果好
一致性(相合性)
设 θn^=θ^(X1,X2,...,Xn) 是 θ 的一个估计量,对于任意的 ϵ>0,有:
limn→∞P{∣θn^−θ∣<ϵ}=1
称 θn^ 是 θ 的一致估计量(相合估计量)
参数的区间估计和假设检验
区间估计
设总体 X 的分布函数为 F(x;θ),其中 θ 为未知参数,X1,X2,...,Xn 为简单随机样本,对于给定的 α∈(0,1),如果由样本确定的两个统计量 T1(X1,X2,...,Xn) 和 T2(X1,X2,...,Xn) 满足:
P{T1≤θ≤T2}=1−α
则称随机区间 [T1,T2] 是参数 θ 的置信度(置信水平)为 1−α 的置信区间
若 T1 满足:
P{T1≥θ}=1−α 或 P{T1≤θ}=1−α
则称 T1 是参数 θ 的置信度为 1−α 的单侧置信上限(或单侧置信下限)
假设检验
问题大概描述:对总体参数提出一个假设值,然后利用样本信息判断这一假设是否成立。
双侧检验:H1:θ=θ0,x>za/2 或 x<z1−a/2
单侧检验:H1:θ>θ0 或 (θ<θ0),x>za 或 (x<z1−a)
正态总体假设检验的基本步骤:
- 根据问题提出原假设 H0 和备择假设 H1
- 从正态分布的六个抽样分布中选取一个只含有参数 θ0 的分布记为 Y
- 查表得到 Y 的分位点如:P{Y<Y1−a/2或Y>Ya/2}=a 或 P{Y<Y1−a}=a 或 P{Y>Ya/2}=a
- 将 H0 的条件带入,求出 Y
- 如果(3)中的分位点成立就拒绝 H0 否则就接受 H0