Skip to content
Go back

概率论与数理统计公式

Published:  at  08:01 PM Updated:  at  02:25 PM
阅读时间:10 分钟

概统概率公式总结

概率论的基本概念

补事件

AB=AAB=ABA-B=A-AB=A\overline{B}

德摩根律

i=1nAi=i=1nAi\overline{\bigcup^n_{i=1}A_i}=\bigcap^n_{i=1}\overline{A_i}

i=1nAi=i=1nAi\overline{\bigcap^n_{i=1}A_i}=\bigcup^n_{i=1}\overline{A_i}

概率可加性

P(i=1Ai)=i=1P(Ai)P(\bigcup^\infty_{i=1} A_i)=\sum^\infty_{i=1}P(A_i) 其中 A1A2...A_1 A_2 ... 是一列两两互不相容的事件

P(i=1nAi)=i=1nP(Ai)P(\bigcup^n_{i=1} A_i)=\sum^n_{i=1}P(A_i) 其中 A1A2...AnA_1 A_2 ...A_n 是一列两两互不相容的事件

一些常识

P()=0P(\emptyset)=0

如果 ABA\subset B,则 P(A)P(B)P(A)\leq P(B),反之不一定成立

P(A)+P(A)=1P(A)+P(\overline{A})=1

加减法公式

P(AB)=P(AB)=P(A)P(AB)P(A-B)=P(A\overline{B})=P(A)-P(AB)

P(AB)=P(A)+P(B)P(AB)P(A\cup B)=P(A)+P(B)-P(AB)

P(ABC)=P(A)+P(B)+P(C)P(AB)P(AC)P(BC)+P(ABC)P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)

古典概型

P(A)=knP(A)=\dfrac{k}{n} 其中 kk 是事件 AA 的样本点数,nn 是样本总点数

几何概型

P(A)=SASΩP(A)=\dfrac{S_A}{S_\Omega} 其中 SAS_A 是事件 AA 对应的面积,SΩS_\Omega 是总面积

条件概率

P(AB)=P(AB)P(B)P(A|B)=\dfrac{P(AB)}{P(B)} 其中 P(B)>0P(B)>0BB 发生情况下 AA 发生的条件概率

乘法公式

P(AB)=P(A)P(BA)=P(B)P(AB)P(AB)=P(A)P(B|A)=P(B)P(A|B)

P(A1A2A3...An)=P(A1)P(A2A1)P(A3A1A2)...P(AnA1A2...An1)P(A_1A_2A_3...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1})

全概率公式

P(B)=i=1P(Ai)P(BAi)P(B)=\sum_{i=1}^\infty P(A_i)P(B|A_i) 其中 AiA_i 是一个划分

贝叶斯公式

P(AkB)=P(Ak)P(BAk)i=1nP(Ai)P(BAi)P(A_k|B)=\dfrac{P(A_k)P(B|A_k)}{\sum_{i=1}^nP(A_i)P(B|A_i)}

独立的判断与性质

P(AB)=P(A)P(B)P(AB)=P(A)P(B)AABB 独立互为充要条件

(A,B)(A,B)(A,B)(A,\overline{B})(A,B)(\overline{A},B)(A,B)(\overline{A},\overline{B}) 四个之中只要有一个独立,其余三个均独立

AAAA 独立则 P(A)=0P(A)=011

P(A)>0,P(B)>0P(A)>0,P(B)>0AB=AB=\emptysetAABB 独立,二者互为充要条件

A1,A2,...,AnA_1,A_2,...,A_n 中任取 k(2kn)k(2\leq k \leq n) 个事件均满足:

P(Ai1Ai2...Ain)=P(Ai1)P(Ai2)...P(Ain)P(A_{i_1}A_{i_2}...A_{i_n})=P(A_{i_1})P(A_{i_2})...P(A_{i_n})

伯努利实验

如果实验 EE 只有两个结果:AAA\overline{A},并且 P(A)=p,P(A)=qP(A)=p,P(\overline{A})=q,把实验 EE 独立的重复 nn 次构成一个实验,成为 nn 重伯努利实验

随机变量及其类型

分布函数及其性质

F(x)=P(Xx)F()=1,F()=0F(x)x的单调不减函数P(aXb)=F(b)F(a0)P(a<Xb)=F(b)F(a)P(a<X<b)=F(b0)F(a)P(aX<b)=F(b0)F(a0)F(x)=P(X\leq x)\\ F(\infty)=1,F(-\infty)=0\\ F(x)为x的单调不减函数\\ P(a\leq X\leq b)=F(b)-F(a-0)\\ P(a<X\leq b)=F(b)-F(a)\\ P(a<X<b)=F(b-0)-F(a)\\ P(a\leq X<b)=F(b-0)-F(a-0)

二项分布

写作 XB(n,p)X\sim B(n,p)nn 为实验次数,pp 为成功概率

P(X=k)=Cnkpkqnk,k=0,1,...,nP(X=k)=C_n^kp^kq^{n-k},k=0,1,...,n

E(X)=npE(X)=npD(X)=npq=np(1p)D(X)=npq=np(1-p)

泊松分布

写作 XP(λ)X\sim P(\lambda)λ\lambda 为参数且大于零

P(X=k)=λkk!eλP(X=k)=\dfrac{\lambda ^k}{k!}e^{-\lambda}k=0,1,...k=0,1,...

E(X)=λE(X)=\lambdaD(X)=λD(X)=\lambdaE(X2)=λ2+λE(X^2)=\lambda^2 + \lambda

X,YX,Y 相互独立,且分别服从参数为 λ1,λ2\lambda_1,\lambda_2 的泊松分布 Z=X+YZ=X+YZP(λ1+λ2)Z\sim P(\lambda_1+\lambda_2)

几何分布

写作 XG(p)X\sim G(p)P>0P>0

P(X=k)=pqk1=p(1p)k1P(X=k)=pq^{k-1}=p(1-p)^{k-1}k=1,2,...k=1,2,...

E(X)=1pE(X)=\dfrac{1}{p}D(X)=qp2=1pp2D(X)=\dfrac{q}{p^2}=\dfrac{1-p}{p^2}E(X2)=q+1P2E(X^2)=\dfrac{q+1}{P^2}

P(X>n+mX>m)=P(X>n)P(X>n+m|X>m)=P(X>n) 几何分布的无记忆性

超几何分布

写作 XH(n,M,N)X\sim H(n,M,N)N>M,N>nN>M,N>n

P(X=k)=CMkCNMnkCNnP(X=k)=\dfrac{C_M^kC_{N-M}^{n-k}}{C_N^n}k=0,1,...,min(M,n)k=0,1,...,min(M,n)

密度函数及性质

F(x)=xf(t)dt,xRF(x)=\int^x_{-\infty}f(t)dt,x\in Rf(x)f(x) 即为密度函数

0f(x)0\leq f(x)f(x)=1\int^\infty _{-\infty}f(x)=1

P(X=c)=0P(X=c)=0cc 为常数

P(a<x<b)=P(a<xb)=P(ax<b)=P(axb)=abf(x)dxP(a<x<b)=P(a<x\leq b)=P(a\leq x<b)=P(a\leq x \leq b)=\int^b_af(x)dx

均匀分布

写作 XU(a,b)X\sim U(a,b)

f(x)=1baf(x)=\dfrac{1}{b-a}x(a,b)x\in(a,b)

F(x)=xabaF(x)=\dfrac{x-a}{b-a}x(a,b)x\in(a,b)

E(x)=a+b2E(x)=\dfrac{a+b}{2}E(x2)=a2+b2+ab3E(x^2)=\dfrac{a^2+b^2+ab}{3}D(x)=(ba)212D(x)=\dfrac{(b-a)^2}{12}

指数分布

写作 XE(λ)X\sim E(\lambda)

f(x)=λeλxf(x)=\lambda e^{-\lambda x}x>0x>0

F(x)=1eλxF(x)=1-e^{-\lambda x}x>0x>0

E(x)=1λE(x)=\dfrac{1}{\lambda}E(x2)=2λ2E(x^2)=\dfrac{2}{\lambda^2}D(x)=1λ2D(x)=\dfrac{1}{\lambda^2}

P(X>t+sX>s)=P(X>t)P(X>t+s|X>s)=P(X>t) 指数分布的无记忆性

正态分布

写作 XN(μ,σ2)X\sim N(\mu,\sigma^2)

f(x)=12πσe(xμ)22σ2f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\dfrac{(x-\mu)^2}{2\sigma ^2}}xRx\in R

μ=0,σ2=1\mu=0,\sigma^2=1 的正态分布称为标准正态分布,其分布函数写作 Φ(x)\Phi(x),密度函数写作 ϕ(x)\phi(x)

ϕ(x)=12πex22\phi(x)=\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{x^2}{2}}Φ(x)=xϕ(t)dt\Phi(x)=\int^x_{-\infty}\phi(t)dt

XN(μ,σ2)X\sim N(\mu,\sigma^2),令 Z=XμσZ=\dfrac{X-\mu}{\sigma},则 ZN(0,1)Z\sim N(0,1)

E(x)=μE(x)=\muD(x)=σ2D(x)=\sigma^2

X1,X2,...,XnX_1,X_2,...,X_n 相互独立,且 XiN(μi,σi2)X_i\sim N(\mu _i,\sigma^2_i)i=1,2,...,ni=1,2,...,n 那么对于任意常数 aia_ii=1,2,...,ni=1,2,...,n 以及常数 cc,有:

i=1naiXi+cN(i=1naiμi+c,i=1nai2σi2)\sum^n_{i=1}a_iX_i+c\sim N(\sum^n_{i=1}a_i\mu _i+c,\sum^n_{i=1}a_i^2\sigma^2_i) 正态分布的可加性

离散型随机变量函数的分布列

X[x1 x2 x3...p1 p2 p3...]X\sim \left[\begin{matrix} x_1~x_2~x_3 ...\\ p_1~p_2~p_3 ... \end{matrix}\right]Y=g(X)Y=g(X),则:

Y[g(x1) g(x2) g(x3)...p1     p2     p3...]Y\sim \left[\begin{matrix} g(x_1)~g(x_2)~g(x_3) ...\\ p_1~~~~~p_2~~~~~p_3 ... \end{matrix}\right]

一个定理

设连续性随机变量 XX 的密度函数为 fX(x)f_X(x)y=g(x)y=g(x) 是一个严格单调函数,且具有一阶连续导函数,x=h(y)x=h(y)y=g(x)y=g(x) 的反函数,则 Y=g(X)Y=g(X) 的密度函数为:

fY(y)=fX(h(y))h(y)f_Y(y)=f_X(h(y))|h'(y)|

二维随机变量的联合分布函数及其性质

设二维随机变量 (X,Y)(X,Y),对任意实数 x,yx,y,二元函数:

F(x,y)=P(Xx,Yy)F(x,y)=P(X\leq x,Y\leq y) 称为 (X,Y)(X,Y) 的联合分布函数

P(x1<Xx2,y1<Yy2)=F(x2,y2)F(x1,y2)F(x2,y1)+F(x1,y1)P(x_1<X\leq x_2,y_1<Y\leq y_2)=F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)

F(x,y)F(x,y)xxyy 都是不减函数,即对任意 yy,若 x1x2x_1\leq x_2,则 F(x1,y)F(x2,y)F(x_1,y)\leq F(x_2,y),对于任意的 xx 同理

F(,y)=0F(-\infty,y)=0F(x,)=0F(x,-\infty)=0F(,)=0F(-\infty,-\infty)=0F(,)=1F(\infty,\infty)=1

F(x+0,y)=F(x,y)=F(x,y+0)F(x+0,y)=F(x,y)=F(x,y+0)

边际分布函数

FX(x)=F(x,)F_X(x)=F(x,\infty)FY(y)=F(,y)F_Y(y)=F(\infty,y)

二维离散型随机变量的独立性

(X,Y)(X,Y) 为二维离散型随机变量,XXYY 的可能取值分别为 x1,x2,...x_1,x_2,...y1,y2,...y_1,y_2,... 如果对任意的 i,j=1,2,...i,j=1,2,... 都有:

P(X=xi,Y=yj)=P(X=xi)P(Y=yj)P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j) 则称 XXYY 是相互独立的

二维离散型随机变量的条件分布列

(X,Y)(X,Y) 为二维离散型随机变量,XXYY 的可能取值分别为 x1,x2,...x_1,x_2,...y1,y2,...y_1,y_2,... 如果对任意的 i,j=1,2,...i,j=1,2,...,称:

pij=P(X=xiY=yj)=P(X=xi,Y=yj)P(Y=yj)p_{i|j}=P(X=x_i|Y=y_j)=\dfrac{P(X=x_i,Y=y_j)}{P(Y=y_j)} 为已知 {Y=yj}\lbrace Y=y_j \rbrace 的条件下 XX 的分布列

二维连续型随机变量及性质

F(x,y)F(x,y) 为二维随机变量 (X,Y)(X,Y) 的联合分布函数,若存在非负函数 f(x,y)f(x,y) 使得对于任意的 x,yRx,y\in R,有:

F(x,y)=xyf(u,v)dudvF(x,y)=\int^x_{-\infty}\int^y_{-\infty}f(u,v)dudv

f(x,y)f(x,y)(X,Y)(X,Y) 的联合概率密度函数

f(x,y)0f(x,y)\ge0f(x,y)dxdy=1\int^\infty _{-\infty}\int^\infty _{-\infty}f(x,y)dxdy=1

2F(x,y)xy=f(x,y)\dfrac{\partial^2F(x,y)}{\partial x\partial y}=f(x,y)

fX(x)=f(x,y)dy,xRf_X(x)=\int^\infty _{-\infty}f(x,y)dy,x\in RfY(y)=f(x,y)dx,yRf_Y(y)=\int^\infty _{-\infty}f(x,y)dx,y\in R

fX(x)f_X(x)XX 的边际密度函数,fY(y)f_Y(y)YY 的边际密度函数

二维均匀分布

DD 为平面有界闭区域,面积为 SDS_D

f(x,y)=1SDf(x,y)=\dfrac{1}{S_D}(x,y)D(x,y)\in D

GGDD 的子区域:

P((X,Y)G)=Gf(x,y)dσ=1SDGdσ=SGSDP((X,Y)\in G)=\iint_G f(x,y)d\sigma=\dfrac{1}{S_D}\iint_G d\sigma=\dfrac{S_G}{S_D}

二维正态分布

写作 (X,Y)N(μ1,μ2,σ12,σ22,ρ)(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)σ1>0,σ2>0,ρ<1\sigma_1>0,\sigma_2>0,|\rho|<1

f(x,y)=12πσ1σ21ρ2e12(1ρ2)[(xμ1)2σ122ρ(xμ1)(yμ2)σ1σ2+(yμ2)2σ22]f(x,y)=\dfrac{1}{2\pi \sigma_1\sigma_2 \sqrt{1-\rho^2}}e^{\dfrac{-1}{2(1-\rho^2)}[\dfrac{(x-\mu_1)^2}{\sigma_1^2}-\dfrac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(y-\mu_2)^2}{\sigma_2^2}]}

二维正态分布的两个边缘分布都是一维正态分布,且参数分别为 (μ1,σ1)(\mu_1,\sigma_1)(μ2,σ2)(\mu_2,\sigma_2)

具有相同的参数 μ1,μ2,σ1,σ2\mu_1,\mu_2,\sigma_1,\sigma_2,但 ρ\rho 不同的二维正态分布具有相同的边缘分布函数

XXYY 相互独立的充要条件是 ρ=0\rho=0

Z=aX+bYZ=aX+bYW=cX+dYW=cX+dYa b c da~b~c~d 均为常数,则 (Z,W)(Z,W) 也遵从二维正态分布,且 ZZWW 均为一维正态分布

二维连续型随机变量的独立性

若对于所有的 x,yx,y 有:

f(x,y)=fX(x)fY(y)f(x,y)=f_X(x)f_Y(y)F(x,y)=FX(x)FY(y)F(x,y)=F_X(x)F_Y(y) 则称 XXYY 相互独立

(X,Y)N(μ1,μ2,σ12,σ22,ρ)(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho),则 XXYY 相互独立的充要条件是 ρ=0\rho=0

二维连续性随机变量的条件密度

给定 Y=yY=y 的条件下 XX 的条件分布函数与条件密度函数:

FXY(xy)=xf(u,y)fY(y)duF_{X|Y}(x|y)=\int^x_{-\infty}\dfrac{f(u,y)}{f_Y(y)}dufXY(xy)=f(x,y)fY(y)f_{X|Y}(x|y)=\dfrac{f(x,y)}{f_Y(y)}

给定 X=xX=x 的条件下 YY 的条件分布函数与条件密度函数:

FYX(yx)=yf(x,u)fX(x)duF_{Y|X}(y|x)=\int^y_{-\infty}\dfrac{f(x,u)}{f_X(x)}dufYX(yx)=f(x,y)fX(x)f_{Y|X}(y|x)=\dfrac{f(x,y)}{f_X(x)}

f(x,y)=fX(x)fYX(yx)=fY(y)fXY(xy)f(x,y)=f_X(x)f_{Y|X}(y|x)=f_Y(y)f_{X|Y}(x|y)

极大极小分布

设随机变量 X1,X2,...,XnX_1,X_2,...,X_n 相互独立,且 XiX_i 的分布函数为 FXi(x)F_{X_i}(x)i=1,2,...i=1,2,...

Y=max{X1,X2,...,Xn}Y=max\lbrace X_1,X_2,...,X_n\rbraceZ=min{X1,X2,...,Xn}Z=min\lbrace X_1,X_2,...,X_n\rbrace

YY 的分布函数 Fmax=i=1nFXi(x)F_{max}=\prod^n_{i=1}F_{X_i}(x)

ZZ 的分布函数 Fmin=1i=1n(1FXi(x))F_{min}=1-\prod^n_{i=1}(1-F_{X_i}(x))

特别的,如果 X1,X2,...,XnX_1,X_2,...,X_n 的分布函数相同,有:

Fmax=F(x)nF_{max}=F(x)^nFmin=1(1F(x))nF_{min}=1-(1-F(x))^n

max{X,Y}=12(X+Y+XY)max\lbrace X,Y\rbrace=\dfrac{1}{2}(X+Y+|X-Y|)

min{X,Y}=12(X+YXY)min\lbrace X,Y\rbrace=\dfrac{1}{2}(X+Y-|X-Y|)

随机变量的数字特征

数学期望

EX=k=1xkpkEX=\sum^{\infty}_{k=1}x_kp_k(离散型随机变量)

E(X)=xf(x)dxE(X)=\int^\infty _{-\infty}xf(x)dx(连续型随机变量)

Y=g(X)Y=g(X),则:

E(Y)=k=1g(xk)pkE(Y)=\sum^\infty _{k=1}g(x_k)p_kXX 是离散)

E(Y)=g(x)f(x)dxE(Y)=\int^\infty _{-\infty}g(x)f(x)dxXX 是连续)

Z=g(X,Y)Z=g(X,Y)f(x,y)f(x,y)(X,Y)(X,Y) 的密度函数则:

E(Z)=i=1j=1g(xi,yj)pijE(Z)=\sum^\infty _{i=1}\sum^\infty _{j=1}g(x_i,y_j)p_{ij}ZZ 是离散)

E(Z)=g(x,y)f(x,y)dxdyE(Z)=\int^\infty _{-\infty}\int^\infty _{-\infty}g(x,y)f(x,y)dxdyZZ 是连续)

(X,Y)(X,Y) 为二维离散随机变量有:

E(X)=i=1j=1xipijE(X)=\sum^\infty _{i=1}\sum^\infty _{j=1}x_ip_{ij}E(Y)=j=1i=1yjpijE(Y)=\sum^\infty _{j=1}\sum^\infty _{i=1}y_jp_{ij}

(X,Y)(X,Y) 为二维连续随机变量,联合概率密度函数为 f(x,y)f(x,y) 有:

E(X)=xf(x,y)dxdyE(X)=\int^\infty _{-\infty}\int^\infty _{-\infty}xf(x,y)dxdyE(Y)=yf(x,y)dxdyE(Y)=\int^\infty _{-\infty}\int^\infty _{-\infty}yf(x,y)dxdy

E(c)=cE(c)=cE(cX)=cE(X)E(cX)=cE(X)cc 为常数

E(X1+X2)=E(X1)+E(X2)E(X_1+X_2)=E(X_1)+E(X_2)

XXYY 相互独立,则 E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)g(X) h(Y)g(X)~h(Y)XXYY 的函数,E[g(x)h(y)]=E[g(x)]E[h(y)]E[g(x)h(y)]=E[g(x)]E[h(y)]

E(XY)=[f(x,y)xy]dxdyE(XY)=\iint[f(x, y)*x*y]dxdy

方差

D(X)=E{[EE(X)]2}=E(X2)[E(x)]2=σX2D(X)=E\lbrace [E-E(X)]^2\rbrace=E(X^2)-[E(x)]^2=\sigma _X^2

D(c)=0D(c)=0cc 为常数

D(aX+b)=a2D(X)D(aX+b)=a^2D(X)aabb 均为常数

XXYY 相互独立,有 D(X+Y)=D(X)+D(Y)D(X+Y)=D(X)+D(Y)

协方差

Cov(X,Y)=E{[XE(X)][YE(Y)]}=E(XY)E(X)E(Y)Cov(X,Y)=E\lbrace [X-E(X)][Y-E(Y)]\rbrace=E(XY)-E(X)E(Y)

Cov(X,Y)=Cov(Y,X)Cov(X,Y)=Cov(Y,X)

Cov(X,X)=D(X)Cov(X,X)=D(X)

Cov(aX,bY)=abCov(X,Y)Cov(aX,bY)=ab\cdot Cov(X,Y)

XXYY 相互独立,有 Cov(X,Y)=0Cov(X,Y)=0,反之不成立

Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)

D(aX+bY)=a2D(X)+b2D(Y)+2abCov(X,Y)D(aX+bY)=a^2D(X)+b^2D(Y)+2ab\cdot Cov(X,Y)

相关系数

ρXY=Cov(X,Y)D(X)D(Y)\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}

ρXY1|\rho_{XY}\leq 1|

ρXY=1\rho_{XY}=1 时,存在正整数 aa 与实数 bb 使 Y=aX+bY=aX+bXXYY 成正相关),1-1 时称负相关

ρXY=0\rho_{XY}=0 时,称 XXYY 不相关(只指没有线性关系,不代表独立)

(X,Y)(X,Y) 遵守二维正态分布,XXYY 相互独立的充要条件是 ρXY=0\rho_{XY}=0

随机变量的标准化

X=XEXDXX^*=\dfrac{X-EX}{\sqrt{DX}}

EX=0EX^*=0DX=1DX^*=1

ρX,Y=ρX,Y=EXY\rho_{X,Y}=\rho_{X^*,Y^*}=EX^*Y^*

XX 为一个随机变量,如果 EXk<E|X|^k<\inftyk=1,2,...k=1,2,...,则称 EXkEX^kXXkk 阶原点矩,称 E(XEX)kE(X-EX)^kXXkk 阶中心距

协方差矩阵

X1,X2,...,XnX_1,X_2,...,X_nnn 个随机变量,令 σij=Cov(Xi,Xj)\sigma_{ij}=Cov(X_i,X_j)i,j=1,2,...,ni,j=1,2,...,n

称矩阵 =(σ)n×n\sum=(\sigma)_{n\times n}X1,X2,...,XnX_1,X_2,...,X_n 的协方差矩阵

协方差矩阵是对称矩阵,是半正定矩阵

大数定律

切比雪夫不等式

设随机变量 XXE(X)=μE(X)=\muD(X)=σ2D(X)=\sigma^2,对于任意正数 ε\varepsilon,有:

P{Xμε}σ2ε2P\lbrace |X-\mu|\ge\varepsilon \rbrace \le \dfrac{\sigma^2}{\varepsilon^2}

P{Xμ<ε}1σ2ε2P\lbrace |X-\mu|<\varepsilon \rbrace \ge 1-\dfrac{\sigma^2}{\varepsilon^2}

大数定律与中心极限定理

X1,X2,...,Xn,...X_1,X_2,...,X_n,... 是一个随机变量序列,aa 是一个常数,若对于任意整数 ε\varepsilon,有:

limnP{Xnaε}=0\lim_{n\rightarrow\infty}P\lbrace |X_n-a|\ge\varepsilon\rbrace=0

limnP{Xna<ε}=1\lim_{n\rightarrow\infty}P\lbrace |X_n-a|<\varepsilon\rbrace=1

则称序列 X1,X2,...,Xn,...X_1,X_2,...,X_n,... 依概率收敛于 aa,记为 XnPaX_n\rightarrow^Pa

切比雪夫大数定律

X1,X2,...,Xn,...X_1,X_2,...,X_n,... 是一个相互独立的随机变量序列,每个随机变量都存在有限的方差,且一致有界,即存在常数 CC,使 D(Xi)CD(X_i)\le C,则对于任意正数 ε\varepsilon,有:

limnP{1ni=1nXi1ni=1nE(Xi)ε}=0\lim_{n\rightarrow\infty}P\lbrace |\dfrac{1}{n}\sum^n_{i=1}X_i-\dfrac{1}{n}\sum^n_{i=1}E(X_i)|\ge\varepsilon\rbrace=0

伯努利大数定律

nAn_Ann 重伯努利实验中事件 AA 的出现次数,pp 是事件 AA 在每次实验中出现的概率,对任意正数 ε\varepsilon,有:

limnP{nAnpε}=0\lim_{n\rightarrow\infty}P\lbrace |\dfrac{n_A}{n}-p\ge\varepsilon\rbrace=0limnP{nAnp<ε}=1\lim_{n\rightarrow\infty}P\lbrace |\dfrac{n_A}{n}-p<\varepsilon\rbrace=1

辛钦大数定律

X1,X2,...,Xn,...X_1,X_2,...,X_n,... 是一系列独立同分布的随机变量,且具有数学期望 E(Xi)=μE(X_i)=\mui=1,2,..,n,...i=1,2,..,n,...,对于任意正数 ε\varepsilon 有:

limnP{1ni=1nXiμ>ε}=0\lim_{n\rightarrow\infty}P\lbrace |\dfrac{1}{n}\sum^n_{i=1}X_i-\mu|>\varepsilon\rbrace=0(即 1ni=1nXi\dfrac{1}{n}\sum^n_{i=1}X_i 依概率收敛于 μ\mu

独立同分布的中心极限定理

X1,X2,...,Xn,...X_1,X_2,...,X_n,... 是相互独立同分布的随机变量序列,且 E(Xi)=μE(X_i)=\muD(Xi)=σ2D(X_i)=\sigma^2i=1,2,...i=1,2,...,对于 xR\forall x\in R,有:

limnP{i=1nXinμnσx}=Φ(x)\lim_{n\rightarrow\infty}P\lbrace \dfrac{\sum^n_{i=1}X_i-n\mu}{\sqrt{n}\sigma}\le x\rbrace=\Phi(x)

即:

limnP((i=1nXi)x)=Φ(x)\lim_{n\rightarrow\infty}P((\sum^n_{i=1}X_i)^*\le x)=\Phi(x)

棣莫弗-拉普拉斯中心极限定理

设随机变量 XXnn 重伯努利实验中事件 AA 的出现次数,pp 是事件 AA 在每次实验中出现的概率,对任意实数 xx,有:

limnP{Xnpnp(1p)x}=12πxet22dt=Φ(x)\lim_{n\rightarrow\infty}P\lbrace \dfrac{X-np}{\sqrt{np(1-p)}}\le x\rbrace=\dfrac{1}{\sqrt{2\pi}}\int^x_{-\infty}e^{-\dfrac{t^2}{2}}dt=\Phi(x)

概统统计公式总结

数理统计的基本概念

一些重要的统计量

X1,X2,...,XnX_1,X_2,...,X_n 是从总体 XX 中抽取的样本:

X=1ni=1nxi\overline{X}=\dfrac{1}{n}\sum^n_{i=1}x_i 样本均值

S2=1n1i=1n(xix)2=1n1(i=1nxi2nX2)S^2=\dfrac{1}{n-1}\sum^n_{i=1}(x_i-\overline{x})^2=\dfrac{1}{n-1}(\sum^n_{i=1}x_i^2-n\overline{X}^2) 样本方差

S=1n1i=1n(xix)2S=\sqrt{\dfrac{1}{n-1}\sum^n_{i=1}(x_i-\overline{x})^2} 样本标准差

Ak=1ni=1nXikA_k=\dfrac{1}{n}\sum^n_{i=1}X^k_ik=1,2,...k=1,2,... 样本 kk 阶原点矩

X(n)=max{X1,X2,...,Xn}X_{(n)}=max\lbrace X_1,X_2,...,X_n\rbrace 极大次序统计量

X(1)=min{X1,X2,...,Xn}X_{(1)}=min\lbrace X_1,X_2,...,X_n\rbrace 极小次序统计量

χ2\chi^2分布

X1,X2,...,XnX_1,X_2,...,X_n 相互独立,且均服从 N(0,1)N(0,1),称:

χ2=X12+X22+...+Xn2\chi^2=X_1^2+X_2^2+...+X_n^2 为服从自由度为 nnχ2\chi^2 分布,记作 χ2(n)\chi^2(n)

Xχ2(n)X\sim \chi^2(n)Yχ2(m)Y\sim \chi^2(m),且 XXYY 相互独立,则 X+Yχ2(n+m)X+Y\sim \chi^2(n+m) χ2\chi^2 分布的可加性

Xχ2(n)X\sim \chi^2(n),有 E[χ2(n)]=nE[\chi^2(n)]=nD[χ2(n)]=2nD[\chi^2(n)]=2n

t分布

XN(0,1)X\sim N(0,1)Yχ2(n)Y\sim \chi^2(n),且 XXYY 相互独立,称:

t=XY/nt=\dfrac{X}{\sqrt{Y/n}} 为服从自由度为 nntt 分布,记作 t(n)t(n)

nn 充分大时,tt 分布可以近似看做标准正态分布

F分布

Xχ2(n)X\sim \chi^2(n)Yχ2(m)Y\sim \chi^2(m),且 XXYY 相互独立,称:

F=X/nY/mF=\dfrac{X/n}{Y/m} 为服从自由度为 n,mn,mFF 分布,记作 F(n,m)F(n,m)

t(n)2=F(1,n)t(n)^2=F(1,n)F(n,m)=1F(m,n)F(n,m)=\dfrac{1}{F(m,n)}

单正态总体的抽样分布定理

设总体 XN(μ,σ2)X\sim N(\mu,\sigma^2)X1,X2,...,XnX_1,X_2,...,X_n 是总体 XX 的简单随机样本,样本均值为 X\overline{X},样本方差为 S2S^2,有:

E(X)=μE(\overline{X})=\muD(X)=σ2nD(\overline{X})=\dfrac{\sigma^2}{n}

E(S2)=σ2E(S^2)=\sigma^2D(S2)=2σ4n1D(S^2)=\dfrac{2\sigma^4}{n-1}

Xμσ/nN(0,1)\dfrac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)

n1σ2S2χ2(n1)\dfrac{n-1}{\sigma^2}S^2\sim \chi^2(n-1),且 X\overline{X}S2S^2 相互独立

1σ2i=1n(xiX)2χ2(n1)\dfrac{1}{\sigma^2}\sum^n_{i=1}(x_i-\overline{X})^2\sim \chi^2(n-1)

XμS/nt(n1)\dfrac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1)

双正态总体的抽样分布定理

设总体 XN(μ1,σ12)X\sim N(\mu_1,\sigma_1^2)YN(μ2,σ22)Y\sim N(\mu_2,\sigma_2^2) 相互独立,X1,X2,...,XnX_1,X_2,...,X_n 是总体 XX 的简单随机样本,Y1,Y2,...,YmY_1,Y_2,...,Y_m 是总体 YY 的简单随机样本,以 X,Y,S12,S22\overline{X},\overline{Y},S_1^2,S_2^2 分别表示两组样本的均值与方差:

(XY)(μ1μ2)σ12n+σ22mN(0,1)\dfrac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{\sqrt{\dfrac{\sigma_1^2}{n}+\dfrac{\sigma_2^2}{m}}}\sim N(0,1)

S12S22σ22σ12F(n1,m1)\dfrac{S_1^2}{S_2^2}\dfrac{\sigma_2^2}{\sigma_1^2}\sim F(n-1,m-1)

σ12=σ22\sigma_1^2=\sigma_2^2 则:

(XY)(μ1μ2)Sw1n+1mt(n+m2)\dfrac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\dfrac{1}{n}+\dfrac{1}{m}}}\sim t(n+m-2)

其中 Sw=(n1)S12+(m1)S22n+m2S_w=\sqrt{\dfrac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}

正态分布的上a分位点

设随机变量 ZN(0,1)Z\sim N(0,1),若对 a(0,1)a\in(0,1),实数 zaz_a 满足:

P{Z>za}=aP\lbrace Z>z_a\rbrace=a

则称 zaz_a 为标准正态分布的上 aa 分位点

z1a=zaz_{1-a}=-z_aΦ(za)=1a\Phi(z_a)=1-a

χ2\chi^2分布上的a分位点

设随机变量 χ2χ2(n)\chi^2\sim \chi^2(n) 若对 a(0,1)a\in(0,1),实数 χa2(n)\chi^2_a(n) 满足:

P{χ2>χa2(n)}=aP\lbrace \chi^2>\chi^2_a(n)\rbrace=a

则称 χa2(n)\chi^2_a(n)χ2(n)\chi^2(n) 的上 aa 分位点

P{χ2(n)χ1a2(n)}=aP\lbrace \chi^2(n)\leq \chi^2_{1-a}(n)\rbrace=a

t分布的上a分位点

设随机变量 tt(n)t\sim t(n),若对 a(0,1)a\in(0,1),实数 ta(n)t_a(n) 满足:

P{t>ta(n)}=aP\lbrace t>t_a(n)\rbrace=a

则称 ta(n)t_a(n)t(n)t(n) 分布的上 aa 分位点

t1a(n)=ta(n)t_{1-a}(n)=-t_a(n)

F分布的上a分位点

设随机变量 FF(n,m)F\sim F(n,m),若对 a(0,1)a\in(0,1),实数 Fa(n,m)F_a(n,m) 满足:

P{F>Fa(n,m)}=aP\lbrace F>F_a(n,m)\rbrace=a

则称 Fa(n,m)F_a(n,m)F(n,m)F(n,m) 分布的上 aa 分位点

F1a(n,m)=1Fa(m,n)F_{1-a}(n,m)=\dfrac{1}{F_a(m,n)}P{F(m,n)>1Fa(n,m)}=1aP\lbrace F(m,n)>\dfrac{1}{F_a(n,m)}\rbrace=1-a

连续分布的上a分位点

设随机变量 YY 为一个连续型随机变量,若对 a(0,1)a\in(0,1),实数 YaY_a 满足:

P{Y>Ya}=aP\lbrace Y>Y_a\rbrace=a

则称 YaY_aYY 的上 aa 分位点

P{Y>Ya}=aP\lbrace Y>Y_a\rbrace=aP{Y<Y1a}=aP\lbrace Y<Y_{1-a}\rbrace=a

P{Y<Y1a/2Y>Ya/2}=aP\lbrace Y<Y_{1-a/2}或Y>Y_{a/2}\rbrace=aP{Y<Ya}=1aP\lbrace Y<Y_a\rbrace=1-a

P{Y>Y1a}=1aP\lbrace Y>Y_{1-a}\rbrace=1-aP{Y1a/2<Y<Ya/2}=1aP\lbrace Y_{1-a/2}<Y<Y_{a/2}\rbrace=1-a

点估计

矩估计法

即用样本矩替换同阶总体矩,如一阶样本矩 A1=1ni=1nxi=EX=X=h(θ)A_1=\dfrac{1}{n}\sum^n_{i=1}x_i=EX=\overline{X}=h(\theta)

对于总体有多个未知数的情况:hi(θ1,θ2,...,θk)=E(Xi)=Ai=1nj=1nxjih_i(\theta_1,\theta_2,...,\theta_k)=E(X^i)=A_i=\dfrac{1}{n}\sum^n_{j=1}x_j^i(i=1,2,3,...,k)(i=1,2,3,...,k)

求解相应的多元方程组就好,若遇到没有意义的方程组只需要继续求更高阶的矩就好

对于任意的分布有:μ^=X\hat{\mu}=\overline{X}σ2^=1ni=1nXi2X2=1ni=1n(XiX)2\hat{\sigma^2}=\dfrac{1}{n}\sum^n_{i=1}X^2_i-\overline{X}^2=\dfrac{1}{n}\sum^n_{i=1}(X_i-\overline{X})^2

最大(极大)似然估计法

X1,X2,...,XnX_1,X_2,...,X_n 为来自总体 XX 的简单随机样本,x1,x2,...,xnx_1,x_2,...,x_n 为样本观测值,称:

L(θ)=i=1np(xi,θ)L(\theta)=\prod^n_{i=1}p(x_i,\theta) 为参数 θ\theta 的似然函数,p(xi,θ)p(x_i,\theta)XXP{X=xi}P\lbrace X=x_i\rbraceXX 离散)或 f(x,θ)f(x,\theta)xix_i 处的取值 f(xi,θ)f(x_i,\theta)XX 连续)

L(θ)L(\theta) 实际上就是样本 X1,X2,...,XnX_1,X_2,...,X_n 恰好取 x1,x2,...,xnx_1,x_2,...,x_n 的概率

L(θ)=i=1np(xi,θ)L(\theta)=\prod^n_{i=1}p(x_i,\theta) 为参数 θ\theta 的似然函数,若存在一个只与样本观测值有关的实数 θ^(x1,x2,...,xn)\hat{\theta}(x_1,x_2,...,x_n) 使得:

L(θ^)=maxL(θ)L(\hat{\theta})=\max L(\theta)

则称 θ^(x1,x2,...,xn)\hat{\theta}(x_1,x_2,...,x_n) 为参数 θ\theta 的最大似然估计值,称 θ^(X1,X2,...,Xn)\hat{\theta}(X_1,X_2,...,X_n) 为参数 θ\theta 的最大似然估计量

对数似然函数 lnL(θ)\ln L(\theta) 与似然函数拥有相同的最(极)大值点,故可求对数似然函数的最(极)大值来得到 θ\theta 的最大似然估计

对于 XN(μ,σ2)X\sim N(\mu,\sigma^2)X1,X2,...,XnX_1,X_2,...,X_n 为简单随机抽样,μ\mu 的极大似然估计为 X\overline{X}σ2\sigma^2 的为 1ni=1n(XiX)2\dfrac{1}{n}\sum^n_{i=1}(X_i-\overline{X})^2

点估计优良性的评定标准

无偏性(最基本)

若参数 θ\theta 的估计量 θ^=θ^(X1,X2,...,Xn)\hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n) 满足:

E(θ^)=θE(\hat{\theta})=\theta

θ^\hat{\theta}θ\theta 的一个无偏估计量,否则称为有偏估计量

有效性

θ1^\hat{\theta_1}θ2^\hat{\theta_2} 都是参数 θ\theta 的无偏估计量,如果:

D(θ1^)<D(θ2^)D(\hat{\theta_1})<D(\hat{\theta_2})

θ1^\hat{\theta_1}θ2^\hat{\theta_2} 有效。即在期望相等的条件下,方差小者估计的效果好

一致性(相合性)

θn^=θ^(X1,X2,...,Xn)\hat{\theta_n}=\hat{\theta}(X_1,X_2,...,X_n)θ\theta 的一个估计量,对于任意的 ϵ>0\epsilon>0,有:

limnP{θn^θ<ϵ}=1\lim_{n\rightarrow \infty}P\lbrace |\hat{\theta_n}-\theta|<\epsilon\rbrace=1

θn^\hat{\theta_n}θ\theta 的一致估计量(相合估计量)

参数的区间估计和假设检验

区间估计

设总体 XX 的分布函数为 F(x;θ)F(x;\theta),其中 θ\theta 为未知参数,X1,X2,...,XnX_1,X_2,...,X_n 为简单随机样本,对于给定的 α(0,1)\alpha\in(0,1),如果由样本确定的两个统计量 T1(X1,X2,...,Xn)T_1(X_1,X_2,...,X_n)T2(X1,X2,...,Xn)T_2(X_1,X_2,...,X_n) 满足:

P{T1θT2}=1αP\lbrace T_1\le\theta\le T_2\rbrace=1-\alpha

则称随机区间 [T1,T2][T_1,T_2] 是参数 θ\theta 的置信度(置信水平)为 1α1-\alpha 的置信区间

T1T_1 满足:

P{T1θ}=1αP\lbrace T_1\ge\theta\rbrace=1-\alphaP{T1θ}=1αP\lbrace T_1\le\theta\rbrace=1-\alpha

则称 T1T_1 是参数 θ\theta 的置信度为 1α1-\alpha 的单侧置信上限(或单侧置信下限)

假设检验

问题大概描述:对总体参数提出一个假设值,然后利用样本信息判断这一假设是否成立。

双侧检验:H1:θθ0H_1:\theta\neq\theta_0x>za/2x>z_{a/2}x<z1a/2x<z_{1-a/2}

单侧检验:H1:θ>θ0H_1:\theta>\theta_0(θ<θ0)(\theta<\theta_0)x>zax>z_{a}(x<z1a)(x<z_{1-a})

正态总体假设检验的基本步骤:

  1. 根据问题提出原假设 H0H_0 和备择假设 H1H_1
  2. 从正态分布的六个抽样分布中选取一个只含有参数 θ0\theta_0 的分布记为 YY
  3. 查表得到 YY 的分位点如:P{Y<Y1a/2Y>Ya/2}=aP\lbrace Y<Y_{1-a/2}或Y>Y_{a/2}\rbrace=aP{Y<Y1a}=aP\lbrace Y<Y_{1-a}\rbrace=aP{Y>Ya/2}=aP\lbrace Y>Y_{a/2}\rbrace=a
  4. H0H_0 的条件带入,求出 YY
  5. 如果(3)中的分位点成立就拒绝 H0H_0 否则就接受 H0H_0

编辑此页面

Next Post
Vue学习日记1