05 第五章　参数估计.ppt

第1页：第五章 参数估计

第五章 参数估计

• 点估计
• 估计量的评选标准
• 区间估计
• 正态总体参数的区间估计

第2页：参数估计的概念

5.1 点估计：一、参数估计的概念

定义：设 X₁, …, X_n 是总体 X 的一个样本，其分布函数为 F(x; θ)，θ∈Θ，其中 θ 为未知参数、Θ 为参数空间，若统计量 g(X₁, …, X_n) 可作为 θ 的一个估计，则称其为 θ 的一个估计量。

注：F(x;θ) 也可用分布律或密度函数代替。

第3页：点估计的含义

若 x₁, …, x_n 是样本的一个观测值，由于 g(x₁, …, x_n) 是实数域上的一个点，现用它来估计 θ，故称这种估计为点估计。

点估计的经典方法是矩估计法与极大似然估计法。

第4页：矩估计法

二、矩估计法（简称“矩法”）

关键点：

1. 用样本矩作为总体同阶矩的估计
2. 约定：若 θ̂ 是未知参数 θ 的矩估计，则 g(θ) 的矩估计为 g(θ̂)

第5页：例1：二项分布参数p的矩估计

例1：设 X₁, …, X_n 为取自总体 B(m, p) 的样本，其中 m 已知、0<p<1 未知，求 p 的矩估计。

第6页：指数分布参数λ的矩估计

EX：设 X₁, …, X_n 为取自参数为 λ 的指数分布总体的样本，求 λ 的矩估计。

第7页：例2：含参数σ的矩估计

例2：设总体 X 的概率密度含参数 σ，X₁, …, X_n 为样本，求参数 σ 的矩估计。

第8页：例3：多参数的矩估计

例3：设 X₁, …, X_n 为取自该总体的样本，求参数的矩估计。

第9页：极大似然思想

三、极大似然估计法

1. 极大似然思想：有两个射手，一人的命中率为 0.9，另一人的命中率为 0.1，现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？

一般说，事件 A 发生的概率与参数 θ∈Θ 有关，θ 取值不同则 P(A) 也不同，因而应记事件 A 发生的概率为 P(A|θ)。若 A 发生了，则认为此时的 θ 值应是在 Θ 中使 P(A|θ) 达到最大的那一个。这就是极大似然思想。

第10页：离散型总体的极大似然估计

1. 设总体 X 为离散型随机变量，它的分布律为 P{X=a_k}=p(a_k; q)，现有样本观察值 x₁, …, x_n，其中 x_k 取值于 {a_k, k=1,2,…}，问：根据极大似然思想，如何用 x₁, …, x_n 估计 q？

例5：设 X₁, …, X_n 为取自参数为 λ 的泊松分布总体的样本，求 λ 的极大似然估计。

第11页：连续型总体的极大似然估计

2. 设总体 X 为连续型随机变量，概率密度 f(x; q)，现有样本观察值 x₁, …, x_n，问：根据极大似然思想，如何用 x₁, …, x_n 估计 q？

第12页：似然函数

2、似然函数与极大似然估计：称 L(q)=Π p(x_i; q)（离散型）或 L(q)=Π f(x_i; q)（连续型）为该总体的似然函数。

第13页：极大似然估计的定义

定义：若有 θ̂ 使得 L(θ̂)=max L(θ)，则称 θ̂ 为 θ 的极大似然估计，记为 θ̂_L。

第14页：求极大似然估计步骤一

3、求极大似然估计的步骤

（1）做似然函数 L(θ)=Π f(x_i; θ)。

第15页：求极大似然估计步骤二

（2）做对数似然函数 ln L(θ)=Σ ln f(x_i; θ)。

第16页：求极大似然估计步骤三

（3）列似然方程 d ln L(θ)/dθ=0。若该方程有解，则其解就是极大似然估计。

第17页：多参数情形的似然方程组

注1：若概率函数中含有多个未知参数，则可解方程组 ∂ln L/∂θ_i=0（i=1,…,k）。

第18页：例6：多参数的极大似然估计

例6：设 X₁, …, X_n 为取自该总体的样本，求参数的极大似然估计。

第19页：极大似然估计的变换性质

注2：极大似然估计具有下述性质：若 θ̂ 是未知参数 θ 的极大似然估计，g(θ) 是 θ 的严格单调函数，则 g(θ) 的极大似然估计为 g(θ̂)。

第20页：例7：概率p=P{X

例7：设 X₁, …, X_n 为取自参数为 λ 的指数分布总体的样本，a>0 为一给定实数，求 p=P{X<a} 的极大似然估计。

第21页：似然方程无解时的处理

注3：由似然方程解不出 θ 的似然估计时，可由定义通过分析直接推求。事实上满足使 L(θ) 达到最大的 θ 即为所求。

第22页：例8：均匀分布U(0,θ)的估计

例8：设 X₁, …, X_n 为取自 U(0, θ) 总体的样本，θ>0 未知，求参数 θ 的极大似然估计。

第23页：估计量的一致性

5.2 估计量的评选标准

一、一致性：若估计量 θ̂_n 随 n 增大依概率收敛于 θ，则称其为一致估计量。

第24页：例1：一致性的讨论

例1：设总体分布已知，0<p<1，求 p 的极大似然估计，并讨论所求估计量的一致性。

第25页：估计量的无偏性

二、无偏性：若估计量 θ̂ 满足 E(θ̂)=θ，则称 θ̂ 为 θ 的无偏估计量。

第26页：样本方差的无偏性

易见：样本均值是总体均值的无偏估计；修正样本方差 S² 是总体方差的无偏估计。

第27页：两种估计法的无偏性考察

考察 θ 的矩估计和极大似然估计的无偏性。

第28页：估计量的有效性

三、有效性：设 θ̂₁、θ̂₂ 都是 θ 的无偏估计，若 D(θ̂₁)<D(θ̂₂)，则称 θ̂₁ 比 θ̂₂ 有效。

第29页：

第30页：两个样本均值的线性组合练习

EX：设 X̄₁、X̄₂ 分别为取自总体 X 的容量为 n₁、n₂ 的两个样本的样本均值，求证：对任意实数 a>0、b>0、a+b=1，统计量 aX̄₁+bX̄₂ 都是 E(X) 的无偏估计，并求 a、b 使所得统计量最有效。

第31页：区间估计的概念

5.3 区间估计：一、概念

定义：设总体 X 的分布函数 F(x; θ) 含有未知参数 θ，对于给定值 α（0<α<1），若由样本 X₁, …, X_n 确定的两个统计量 θ̂₁、θ̂₂ 使 P{θ̂₁<θ<θ̂₂}=1-α，则称随机区间 (θ̂₁, θ̂₂) 为 θ 的置信度为 1-α 的置信区间。

注：F(x;θ) 也可换成概率密度或分布律。

第32页：σ²已知时μ的区间估计

5.4 正态总体参数的区间估计

1、σ² 已知：取枢轴量 U=(X̄-μ)/(σ/√n)～N(0,1) 构造 μ 的置信区间。

第33页：双侧分位点与置信度

取标准正态的双侧 α/2 分位点，使中间部分概率为 1-α。

第34页：μ的置信区间与最优性

μ 的置信度为 1-α 的置信区间为 (X̄－u_α/2σ/√n, X̄＋u_α/2σ/√n)。

注：μ 的 1-α 置信区间不唯一，按概率对称拆分时都可作为置信区间，但 θ=1/2 时区长最短。

第35页：求置信区间的解题步骤

求正态总体参数置信区间的解题步骤：

1. 根据实际问题构造样本的函数，要求仅含待估参数且分布已知
2. 令该函数落在由分位点确定的区间里的概率为给定的置信度 1-α，要求区间按几何对称或概率对称
3. 解不等式得随机的置信区间
4. 由观测值及 α 值查表计算得所求置信区间

第36页：方差已知时的区间估计例题

P152, 27（1）：解：σ 已知时，μ 的置信度为 1-α 的置信区间为标准正态分布形式，代入本题数据即得。

第37页：σ²未知时μ的置信区间

2、σ² 未知：取枢轴量 T=(X̄-μ)/(S/√n)～t(n-1)，得 μ 的 1-α 置信区间。

第38页：方差未知时的区间估计例题

P152, 27（2）：解：σ 未知时，μ 的置信度为 1-α 的置信区间为 t 分布形式，代入本题数据即得。

第39页：单正态总体方差的区间估计

二、单正态总体方差的置信区间：假定 μ 未知，取枢轴量 (n-1)S²/σ²～χ²(n-1)。

第40页：σ²的置信区间

σ² 的置信度为 1-α 的置信区间为 ((n-1)S²/χ²_α/2(n-1), (n-1)S²/χ²_1-α/2(n-1))。

第41页：双正态总体均值差的区间估计

三、双正态总体均值差的置信区间：取枢轴量基于两个样本均值之差构造。

第42页：μ1-μ2的置信区间

由此可解得 μ₁-μ₂ 的置信区间。

第43页：双正态总体方差比的区间估计

四、双正态总体方差比的置信区间：假定 μ₁、μ₂ 未知，取枢轴量 (S₁²/S₂²)·(σ₂²/σ₁²)～F(n₁-1, n₂-1)。

第44页：

第45页：本章小结

小结：本章围绕参数估计展开，包括矩估计法与极大似然估计法两种点估计方法，一致性、无偏性、有效性三条评选标准，以及正态总体均值与方差的区间估计。