第五章 参数估计 第 1页

第五章 参数估计

数理统计的主要任务之一是依据样本推断总体.
推断的基本内容包括两个方面:
一是依据样本寻找总体未知参数的近似值和近似
范围，这是第五章的内容(参数估计)。

二是依据样本对总体未知参数的某种假设作出真
伪判断，这是第六章的内容（假设检验）。

21 May 2009 华东师范大学

第五章 参数估计 第 2页

• 一般常用θ表示参数，参数θ所有可能取值
组成的集合称为参数空间，常用Θ表示。参
数估计问题就是根据样本对上述各种未知参
数作出估计。

21 May 2009 华东师范大学

第五章 参数估计 第 3页

例 X ~ P(λ)； X ~ Exp(λ)； X ~ N(μ, σ2)

用所获得的样本值去估计参数，称为参数估计.

点估计 用某一数值作为参数的
参

{
近似值
数
估
在要求的精度范围内
计 区间估计
指出参数所在的区间

21 May 2009 华东师范大学

第五章 参数估计 第 4页

• 设x ,x , …, xn是来自总体的一个样本（观察
1 2
 
值），我们用一个统计量的取值 θ = θ ( x1 , " , xn )

作为θ的估计值，θ 称为θ的点估计（量），

简称估计。在这里如何构造统计量θ 并没有明
确的规定，只要它满足一定的合理性即可。这
就涉及到二个问题：
¾ 其一 是如何给出估计，即估计的方法问题；
¾ 其二 是如何对不同的估计进行评价，即估
计的好坏判断标准。

21 May 2009 华东师范大学

第五章 参数估计 第 5页

点估计
设总体 X 分布函数为 F(x; θ)，θ 为未知参数
(可以是向量)，X1, X2,…, Xn 为来自该总体的
样本。用一个统计量

θˆ = θˆ( X 1, X 2 , ", X n )
去估计θ，

称 θˆ 为θ 的点估计 或估计量 简称估计。

21 May 2009 华东师范大学

第五章 参数估计 第 6页

§5.1 矩法估计

矩法估计的基本思想：
1 n k
用样本矩 Ak = ∑ X i ,
n i =1
代替母体矩 μk = E ( X k ) =ˆ gk (θ )
即 Ak = μk = gk (θ )
从中解出θ .

21 May 2009 华东师范大学

第五章 参数估计 第 7页

注 意 点 (1)
若估计一个未知参数 θ ，则立方程
g (θ )
n
1
n
∑ X i
= A1 = μ1 = E ( X ) = 1
i =1

若估计两个未知参数 θ1, θ2，则立方程

⎧ 1 n
⎪⎪ n ∑ i =1
X i = A1 = μ1 = E ( X ) = g1 (θ1 , θ 2 )
⎨ n
⎪ 1 ∑ X 2 = A = μ = E ( X 2 ) = g (θ , θ )
⎪⎩ n i =1 i 2 2 2 1 2

21 May 2009 华东师范大学

第五章 参数估计 第 8页

注 意 点 (2)

矩法估计也可以用样本中心矩
1 n
Bk = ∑ ( X i − X ) k ,
n i =1
ν
代替母体中心矩 k = E ( X − E ( X )) k

即从 Bk = ν k 中解出θ .

21 May 2009 华东师范大学

第五章 参数估计 第 9页

例 子

• P284 例5.1.3

21 May 2009 华东师范大学

第五章 参数估计 第10页

例 x1 , x2 , …, xn是来自(a,b)上的均匀分布U(a,b)
的样本，a与b均是未知参数，这里k=2，由于
a+b (b − a)2
EX = , Var ( X ) = ,
2 12
不难推出
a = EX − 3Var ( X ), b = EX + 3Var ( X ),

由此即可得到a, b的矩估计：

aˆ = x − 3s, bˆ = x + 3s

21 May 2009 华东师范大学

第五章 参数估计 第11页

习 题
习题5.1 1，4, 6.

21 May 2009 华东师范大学

第五章 参数估计 第12页

§5.3 极大似然估计

5.3.1 极大似然估计的基本思想：

口袋中有黑、白两种球， 从中任取一只，
发现是白球， 则可以认为：

口袋中白球比黑球多

21 May 2009 华东师范大学

第五章 参数估计 第13页

5.3.2 求极大似然估计的方法

设总体含有待估参数 θ ，
得到样本观测值 x1, x2,…, xn
则找一个 θˆ = θˆ( X 1, X 2 , ", X n )
使得x1, x2,…, xn出现的可能性最大。

21 May 2009 华东师范大学

第五章 参数估计 第14页

极大似然估计的关键点

x1, x2,…, xn出现的可能性：

n

(1) 离散场合：L(θ ; x1 , x2 , ..., xn ) = ∏ P( X i = xi )

i =1
n

(2) 连续场合：L(θ ; x1 , x2 , ..., xn ) = ∏ p( xi )

i =1

称以上 L 的为似然函数。

注意：(1) L 是 θ 的函数， x1, x2,…, xn 固定。

(2) θ 可以是多维的 。
(3) 下面任务是求 L的极大点 MLE θˆ

21 May 2009 华东师范大学

第五章 参数估计 第15页

例 子
• P299 例5.3.2 0 - -1 分布
！仅含有一个参数
• P300 例5.3.3 正态分布 N(μ, σ2)
！含有二个参数
• P301 例5.3.4 均匀分布 U(0, θ)
！不能使用求导方法

21 May 2009 华东师范大学

第五章 参数估计 第16页

例 对正态总体N(μ,σ 2)，θ=(μ,σ 2)是二维参

数，设有样本x1 , x2 , …, xn，则似然函数及其
对数分别为
n
1 ( x − μ ) 2
L(μ,σ 2 ) = ∏{ exp{− i 2 }}
i =1 2πσ 2σ
n
1
= (2πσ 2 )− n / 2 exp{− 2 ∑ ( xi − μ )2}
2σ i =1
1 n n n
ln L(μ ,σ ) = − 2 ∑ ( xi − μ ) − ln σ − ln(2π )
2 2 2

2σ i =1 2 2

21 May 2009 华东师范大学

第五章 参数估计 第17页

将lnL(μ,σ 2)分别关于二个分量求偏导并令
其为0, 即得到似然方程组

∂ ln L(μ,σ 2 ) 1 n
= 2 ∑ ( xi − μ ) = 0 (1)
∂μ σ i=1

∂ln L(μ,σ 2 ) 1 n n
= 4 ∑(xi − μ) − 2 = 0
2
(2)
∂σ 2
2σ i=1 2σ

21 May 2009 华东师范大学

第五章 参数估计 第18页

解此方程组，可由(1)得μ的极大似然估计为
1 n
μˆ = ∑ xi = x
n i =1
将之代入 (2)给出σ 2的极大似然估计
1 n
σˆ = ∑ ( xi − x )2 = sn2
2

n i =1

利用二阶导函数矩阵的非正定性可以说明上述
估计使得似然函数取极大值。

21 May 2009 华东师范大学

第五章 参数估计 第19页

虽然求导函数是求极大似然估计最常用的方
法，但并不是在所有场合求导都是有效的。

例 设 x1 , x2 , …, xn是来自均匀总体
U(0,θ)的样本，试求θ的极大似然估计。

21 May 2009 华东师范大学

第五章 参数估计 第20页

解 似然函数
1
L(θ ) = , x(n) ≤ θ
θ n

要使L(θ)达到最大，即1/θn尽可能大，所以
θ的取值应尽可能小，但θ不能小于x(n)，由此
给出θ的极大似然估计：
θˆ = x( n )

21 May 2009 华东师范大学

第五章 参数估计 第21页

5.3.3 MLE的不变性

设 θˆMLE 是θ 的极大似然估计，

则g(θˆMLE ) 是 g(θ ) 的极大似然估计。

21 May 2009 华东师范大学

第五章 参数估计 第22页

例 设 x1 , x2 , …, xn是来自正态总体N(μ ,σ 2)
的样本，则μ和σ 2的极大似然估计为
 2 2
μ = x, σ =sn ，于是由不变性可得如下参数的极
大似然估计，它们是:
¾ 标准差σ 的MLE是 σˆ = sn

21 May 2009 华东师范大学

第五章 参数估计 第23页

⎛ 3− μ ⎞ ⎛ 3− x ⎞
¾ 概率P( X < 3) =Φ⎜ ⎟ 的MLE是Φ ⎜ ⎟ ；
⎝ σ ⎠ ⎝ s ⎠

¾ 总体0.90分位数 x0.90= μ +σ u0.90 的MLE

是 x + s * ⋅u0.90 ，其中u0.90为标准正态分布的
0.90分位数。

21 May 2009 华东师范大学

第五章 参数估计 第24页

习 题

习题5.3 2，4 ，7，8.

21 May 2009 华东师范大学