Professional Documents
Culture Documents
戴忠淵
chungyuandye@gmail.com
http://chungyuandye.blogspot.com
1 資料的統計量數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1 集中趨勢量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.1 平均數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.2 位數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1.3 眾數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2 差異量數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 平均數與標準差之應用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 機率概論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1 常用符號 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 基本運算與性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 名詞解釋 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 機率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1 機率公理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.2 條件機率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.3 獨立事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.4 貝氏定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3 隨機變數與機率分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1 隨機變數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 機率分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 累積分配函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 聯合機率密度函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.5 邊際機率密度函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.6 條件機率密度函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.7 期望值與變異數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.7.1 期望值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.7.2 變異數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.8 共變異數與相關係數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.9 動差生成函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 常用之機率分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.1 離散型機率分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2 連續型機率分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.3 混合分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.4 變數變換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.5 二元常態分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
目錄 4
5 抽樣分配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1 名詞解釋 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 樣本平均數之抽樣分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.3 與常態分配有關的抽樣分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.3.1 t分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.3.2 F 分配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3.3 大數法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.3.4 中央極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.4 順序統計量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6 估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1 點估計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.1.1 最大概似法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.1.2 動差法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.2 區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.2.1 母體變異數已知, 單一母體平均數之區間估計. . . . . . . . . . . . . . . . . . . . . . . . . 163
6.2.2 母體變異數未知, 單一母體平均數之區間估計. . . . . . . . . . . . . . . . . . . . . . . . . 165
6.2.3 母體變異數已知, 兩母體平均數差之區間估計. . . . . . . . . . . . . . . . . . . . . . . . . 166
6.2.4 母體變異數未知, 兩母體平均數差之區間估計. . . . . . . . . . . . . . . . . . . . . . . . . 167
6.2.5 兩相依母體平均數之區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
6.2.6 母體變異數之區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.2.7 兩母體變異數比例之區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
6.2.8 單一母體比例之區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
6.2.9 兩母體比例差之區間估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.3 樣本數大小之決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.3.1 母體平均數樣本數之決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.3.2 母體比例樣本數之決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7 假設檢定. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.1 觀念介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.1.1 名詞解釋 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.1.2 誤差之型態 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.1.3 檢定的型態 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.1.4 檢定方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2 母體平均數之檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.1 單一母體平均數之檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.1.1 µ之雙尾檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.1.2 µ之右尾檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.2.1.3 µ之左尾檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.2.2 兩母體平均數差之檢定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.2.2.1 µ1 − µ2 之雙尾檢定且σx2 , σy2 已知 . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.2.2.2 µ1 − µ2 之右尾檢定且σx2 , σy2 已知 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5 目錄
9 簡單線性迴歸分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
9.1 最小平方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
9.2 β0 與β1 之統計推論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
9.3 µy|x 之信賴區間及預測區間之估計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10 多變量常態分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10.1 多變量常態分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10.2 µ及Σ之估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.3 矩陣不等式及應用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
機率分配表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
版權宣告 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
索引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
目錄 6
自序
我打研究室走過
那獨坐電腦前的容顏如苦瓜的糾結
靈感不來,長壽的煙霧不散
研究室如小小的寂寞的城
恰如商管的電梯向晚
鍵盤不響,彈菸的手指不歇
看動作片要把小小的窗屝緊掩
我達達的馬蹄是美麗的錯誤
我不是主人,是個過客
目錄 8
第1章
資料的統計量數
1.1 集中趨勢量
集中趨勢量(Measures of Central Tendency): 資料向某一數值集中, 表示此種共同趨勢的量數, 可做資料的中心代
表值或兩個以上(含)群體間之比較或估計, 推論母體的母體。以下介紹三種重要的集中趨勢量數: (1)平均數, (2)中位數,
(3)眾數。
1.1.1 平均數
1. 算術平均數: 通常使用的平均數是指"算術平均數"
Pn
X1 + X2 + · · · + Xn i=1 Xi
X= =
n n
例 1-1. 某統計諮詢顧問中心員工之薪資如下:
30, 30, 30, 84, 30, 30, 40, 30, 40, 45, 70, 38, 95
求此中心員工的平均薪資為多少?(單位: 新台幣仟元)
解: P
Xi 592
X= = = 45.538
n 13
1.1 集中趨勢量 10
2. 幾何平均數: 較適用於比例(等比)或變動率的數據
v
un
p uY
G = X1 X 2 · · · Xn = t
n n
Xi
i
解:
√
G= 4
3 × 6 × 12 × 24 = 8.49
1 n
H= Pn = Pn
1/n × i=1 (1/Xi ) i=1 (1/Xi )
解:
1 40
H= 1 1 =
4 + 5
9
2
證明:.
11 CHAPTER 1. 資料的統計量數
1. 令0 ≤ X1 ≤ X2 ≤ · · · ≤ Xn , 則
X1 + X2 + · · · + X n Xn + (n − 1) (X1 + X2 + · · · + Xn−1 ) / (n − 1)
=
n n
X1 + X2 + · · · + Xn−1 Xn − (X1 + X2 + · · · + Xn−1 ) / (n − 1)
= +
n−1 n
又由二項式定理得
Xn µ ¶
n n i n−i
(a + b) = ab ≥ an + nan−1 b
i=0
i
2.
s
p X1 + X2 2
XH = ×
2 1/X1 + 1/X2
r
X1 + X2 2X1 X2
= ×
2 X1 + X2
p
= X1 X2 = G
1.1 集中趨勢量 12
性質
Pn
1. i=1 (Xi − X) = 0
Pn ¡ ¢2 Pn 2
2. i=1 Xi − X ≤ i=1 (Xi − p) , 其中p表任何值。
3. G X = GX /GY
Y
證明:.
1.
X
n X
n
(Xi − X) = Xi − nX
i=1 i=1
Xn Pn
Xi
= Xi − n i=1
i=1
n
= 0
2.
Pn X
n
∂ i=1 (Xi − p)2
= −2(Xi − p)
∂p i=1
又
Pn
−2(Xi − p) X
n
∂ i=1
= 2 = 2n ≥ 0
∂p i=1
Pn
令 i=1 −2(Xi − p) = 0, 所以當p = X時有極小值。故得
X
n
¡ ¢2 X
n
2
Xi − X ≤ (Xi − p)
i=1 i=1
3.
r
n X 1 X2 Xn
GX = ...
Y Y1 Y2 Yn
√
n
X 1 X2 . . . X n
= √
n
Y1 Y2 . . . Yn
GX
=
GY
13 CHAPTER 1. 資料的統計量數
1.1.2 位數
其中k = 1, 2, 3, [·]為高斯符號
P25 = Q1 ,
P75 = Q3 ,
P10 = D1 ,
P20 = D2 ,
..
.
1.2 差異量數 14
1.1.3 眾數
眾數眾數: 一資料群中出現次數最多者所對應的數值。
1. 眾數之符號常用M0 。
2. 無任何一個數值出現超過一次以上, 則眾數不存在。
3. 眾數可能不只一個值。
4. 如相鄰二數皆為眾數, 則取平均值。
1.2 差異量數
差異量數 討論資料的離散程度。雖然兩組資料具有相同的X 或 Me等時, 並不代表這兩組資料群具有相同的分布情
況。以下介紹三類的差異量數:
R = X(n) − X(1)
2. 離中差異量數: 以中心點為基準
(b) 平均差
i. 以中位數Me為中心的稱為離中平均差,
Pn
i=1 |Xi − M e|
M.D. =
n
ii. 以平均數X為中心的稱為離均平均差
Pn ¯ ¯
¯X i − X ¯
i=1
M.D. =
n
解:
8 4
C.V.身高 = × 100% = 5%, C.V.體重 = × 100% = 8%
160 50
1.3 平均數與標準差之應用
1. 柴比雪夫定理(Chebyshev’s Theorem): 不論資料分布的型態如何, 若母體平均數及母體變異數皆存在, 則
1
P(|X − µ| ≤ kσ) ≥ 1 − , k>1
k2
解:
3. 標準分數: 將原始資料的數值轉化為標準值的方法
Xi − X
Zi =
S
1.3 平均數與標準差之應用 16
第2章
機率概論
2.1 常用符號
1. 屬於(belong to): ∈
2. 子集(subset): ⊆
3. 空集合(null set): ϕ
4. 聯集(union set): ∪
5. 交集(intersection set): ∩
6. 餘集(complement set): Ac 或 A′
2.2 基本運算與性質
1. A, B的聯集: A ∪ B = {x | x ∈ A 或 x ∈ B}
2. A, B的交集: A ∩ B = {x | x ∈ A 及 x ∈ B}
3. A的餘集: Ac = {x | x ∈ S 及 x ∈
/ A}
4. DeMorgan’s laws:
(a) (A ∩ B)c = Ac ∪ B c
(b) (A ∪ B)c = Ac ∩ B c
2.3 名詞解釋 18
2.3 名詞解釋
1. 集合: 由同類事物, 符號或數字所成的聚集。常用A, B, C, . . . 表示。
(a) 聯事件: A ∪ B
(b) 交事件: A ∩ B
(c) 餘事件: Ac 或 A′
(e) 完全事件: 如果 A1 ∪ A2 ∪ · · · ∪ An = S
A = ϕ, {♣}, {♡}, {♠}, {♣, ♡}, {♣, ♠}, {♡, ♠}, {♣, ♡, ♠}
19 CHAPTER 2. 機率概論
2.4 機率
2.4.1 機率公理
機率公理
1. 對任一事件A, P(A) ≥ 0
2. P(S) = 1
3. 若Ai ∩ Aj = ϕ, ∀i ̸= j, 則
X
n
P(A1 ∪ A2 ∪ · · · ∪ An ) = P(A1 ) + P(A2 ) + · · · + P(An )
i=1
設每個樣本點出現的機率相等, 則
#(A)
P(A) = ,
#(S)
其中#(S)表樣本空間的元素個數, #(A)表事件A 的元素個數。
性質
1. P(ϕ) = 0
2.4 機率 20
2. 任一事件A, 0 ≤ P(A) ≤ 1
3. P(A) = 1 − P(A′ )
若A, B為互斥事件, 則
P(A ∪ B) = P(A) + P(B)
5. 若A, B, C為任意三事件, 則
6. 若A, B, C為三互斥事件, 則
P(A ∪ B ∪ C) = P(A) + P(B) + P(C)
7. 推廣至n個事件, 則
X
n X
n X
n
P(A1 ∪ A2 ∪ · · · ∪ An ) = P(Ai ) − P(AI ∩ Aj ) + P(AI ∩ Aj ∩ Ak )
i=1 i<j I<j<k
+ · · · + (−1)n+1 × P(A1 ∩ A2 ∩ · · · ∩ An )
1. P(A′ )
2. P(A ∪ B)
3. P(A ∩ B ′ )
4. P(A′ ∩ B ′ )
5. P(A′ ∪ B ′ )
解:
2.4.2 條件機率
條件機率 設 P(B) > 0, 則在事件B已發生的條件下發生事件A的機率稱為事件A的條件機率, 其定義為
P(A ∩ B)
P(A | B) =
P(B)
性質
1. 0 ≤ P(A | B) ≤ 1
2. P(B | B) = 1
X
k
P(A1 ∪ A2 ∪ · · · ∪ Ak | B) = P(Ai | B)
i=1
41
=
90
£ ′¤
例 2-9. Suppose that P (A) = 0.7, P (B) = 0.5, and P (A ∪ B) = 0.1
1. Find P (A ∩ B)
2. Find P (A|B)
解:
由於P (A ∪ B) = 1 − 0.1 = 0.9, 故得
1.
P (A ∩ B) = P (A) + P (B) − P (A ∪ B) = 0.7 + 0.5 − 0.9 = 0.3
2.
P (A ∩ B) 0.3
P (A|B) = = = 0.6
P (B) 0.5
2.4.3 獨立事件
獨立事件 若二事件A, B中任一事件發生並不影響另一事件發生的機率即
否則稱為相依事件。
定理 2.1. 若A與B為獨立事件, 則
1. A與B ′
2. A′ 與B
3. A′ 與B ′
亦各為獨立事件
證明:.
1.
2. 同理可證
3.
2.4.4 貝氏定理
貝氏定理
P(Aj ) × P(B | Aj )
P(Aj | B) = Pk , i = 1, 2, ..., k
i=1 P(Ai ) × P(B | Ai )
證明:.
P (Aj ∩ B)
P (Aj | B) =
P (B)
P (Aj ∩ B)
= Pn
i=1 P (Ai ∩ B)
P (Aj ∩ B)
=
P (A1 ∩ B) + P (A2 ∩ B) + · · · + P (An ∩ B)
P (Aj ) P ( B| Aj )
=
P (A1 ) P ( B| A1 ) + P (A2 ) P ( B| A2 ) + · · · + P (An ) P ( B| An )
P (Aj ) P ( B| Aj )
= Pn
i=1 P (Ai ) P ( B| Ai )
1. 由全部產品中任抽出一件, 其為不良品的機率?
解:
1. P(B) = P(A1 )P(B | A1 ) + P(A2 )P(B | A2 ) = 0.4 × 0.04 + 0.6 × 0.05 = 0.046
P(A1 )P(B | A1 ) 0.016 8
2. P(A1 | B) = = =
P(B) 0.046 23
例 2-14. In a certain city, 30% of the people are republic, 50% are democrats, and 20% are independent.
Records show that in a particular election, 65% of Republicans voted 82% of the democrats voted and 50%
of independent voted. A person is chosen at random from this city and it is known that he/she did not vote,
what is the probability that he/she is a democrat?
25 CHAPTER 2. 機率概論
解:
0.5 × 0.18
P(民主黨員 | 沒有投票) = = 0.30508
0.3 × 0.35 + 0.5 × 0.18 + 0.2 × 0.5
例 2-15. Bowl A contains two red chip; bowl B contains two white chips; and bowl C contains one red chip
and one white chip. A bowl is selected at random (with equal probability), and one chip is taken at random
from the bowl.
2. If the chip selected is white, compute the conditional probability that the other chip in the bowl is red.
解:
1.
2.
P (white ∩ C) 1/3 × 1/2 1
P (C|white) = = =
P (white) 1/2 3
隨機變數與機率分配
3.1 隨機變數
隨機變數 隨機變數(Random Variable, 簡稱r.v.): 在一隨機實驗中, 以其樣本空間S中的每一元素為定義域, 經
一實值函數X, 得唯一一個實數值x, 以集合{x | x = X(S), s ∈ S}為值域, 即X(s) = x。 一般而言, 隨機變數常以大
寫英文字母表示X, Y , Z, . . . ; 隨機變數的函數值或觀測值常以小寫字母書寫x, y, z . . . 表示之。
例 3-1. 擲一枚公正的銅板兩次, 即S = {{正, 正}, {正, 反}, {反, 正}, {反, 反}}, 令X表示正面的個數,
即X({正, 正}) = 2, X({正, 反}) = X({反, 正}) = 1, X({反, 反}) = 0。
3.2 機率分配
機率分配 機率分配可分為
茲介紹如下:
1. 離散型隨機變數的機率分配:
定義: 設X為一離散型隨機變數(Discrete Random Varible), 若所有x ∈ X, 則f (x) = P(X = x)稱為X的機率質
量函數(Probability Mass Function, 簡稱p.m.f.)。X的p.m.f., f (x)為一實值函數, 須滿足下列三性質:
(a) f (x) ≥ 0, ∀ x ∈ R
P
(b) x∈R f (x) = 1
P
(c) P(x ∈ A) = x∈A f (x)
2. 連續型隨機變數的機率分配
定義: 設X為一連續型隨機變數(Continous Random Varible), 若所有x ∈ X, 則f (x) = P(X = x)稱為X的機率
密度函數(Probability Density Function, 簡稱p.d.f.)。X的p.d.f., f (x)為一實值函數, 須滿足下列三性質:
3.3 累積分配函數 28
(f) P(a ≤ x ≤ b) = P(a < x ≤ b) = P(a ≤ x < b) = P(a < x < b)。
1. f (x) = x/C, x = 1, 2, 3, 4
2. f (x) = Cx, x = 1, 2, · · · 10
4. f (x) = x/C, x = 1, 2, 3, · · · , n
解:
1. C = 1 + 2 + 3 + 4 = 10
1 1
2. C = =
1 + 2 + 3 + ... + 10 55
1 1
3. C = 2 2 2 2 =
(0 + 1) + (1 + 1) + (2 + 1) + (3 + 1) 30
n (n + 1)
4. C = 1 + 2 + 3 + ... + n =
2
3.3 累積分配函數
累積分配函數 累積分配函數其定義與符號為
( P
f (t) , 離散型
F (x) = P(X ≤ x) = Rx
t≤x
−∞
f (t) dt , 連續型
性質
1. 0 ≤ F (x) ≤ 1
2. lim = 0, lim = 1
x→−∞ x→∞
29 CHAPTER 3. 隨機變數與機率分配
3. F (x)為一非遞減函數
3.4 聯合機率密度函數
聯合機率密度函數 聯合機率密度函數為討論兩個以上(含)隨機變數的機率分配。設f (x, y)為X與Y 的聯合機率密度
函數(joint pdf), 則必須滿足下列三條件:
1. 0 ≤ f (x, y) ≤ 1, (x, y) ∈ ℜ2
PP 離散分配
(x,y)∈R2 f (x, y) = 1,
2. RR
f (x, y) dxdy = 1, 連續分配
(x,y)∈R2
( PP
f (x, y) , A ∈ ℜ2
3. P ((x, y) ∈ A) = R Rx
t≤x
−∞
f (x, y) dxdy, A ∈ ℜ2
3.5 邊際機率密度函數
邊際機率密度函數 設f (x, y)為 r.v. X和Y 的聯合機率密度函數, 則X與Y 的邊際機率密度函數(marginal pdf)分
別定義為
( P
y∈ℜ2 f (x, y)
f1 (x) = R
y∈ℜ2
f (x, y) dy
及
( P
x∈ℜ2 f (x, y)
f2 (y) = R
x∈ℜ2
f (x, y) dx
同理, f1 (x)必須滿足下列條件:
1. 0 ≤ f1 (x) ≤ 1, x ∈ R1
( PP
x∈R1 f1 (x) = 1
2. RR
x∈R1
f1 (x)dx = 1
3.6 條件機率密度函數 30
xy 2
f (x, y) = , x = 1, 2, 3, y = 1, 2
30
試求X與Y 之邊際機率密度函數?
解:
X
2
xy 2 x 4x x
f1 (x) = = + = , x = 1, 2, 3
y=1
30 30 30 6
X
3
xy 2 y2 2y 2 3y 2 y2
f2 (y) = = + + = , y = 1, 2
x=1
30 30 30 30 5
例 3-4. If X and Y are discrete random variables with joint probability density function,
2x+y
f (x, y) = c , x = 0, 1, 2, . . . ; y = 0, 1, 2, . . . ,
x!y!
and zero otherwise. Find the constant c?
解:
X∞ X ∞ X∞ X ∞ X∞ ∞
2x+y 1 x y 2x X 2y
c = c 2 2 =c = c × e2 × e2 = ce4
x=0 y=0
x!y! x=0 y=0
x!y! x=0
x! y=0
y!
所以
c = e−4
3.6 條件機率密度函數
條件機率密度函數 設f (x, y)為 r.v. X和Y 的聯合機率密度函數, 其邊際p.d.f.分別為f1 (x)與f2 (y), 則在給
定X = x時, Y 的條件機率密度函數(conditional pdf)定義為:
f (x, y)
f (y | X = x) = , f1 (x) > 0, y ∈ R2
f1 (x)
性質
31 CHAPTER 3. 隨機變數與機率分配
1. f (y | x) ≥ 0, f (x | y) ≥ 0
P P
2. y∈R2 f (y | x) = 1, x∈R1 f (x | y) = 1
R∞ R∞
3. −∞
f (y | x)dy = 1, −∞
f (x | y)dx = 1
定義
r.v. X與Y 相互獨立(mutually independent), 若f (x | y) = f1 (x), x ∈ R1 或f (y | x) = f2 (y), y ∈ R2
或f (x, y) = f1 (x)f2 (y), (x, y) ∈ R2 。否則, 稱兩隨機變數X, Y為相依(dependent)。
例 3-6. Suppose that a point (X, Y ) is chosen at random from the circle S defined as follows:
1. 餅乾的重量超過0.5公斤的機率為何?
2. 若軟糖的重量為0.75公斤,試問果凍重量小於0.1公斤的機率為何?
3.7 期望值與變異數 32
解:
1.
P (餅乾的重量超過0.5公斤) = P (軟糖與果凍的重量小於0.5公斤)
= P (X + Y < 0.5)
Z 0.5 Z 0.5−x
= 24xydydx
0 0
Z 0.5
2
= 12x (0.5 − x) dx
0
= 0.0625
2. X的邊際機率密度函數為
Z 1−x
f1 (x) = 24xydy
0
= 12x − 24x2 + 12x3
3.7 期望值與變異數
3.7.1 期望值
期望值
性質
性質
證明:.
(a)
X X
E (aX ± bY ± c) = (ax ± by ± c) f (x, y)
x∈ℜ1 y∈ℜ2
X X X X X X
= axf (x, y) ± byf (x, y) ± cf (x, y)
x∈ℜ1 y∈ℜ2 y∈ℜ2 x∈ℜ1 x∈ℜ1 y∈ℜ2
X X
= axf1 (x) ± byf2 (y) ± c
x∈ℜ1 y∈ℜ2
= aEX ± bEY ± c
(c)
X X
E[g(X)h(Y )] = g(x)h(y)f (x, y)
x∈ℜ1 y∈ℜ2
3.7 期望值與變異數 34
X X
= g(x)h(y)f2 (y)f1 (x)
x∈ℜ1 y∈ℜ2
X
= g(x)E[h(Y )]f1 (x)
x∈ℜ1
= E[g(X)]E[h(Y )]
y∈ℜ2
yf ( y| x) dy , 連續型
x∈ℜ1
xf (x | y) dx , 連續型
X = {(1 − 4) , (2 − 4) , (3 − 4) , (4 − 4) , (5 − 4) , (6 − 4)}
= {−3, −2, −1, 0, 1, 2}
則
X
6
−3 × 1 −2 × 1 −1 × 1 0 × 1 1 × 1 2 × 1
EX = xf (x) = + + + + + = −0.5
x=1
6 6 6 6 6 6
X
3
x+y 3y + 6
f2 (y) = = , y = 1, 2
x=1
21 21
由定義
x+y
x+y
f (y | x) = 21 = , x = 1, 2, 3 及 y = 1, 2
2x + 3 2x + 3
21
所以
3+y
f (y | x = 3) = , y = 1, 2
9
可得
X
2
3+y 4 5 14
E[Y | X = 3] = y× =1× +2× =
y=1
9 9 9 9
1 1 1
× 2 + × (4 + µ) + × (5 + µ) = µ
6 3 6
解方程式得µ = 10
3.7.2 變異數
變異數
證明:.
3.7 期望值與變異數 36
(a)
2
Var (aX + b) = E (aX + b − E (aX + b))
2
= E (aX + b − (aµ + b))
2
= E (aX − aµ)
2
= a2 E (X − µ)
= a2 Var (X)
f (x, y) = 2, 0 ≤ x ≤ y ≤ 1
所以
2 1
f (y | x) = =
2(1 − x) 1−x
又
Z ¯1
1
1 1 1 ¯ 1+x
E[Y | X] = y dy = × y 2 ¯¯ = ,
x 1−x 1−x 2 x 2
Z ¯1
1
1 1 1 3 ¯¯ 1 + x + x2
E[Y | X] =
2
y 2
dy = × y ¯ =
x 1−x 1−x 3 x 3
因此
例 3-13. Let (X, Y ) have joint density function f (x, y) = 8xy, for 0 < x < y < 1.
解:
1. Z y
f2 (y) = 8xydx = 4y 3
0
8xy 2x
f (x|y) = 3
= 2
4y y
3.7 期望值與變異數 38
2. Z y
2x 2y
E [X|Y = y] = x 2
dx =
0 y 3
及 Z
£ ¤ y
2x y2
E X 2 |Y = y = x2 2
dx =
0 y 2
所以 µ ¶2
y2 2y y2
Var [X|Y = y] = − =
2 3 18
例 3-14. Assume that you are given the following joint density function,
(
8xy, 0 ≤ x ≤ 1, 0 ≤ y ≤ x
f (x, y) =
0, otherwise
1. Please find EX
解:
1. Z ¯x
x
1 2 ¯¯
fx = 8xydy = 8x × y ¯ = 4x3 , 0 ≤ x ≤ 1
0 2 0
Z 1
4
EX = 4x4 dx =
0 5
2. Z 1
4
EX 2 = 4x5 dx =
0 6
µ ¶2
4 4 2
Var (X) = − =
6 5 75
例 3-15. 若
1
f (x) = , −∞ < x < ∞
π (1 + x2 )
試求
1. f (x)為一機率密度函數
2. EX及Var(X)不存在
39 CHAPTER 3. 隨機變數與機率分配
解:
1.
Z ∞ Z ∞
1 2 1
dx = dx
−∞ π (1 + x2 ) π 0 1 + x2
¯∞
¯
2 ¯
= tan−1 x¯
π ¯
0
2 π
= ×
π 2
= 1
2.
Z ∞ Z ∞
x 1 2x
EX = 2)
dx = dx
−∞ π (1 + x 2π −∞ 1 + x2
¯∞
1 ¯ ¯ ¯¯
= ln ¯1 + x ¯ ¯
2
2π ¯
−∞
= ∞
所以EX不存在。又
Z ∞ Z
x2 2 ∞ x2
EX 2 = 2
dx = dx
−∞ π (1 + x ) π 0 1 + x2
Z µ ¶
2 ∞ 1
= 1− dx
π 0 1 + x2
¯∞ ¯∞
2 ¯¯ 2 −1 ¯
¯
= x¯ − tan x¯
π ¯ π ¯
0 0
= ∞
因此Var(X)亦不存在。
Rb
例 3-16. X is a continuous type r.v with p.d.f f (x), 0 < x < b <. Prove that E(X) = 0
[1 − F (x)]dx, where
F (x) is the distribution function of X.
解:
由部分積分法可得
Z ¯b Z
b ¯ b
¯
[1 − F (x)] dx = x [1 − F (x)] ¯ + xf (x) dx
0 ¯ 0
0
3.7 期望值與變異數 40
Z b
= xf (x) dx
0
= EX
例 3-17. 試證明下列二式成立
證明:.
1. 假設X, Y 均為連續隨機變數, 則
Z ∞
EE[X|Y ] = E[X|Y ]f2 (y)dy
−∞
Z ∞
Z ∞
= xf (x | y)f2 (y)dxdy
−∞ −∞
Z ∞ ½Z ∞ ¾
= x f (x, y)dy dx
−∞ −∞
Z ∞
= xf1 (x)dx
−∞
= EX
2.
所以
例 3-18. Suppose that a point X is chosen in accordance with a uniform distribution on the interval (0, 2).
After the value X = x has been observed, appoint Y is chosen. If Y is chosen in accordance with a uniform
distribution on the interval (0, x) , what is the expected value of Y ?
解: µ ¶
0+X EX 1
EY = EE [Y |X] = E = =
2 2 2
3.8 共變異數與相關係數
1. 共變異數: 定義為
σxy = Cov(X, Y ) = E[(X − µx )(Y − µy )] = E(XY ) − µx µy
95
90
85
80
75
2 3 4 5
圖 3.1: ρxy = 0
例 3-19. 試證明
1. −1 ≤ ρxy ≤ 1
證明:.
3.8 共變異數與相關係數 42
100
95
90
85
80
75
2 3 4 5
65
60
55
50
2 3 4 5
2
1. 令h (t) = E [t (X − µx ) + (Y − µy )] , 則
2 2
h (t) = t2 E (X − µx ) + E (Y − µy ) + 2tE (X − µx ) (Y − µy )
= t2 σx2 + 2tσxy + σy2
µ ¶2 2
σxy σxy
= tσx + + σy2 − 2
σx σx
2
σxy σ σxy
因此, 當t = − σx2 = −ρ σxy 時, h(t)有最小值σy2 − σx2 。又由於h(t) ≥ 0, 即
2
σxy
≤1
σx2 σy2
所以
−1 ≤ ρxy ≤ 1
2. P(Y = aX + b) = 1 即 Y = aX + b, 所以
σ
ρxy = q xy
σx2 σy2
43 CHAPTER 3. 隨機變數與機率分配
E (X − µx ) (aX + b − aµx − b)
=
|a| σx σy
aE (X − µx ) (X − µx )
=
|a| σx σy
a σxy
=
|a| σx σy
所以,
(
1, 當 a > 0
ρ=
−1, 當 a < 0
例 3-20. Let X and Y be random variable, let µx (µy ) and σx2 (σy2 ) be the mean and variance of X (Y ),
and let σxy be the covariance between X and Y .
¡ ¢
1. Show that E Y 2 = σy2 + µ2y .
2
3. Show that σxy ≤ σx2 σy2 . [Hine: One possible way to prove this needs to use Var (aX + bY ) = a2 σx2 +
2abσxy + b2 σy2 .]
解:
1.
2 ¡ ¢
σy2 = E (Y − µy ) = E Y 2 − 2µy Y + µ2y
¡ ¢
= E Y 2 − 2µy EY + µ2y
¡ ¢
= E Y 2 − µ2y
¡ ¢
故得E Y 2 = σy2 + µ2y
2.
σxy = E (X − µx ) (Y − µy ) = E (XY − µy X − µx Y + µx µy )
= E (XY ) − µy EX − µx EY + µx µy
= E (XY ) − µx µy
3.8 共變異數與相關係數 44
3.
性質
5. Cov(X, Y ) = Cov(Y, X)
9. 相關係數為一純量, 與單位無關
1. 分別得X與Y 的期望值與變異數
2. 共變數Cov(X, Y )
45 CHAPTER 3. 隨機變數與機率分配
解:
P
1. µx = EX = xf1 (x) = 15
σx2= E(X ) − µ2x = (102 × 0.3 + 152 × 0.4 + 202 × 0.3) − 152 = 15
2
P
µy = EY = yf2 (y) = 10
σy2 = E(Y 2 ) − µ2y = (52 × 0.2 + 102 × 0.6 + 152 × 0.2) − 102 = 10
2.
Cov(X, Y ) = E(XY ) − µx µy
= 10 × 5 × 0.1 + 10 × 10 × 0.2 + · · · + 20 × 15 × 0.1 − 15 × 10
= 5
3.
1
例 3-22. f (x, y) = , (x, y) = (1, 0), (0, 1), (2, 1), 試求
3
1. ρxy
2. X是否與Y 獨立
解:
1.
1 1 1
EX = 0 × +1× +2× =1
3 3 3
3.8 共變異數與相關係數 46
1 2 1 2
EY = 0 × +1× +0× =
3 3 3 3
1 1 1 2
EXY = 0 × 1 × +1×0× +2×1× =
3 3 3 3
所以, 相關係數
Cov(X, Y ) EXY − EXEY
ρxy = = =0
σx σy σx σy
2.
1 1 2
f (2, 1) = ̸= × = f1 (2) × f2 (1)
3 3 3
所以, 隨機變數X與Y 並不獨立。
例 3-24. Let X and Y denote two binary variables. Let α = P (Y = 1|X = 1) /P (Y = 0|X = 1), and
β = P (Y = 1|X = 0) /P (Y = 0|X = 0). Let θ = α/β.
解:
1. 若X與Y 獨立, 則
P (Y = 1|X = 1) P (Y = 1 and X = 1) /P (X = 1) P (Y = 1)
α= = =
P (Y = 0|X = 1) P (Y = 0 and X = 1) /P (X = 1) P (Y = 0)
及
P (Y = 1|X = 0) P (Y = 1 and X = 0) /P (X = 0) P (Y = 1)
β= = =
P (Y = 0|X = 0) P (Y = 0 and X = 0) /P (X = 0) P (Y = 0)
所以
α P (Y = 1) /P (Y = 0)
θ= = =1
β P (Y = 1) /P (Y = 0)
47 CHAPTER 3. 隨機變數與機率分配
2.
α
θ =
β
P (Y = 1 and X = 1) /P (Y = 0 and X = 1)
=
P (Y = 1 and X = 0) /P (Y = 0 and X = 0)
P (Y = 1 and X = 1) P (Y = 0 and X = 0)
=
P (Y = 1 and X = 0) P (Y = 0 and X = 1)
P (X = 1|Y = 1) P (Y = 1) P (X = 0|Y = 0) P (Y = 0)
=
P (X = 0|Y = 1) P (Y = 1) P (X = 1|Y = 0) P (Y = 0)
P (X = 1|Y = 1) P (X = 0|Y = 0)
=
P (X = 0|Y = 1) P (X = 1|Y = 0)
故可推得X與Y 獨立
證明:.
1.
Z
µ = xf (x) dx
x∈R
3.8 共變異數與相關係數 48
Z Z
= xf (x) dx + xf (x) dx
x≤kµ x>kµ
Z
≥ xf (x) dx
x>kµ
Z
≥ kµf (x) dx
x>kµ
Z
= kµ f (x) dx
x>kµ
= kµP (x > kµ)
所以
1
P (x > kµ) ≤
k
此不等式稱為馬可夫不等式(Markov’s Inequality)
2.
Z
2
σ 2
= (x − µ) f (x) dx
Zx∈R Z
2 2
= (x − µ) f (x) dx + (x − µ) f (x) dx
|x−µ|≤kσ |x−µ|>kσ
Z
2
≥ (x − µ) f (x) dx
|x−µ|>kσ
Z
≥ k 2 σ 2 f (x) dx
|x−µ|>kσ
Z
2 2
= k σ f (x) dx
|x−µ|>kσ
故得
1
P (|x − µ| > kσ) ≤
k2
證明:.
49 CHAPTER 3. 隨機變數與機率分配
1.
EX (Y − µy ) = EXY − µy EX = EXY
2
又E (Y − µy ) ≤ EY 2 , 故得
2 2
(EXY ) (EXY )
1 ≥ ρ2 = 2 ≥
EX 2 E (Y − µy ) EX 2 EY 2
所以
2
(EXY ) ≤ EX 2 EY 2
令b = σ 2 /a, 可推得
σ 2 + σ 4 /a2 σ2
P(X > a) ≤ 2 =
(a + σ 2 /a) a2 + σ2
例 3-27. Suppose a random chosen individual’s verbal score X and quantitative score Y on a nationally
administered attitude examination have joint pdf
(
2
5 (2x + 3y) , 0 ≤ x ≤ 1, 0 ≤ y ≤ 1
f (x, y) =
0, otherwise
3. Using Chebyshev’s theorem, find the interval that contains at least 5/9 of the values of X.
5. You are asked to provide a prediction T of the individual’s total score X + Y . the error of prediction is
h i
2
the mean squared error E (X + Y − T ) . What value of T minimizes the error of prediction?
3.9 動差生成函數 50
解:
1. Z 1
2 4 3
f1 (x) = (2x + 3y) dy = x +
0 5 5 5
2. Z µ ¶ Z 1µ ¶
1
4 2 3 2 4 3 3 2
EX = x + x dx = 0.5667, EX = x + x dx = 0.4
0 5 5 0 5 5
2
所以, Var (X) = EX − [EX] = 0.4 − 0.56672 = 0.0789
2
3.
1 5 3
P (|X − µ| ≤ kσ) ≥ 1 − = , 得k= .
k2 9 2
故可推得
3 √
|X − 0.5667| ≤ × 0.0789, 即 0.1454 ≤ X ≤ 0.9980
2
4. Z 0.9980
4 3
P(0.1454 ≤ X ≤ 0.9980) = x + dx = 0.9015
0.1454 5 5
5.
h i £ ¤
2
E (X + Y − T ) = E X 2 + Y 2 + T 2 + 2XY − 2XT − 2Y T
= EX 2 + EY 2 + T 2 + 2EXY − 2T EX − 2T EY
上式對T 做微分得 h i
2
dE (X + Y − T )
= 2T − 2EX − 2EY = 0,
dT
故可得T = EX + EY 。 又
Z 1 Z 1
2 6 2 6 2 2
f2 (y) = (2x + 3y) dx = y + , EY = y + ydy = 0.6.
0 5 5 5 0 5 5
3.9 動差生成函數
動差生成函數 在統計學中, 平均數及變異數是非常重要的母體特徵數。然而對於一些分配而言, 例如常態分配, 要藉
由 計算EX, EX 2 求解變異數並不是一件容易的事, 因此本節將介紹動差生成函數以幫助我們快速找出母體特徵數。
定義
51 CHAPTER 3. 隨機變數與機率分配
證明:.
假設X為離散型分配
1. 由定義可知
d X tx X
M ′ (t) = e f (x) = xetx f (x)
dt
x∈S X∈S
d ′ X
M ′′ (t) = M (t) = x2 etx f (x)
dt
X∈S
..
.
X
M (r) (t) = xr etx f (x)
X∈S
令t = 0, 則
X X X
M ′ (0) = xf (x), M ′′ (0) = x2 f (x), . . . ,M (r) (0) = xr f (x)
X∈S X∈S X∈S
2. 由上述性質可知
X X
M ′ (0) = xf (x) = EX 及 M ′′ (0) = x2 f (x) = EX 2
X∈S X∈S
所以
Var(X) = EX 2 − [EX]2 = M ′′ (0) − [M ′ (0)]2
3. 由Maclaurin Series可知
∞
X r ∞
X
(tx) xr x2 2
etx = = tr = 1 + tx + t + ···
r=0
r! r=0
r! 2!
3.9 動差生成函數 52
P
又M (r) (0) = X∈S xr f (x), 所以
∞
X M (r) (0)
M (t) = tr
r=0
r!
例 3-28. 假設隨機變數X之m.g.f.為
et
2 , t < ln2
et
1−
2
試求X之p.d.f..
解:
因為
et µ ¶2 µ ¶3
2 et et et
= + + + ···
et 2 2 2
1−
2
∞ µ ¶r
X 1
= ert
r=1
2
由定義可知 µ ¶x
1
f (x) = , x = 1, 2, ...
2
例 3-29. 假設隨機變數X的m.g.f.為
44 45 t 20 2t 10 3t 1 5t
M (t) = + e + e + e + e
120 120 120 120 120
求EX及Var(X).
解:
由定義可知X的機率分配如下
x 0 1 2 3 5
44 45 20 10 1
f (x) 120 120 120 120 120
所以
44 45 20 10 1
EX = 0× +1× +2× +3× +5×
120 120 120 120 120
= 1
53 CHAPTER 3. 隨機變數與機率分配
及
44 45 20 10 1
EX 2 = 02 × + 12 × + 22 × + 32 × + 52 ×
120 120 120 120 120
= 2
故得
Var(X) = 2 − 1 = 1
例 3-30. Suppose X and Y are independent random variables having the uniform distribution on 1, 2, . . . , N .
Compute the probability mass function of Z = X + Y .
解:
由於P(X = x) = 1/N , x = 1, 2, . . . , N , 所以X及Y 的動差生成函數分別為
¡ ¢ X N
1 tx ¡ ¢ X N
1 ty
MX (t) = E etX = e , 及 MY (t) = E etY = e
x=1
N y=1
N
因為X與Y 獨立, 所以
³ ´ ¡ ¢ ¡ ¢
MX+Y (t) = E et(X+Y ) = E etX E etY
XN
1 tx X 1 ty
N
= e e
x=1
N y=1
N
"N #
1 X tx X ty
N
= e e
N 2 i=1 y=1
1 ¡ t ¢¡ ¢
= e + e2t + e3t + . . . + eN t et + e2t + e3t + . . . + eN t
N2
1 ¡ t ¢2
= e + e2t + e3t + . . . + eN t
N2
故可推得 (
(z − 1)/N 2 , 2≤z ≤N +1
P (Z = z) =
(2N − z + 1)/N , N + 2 ≤ z ≤ 2N
2
3.9 動差生成函數 54
第4章
常用之機率分配
4.1 離散型機率分配
1. 離散型均勻分配(Uniform Distribution): 若離散隨機變數之分配具有下列機率密度函數:
1
f (x) = , x = 1, 2, . . . , N,
N
則稱其為 均勻分配。
性質
N +1
(a) EX = 2
N 2 −1
(b) Var(X) = 12
證明:.
(a)
XN
x 1 N (N + 1) N +1
EX = = =
x=1
N N 2 2
(b)
f (x) = px (1 − p)1−x , x = 0, 1
性質
(a) EX = p
證明:.
(a)
EX = 0 × p0 (1 − p)1−0 + 1 × p1 (1 − p)1−1
= p
(b)
EX 2 = 02 × p0 (1 − p)1−0 + 12 × p1 (1 − p)1−1
= p
所以
Var(X) = EX 2 − µ2 = p − p2 = P(1 − p)
(c)
X
1
1−x tx
M (t) = px (1 − p) e
x=0
= pe + 1 − p
t
其中
57 CHAPTER 4. 常用之機率分配
(a) n為重複獨立實驗次數
(b) p為每次實驗之成功機率
¡ ¢ ¡ ¢
(c) nx 為組合公式, 其中 nx = n!
x! (n−x)!
n ¡ ¢
P
n n
(d) (a + b) = x ax bn−x
x=0
(e) 當n = 1時稱為 Bernoulli 分配, 即X ∼ B(1, p), f (x) = px (1 − p)1−x , x = 0, 1
性質
(a) EX = np
(c) EX (X − 1) (X − 1) · · · (X − r + 1) = n (n − 1) (n − 2) · · · (n − r + 1) pr
n
(d) M (t) = (1 − p + pet )
iid Pn
(e) 若Xi ∼ B (1, p), i = 1, 2, ..., n, 則Y = i=1 Xi ∼ B(n, p)
證明:.
(a)
Xn µ ¶
n x n−x
EX = x p (1 − p)
x=0
x
X
n
n! n−x
= xpx (1 − p)
x=0
x! (n − x)!
X
n
n! n−x
= px (1 − p)
x=1
(x − 1)! (n − x)!
X
n
(n − 1)! n−x
= np px−1 (1 − p)
x=1
(x − 1)! (n − x)!
n−1
= nP (p + 1 − p)
= np
(b)
X
n µ ¶
n x n−x
EX (X − 1) = x (x − 1) p (1 − p)
x=0
x
X
n
n! n−x
= px (1 − p)
x=2
(x − 2)! (n − x)!
4.1 離散型機率分配 58
X
n
(n − 2)! n−x
= n (n − 1) p2 px−2 (1 − p)
x=2
(x − 2)! (n − x)!
= n (n − 1) p2
(c)
EX (X − 1) (X − 1) · · · (X − r + 1)
Xn µ ¶
n x n−x
= x (x − 1) (x − 2) · · · (x − r + 1) p (1 − p)
x=0
x
X
n
n! n−x
= x (x − 1) (x − 2) · · · (x − r + 1) px (1 − p)
x=0
x! (n − x)!
Xn
n! n−x
= px (1 − p)
x=0
(x − r)! (n − x)!
X
n
(n − r)! n−x
= n (n − 1) (n − 2) · · · (n − r + 1) pr px−r (1 − p)
x=r
(x − r)! (n − x)!
= n (n − 1) (n − 2) · · · (n − r + 1) pr
(d)
X
n
n−x tx
M (t) = px (1 − p) e
x=0
Xn
¡ ¢x n−x
= pet (1 − p)
x=0
¡ ¢n
= 1 − p + pet
(f)
³ ´
MX+Y (t) = E et(x+y)
¡ ¢
= E etx ety
¡ ¢ ¡ ¢
= E etx E ety
£ ¤n £ ¤m
= 1 − p + pet 1 − p + pet
£ ¤n+m
= 1 − p + pet
證明:.
µ ¶ µ ¶
n−1 n−1 (n − 1)! (n − 1)!
+ = +
r−1 r (r − 1)! (n − r)! r! (n − 1 − r)!
(n − 1)! × r + (n − 1)! × (n − r)
=
r! (n − r)!
(n − 1)! [r + (n − r)] (n − 1)! × n
= =
r! (n − r)! r! (n − r)!
µ ¶
n! n
= =
r! (n − r)! r
(a) 此人喜歡棒球運動的期望值為何?變異數為何?
解:
(a) 20人中只有4人吸香煙之機率?
(b) 20人中有10人或10人以上吸香煙之機率?
(c) 20人中僅有2人或2人以下吸香煙之機率?
解:
令X表示20人中吸香煙的人數, 則X ∼ B(20, 0.3)
¡20¢ 4 16
(a) P(X = 4) = 4 (0.3) (0.7) = 0.131
例 4-4. To become a PhD candidate in th IM department of NTUST, a student has to pass an entrance
exam and a qualify exam. Suppose that there are N students registered the entrance exam and each can
pass the exam with probability p independently. Only those who past the entrance exam can take the
qualify exam and each can pass the qualify exam with probability q independently. Let M be the number
of students past the entrance exam and X be the number of PhD candidates among th N students.
解:
(a) µ ¶ µ ¶
m x N m
P (X = x|M = m) = q (1 − q)m−x
及 P (M = m) = p (1 − p)N −m
x m
所以 µ ¶ µ ¶
m x m−x N
P (X = x, M = m) = q (1 − q) pm (1 − p)N −m
x m
61 CHAPTER 4. 常用之機率分配
(b)
XN µ ¶ µ ¶
m x m−x N
P (X = x) = q (1 − q) pm (1 − p)N −m
m=x
x m
X
N
m! N!
= pm (1 − p)N −m q x (1 − q)m−x
m=x
x! (m − x)! m! (N − m)!
" N #
1 X N! N −m x
= p (1 − p)
m
q (1 − q) m−x
x! m=x (m − x)! (N − m)!
" N #
1 X (N − x)! (N − x + 1) (N − x + 1) · · · N
x N −m
= (pq) (1 − p) (p − pq)m−x
x! m=x
(m − x)! (N − m)!
"N −x #
(N − x + 1) (N − x + 2) · · · N X (N − x)!
x N −x−y
= (pq) (1 − p) (p − pq) y
x! y=0
y! (N − x − y)!
(N − x + 1) (N − x + 2) · · · N
(pq) (1 − pq)N −x
x
=
µ ¶ x!
N
(pq) (1 − pq)N −x
x
=
x
(c)
EX = EE [X|M ] = E [M q] = N pq
(a) 產品的平均不良率為何?
解:
(a)
(b)
µ ¶
2
P (良品) = × 0.0150 × 0.9852
2
= 0.97023
(c)
0.75 × 0.01
P (甲 | 不良品) =
0.75 × 0.01 + 0.25 × 0.03
= 0.5
(a) X ∼ B(n, p1 )
(b) 在給定X = x條件下, Y ∼ B(n − x, p2 /(1 − p1 ))
p
(c) ρxy = − p1 p2 / (1 − p1 ) (1 − p2 )
證明:.
(a)
P (X = x)
Xµ n ¶
n−x
n−x−y
= px1 py2 (1 − p1 − p2 )
y=0
x, y
X
n−x
n! n−x−y
= px py (1 − p1 − p2 )
y=0
x!y! (n − x − y)! 1 2
n × (n − 1) × (n − 2) × · · · × (n − x + 1) x X
n−x
(n − x)! n−x−y
= p1 py2 (1 − p1 − p2 )
x! y=0
y! (n − x − y)!
X
n−x µ ¶
n × (n − 1) × (n − 2) × · · · × (n − x + 1) x n−x y n−x−y
= p1 p2 (1 − p1 − p2 )
x! y=0
y
n × (n − 1) × (n − 2) × · · · × (n − x + 1) x n−x
= p1 [(1 − p1 − p2 ) + p2 ]
x!
n! n−x
= px (1 − p1 )
x! (n − x)! 1
63 CHAPTER 4. 常用之機率分配
(b)
n−x−y
[n!/x!y! (n − x − y)!]px1 py2 (1 − p1 − p2 )
P (Y = y|X = x) = n−x
[n!/x! (n − x)!]px1 (1 − p1 )
n−x−y
(n − x)! py2 (1 − p1 − p2 )
=
y! (n − x − y)! (1 − p1 )
n−x
n−x−y
(n − x)! py2 (1 − p1 − p2 )
= y
y! (n − x − y)! (1 − p1 ) (1 − p1 )
n−x−y
µ ¶y µ ¶n−x−y
(n − x)! p2 1 − p1 − p2
=
y! (n − x − y)! 1 − p1 1 − p1
(c) 因為
X X
n n−x
n! n−x−y
EXY = xy × px py (1 − p1 − p2 )
x=0 y=0
x!y! (n − x − y)! 1 2
X n−x+1
n−2 X (n − 2)! × (n − 1) × n n−x−y
= p1 p2 px−1 py−1 (1 − p1 − p2 )
x=1 y=1
(x − 1)! (y − 1)! (n − x − y)! 1 2
n−2 X µ
X n−x+1 n−2
¶
n−x−y
= (n − 1) np1 p2 px−1 py−1 (1 − p1 − p2 )
x=1 y=1
x − 1, y − 1 1 2
= (n − 1) × np1 p2
所以
由相關係數定義可知
−np1 p2
ρxy = p p
np1 (1 − p1 ) np2 (1 − p2 )
r
p1 p2
= −
(1 − p1 ) (1 − p2 )
定理 4.1.
µ ¶ X n µ ¶µ ¶
N N1 N2
= ,
n x=0
x n−x
其中, N = N1 + N2 及n ≤ min{N1 , N2 }
證明:.
由二項式定理可知,
又上式左右兩式之y n 之係數必須相等, 所以
µ ¶ µ ¶µ ¶ µ ¶µ ¶ µ ¶µ ¶ µ ¶µ ¶
N N1 N2 N1 N2 N1 N2 N1 N2
= + + + ··· +
n 0 n 1 n−1 2 n−2 n 0
Xn µ ¶µ ¶
N1 N2
=
x=0
x n −x
及
µ ¶µ ¶
N1 N2
X
n
x n−x
µ ¶ =1
N
x=0
n
特性
K
(a) EX = n ×
N
N −n K N −K N −n
(b) Var(X) = ×n× × , 其中 N −1 稱為有限母體校正因子
N −1 N N
65 CHAPTER 4. 常用之機率分配
(c) 當 N
n
≤ 0.05時, 可以二項分配做為超幾何分配之近似值
證明:.
(a)
¡K ¢¡N −K ¢
X
n
x
EX = x ¡Nn−x
¢
x=0 n
(N −K)!
X
n K!
x!(K−x)! (n−x)!(N −K−n+x)!
= x N!
x=0 n!(N −n)!
(N −K)!
X
n K!
(x−1)!(K−x)! (n−x)!(N −K−n+x)!
= N!
x=1 n!(N −n)!
(N −K)!
n X (x−1)!(K−x)! (n−x)!(N −K−n+x)!
n (K−1)!
= K (N −1)!
N x=1
(n−1)!(N −n)!
K
= n
N
(b)
¡K ¢¡N −K ¢
X
n
x
EX (X − 1) = x (x − 1) ¡Nn−x
¢
x=0 n
(N −K)!
X
n K!
x!(K−x)! (n−x)!(N −K−n+x)!
= x (x − 1) N!
x=0 n!(N −n)!
(N −K)!
X
n K (K − 1) (K−2)!
(x−2)!(K−x)! (n−x)!(N −K−n+x)!
= N (N −1) (N −2)!
x=0 n(n−1) (n−2)!(N −n)!
(N −K)!
nK (K − 1) (n − 1) X
n (K−2)!
(x−2)!(K−x)! (n−x)!(N −K−n+x)!
=
N (N − 1) (N −2)!
x=2 (n−2)!(N −n)!
nK (K − 1) (n − 1)
=
N (N − 1)
所以
2
Var (X) = EX (X − 1) + EX − (EX)
µ ¶2
nK (K − 1) (n − 1) K K
= +n − n
N (N − 1) N N
µ ¶
K K N −n
= n 1−
N N N −1
4.1 離散型機率分配 66
(a) 抽中2個紅球之機率
(b) 至少一個紅球之機率
解:
(a) µ ¶µ ¶
6 4
2 1
P (X = 2) = µ ¶ = 0.5
10
3
(b) µ ¶µ ¶
6 4
0 3
P (X ≥ 1) = 1 − µ ¶ = 0.9667
10
3
(a) 該3個中含有1個不良品機率
(b) 平均數及變異數
解:
(b)
2 10 − 3 2 10 − 2 28
µ=3× = 0.06, σ 2 = ×3× × =
10 10 − 1 10 10 75
例 4-8. A lot of size N = 30 contains five noconforming units. What is the probability that a sample of
five units selected at a random contains exactly one noconforming unit? What is the probability that is
contains one or more noconforming units?
解:
67 CHAPTER 4. 常用之機率分配
(a) ¡5¢¡25¢
P (X = 1) = ¡30¢4
1
= 0.44384
5
(b) ¡5¢¡25¢
P (X ≥ 1) = 1 − P (X = 0) = 1 − 0¡30¢5 = 0.62717
5
例 4-9. Three cards are drawn without replacement from 12 cards (Jacks, Queens and Kings)of an
ordinary deck of 52 playing cards. Let X be the number of Kings selected and Y be the number of Jacks.
(b) Find P (X + Y ≥ 2)
(c) Find EX
解:
(a) ¡4¢¡4¢¡ ¢
4
x y 3−x−y
f (x, y) = ¡12¢ , x = 0, 1, 2, 3; y = 0, 1, 2, 3; x + y ≤ 3
3
或
Y
0 1 2 3
1 6 6 1
0 55 55 55 55
6 16 6
X 1 55 55 55
0
6 6
2 55 55
0 0
1
3 55
0 0 0
(b)
P (X + Y ≥ 2) = 1 − P (X = 0, Y = 0) − P (X = 0, Y = 1) − P (X = 1, Y = 0)
¡4¢¡4¢¡ 4 ¢ ¡4¢¡4¢¡ 4 ¢ ¡4¢¡4¢¡ 4 ¢
= 1− 0 0
¡123−0−0
¢ − 1
¡123−1−0
0
¢ − 0
¡123−0−1
1
¢
3 3 3
= 0.7636
(c)
14 28 12 1
EX = 0 × +1× +2× +3× =1
55 55 55 55
4.1 離散型機率分配 68
(d)
Y 0 1 2 3
14 28 12 1
f2 (y) 55 55 55 55
(e)
x 0 1 2
3 8 3
f (x|y = 1) 14 14 14
解:
3 4 3 4
3 4
3
解: ¡21¢¡21¢
P(6個號碼皆為奇數) = 6
¡42¢0
6
例 4-12. 全班男女生共51人,票選畢業旅行的目的地,每人限投一票,結果如下表。線以簡單隨機抽樣,抽出兩
人,若這兩人都是女生,則這兩人都想去墾丁的機率為何?
女 男
墾丁 10 10
澎湖 6 10
花東 9 6
解: ¡10¢¡15¢
2
¡25¢0 = 0.15
2
69 CHAPTER 4. 常用之機率分配
(a) 在任意兩個不重疊區間內發生次數之事件為相互獨立
(b) 在充分小的區間h內恰巧出現一次的機率為λh
(c) 在充分小的區間內出現兩次以上的機率趨近於零
e−λ λx
f (x) = , x = 0, 1, 2...
x!
性質
(a) E(X) = λ
(b) Var(X) = λ
(c) EX (X − 1) (X − 1) · · · (X − r + 1) = λr
t
−1)
(d) M (t) = eλ(e
(f) 與二項分配之關係為 µ ¶
n x µx e−µ
lim
n→∞
p (1 − p)n−x = , 其中 µ = np
p→0
x x!
證明:.
(a)
X∞
λx e−λ
EX = x
x=0
x!
X∞
λx e−λ
=
x=1
(x − 1)!
∞
X λx−1 e−λ
= λ
x=1
(x − 1)!
= λ
(b)
∞
X λx e−λ
EX (X − 1) = x (x − 1)
x=1
x!
X∞
λx e−λ
=
x=2
(x − 2)!
4.1 離散型機率分配 70
= λ2
2
所以Var (X) = EX 2 − (EX) = λ2 + λ − λ2 = λ
(c)
∞
X λx e−λ
EX (X − 1) (X − 1) · · · (X − r + 1) = x (x − 1) (x − 2) · · · (x − r + 1)
x=0
x!
X∞ X∞
λx e−λ λx−r e−λ
= = λr
x=0
(x − r)! x=r
(x − r)!
= λr
(d)
X
n
λx e−λ
M (t) = etx
x=0
x!
X
n
(λet )
x
= e−λ
x=0
x!
= e−λ eλe
t
t
−1)
= eλ(e
(e)
³ ´
MX+Y (t) = E et(x+y)
¡ ¢
= E etx ety
¡ ¢ ¡ ¢
= E etx E ety
t
−1) λ2 (et −1)
= eλ1 (e e
t
−1)
= e(λ1 +λ2 )(e
由於 n → ∞且p → 0, 因此
(n − x + 1) (n − x + 2) (n − 1) n
lim ... =1
n→∞
p→0
(n − np) (n − np) (n − np) (n − np)
¡ ¢
−µ n
又limn→∞ 1 + n = e−µ , 故得
µ ¶
n x µx e−µ
lim
n→∞
p (1 − p)n−x =
p→0
x x!
e−2 23
P(x = 3) ≈ = 0.1804
3!
¡100¢
與真實值P(X = 3) = 3 0.023 0.9897 = 0.1823相比較有些誤差, 但若n越大時, 其結果與真實值就越接近。
例 4-16. Let X be the number of flaws on the surface of a randomly selected boiler of a certain type.
Suppose X has a Poisson distribution when mean λ. However, the mean λ is unknown. Past experience
indicates that the prior probabilities of λ are P {λ = 4} = 0.3, P {λ = 5} = 0.5, and P {λ = 6} = 0.2.
(a) Given that the true mean of X is 5, what is the probability that a randomly selected boiler has at
most two flaws?
(b) Under the prior probabilities, what is the probability that a randomly selected boiler has exactly two
flaws?
(c) Suppose that a boiler was randomly selected and found that it had two flaws. Using this information,
revise the prior probabilities of λ.
解:
(a)
X
2
5x e−5
P (X ≤ 2|λ = 5) = = 0.1247
x=0
x!
(b)
P (X = 2) = P (X = 2 ∩ λ = 4) + P (X = 2 ∩ λ = 5) + P (X = 2 ∩ λ = 6)
= P (λ = 4) P (X = 2|λ = 4) + P (λ = 5) P (X = 2|λ = 5)
+P (λ = 6) P (X = 2|λ = 6)
42 e−4 52 e−5 62 e−6
= 0.3 × + 0.5 × + 0.2 ×
2! 2! 2!
= 0.095
(c)
P (X = 2 ∩ λ = 4)
P (λ = 4|X = 2) =
P (X = 2 ∩ λ = 4) + P (X = 2 ∩ λ = 5) + P (X = 2 ∩ λ = 6)
0.3 × 42 e−4 /2!
=
0.3 × 4 e /2! + 0.5 × 52 e−5 /2! + 0.2 × 62 e−6 /2!
2 −4
= 0.4627,
73 CHAPTER 4. 常用之機率分配
P (X = 2 ∩ λ = 5)
P (λ = 4|X = 2) =
P (X = 2 ∩ λ = 4) + P (X = 2 ∩ λ = 5) + P (X = 2 ∩ λ = 6)
0.5 × 52 e−5 /2!
=
0.3 × 42 e−4 /2! + 0.5 × 52 e−5 /2! + 0.2 × 62 e−6 /2!
= 0.4433,
and
P (X = 2 ∩ λ = 6)
P (λ = 4|X = 2) =
P (X = 2 ∩ λ = 4) + P (X = 2 ∩ λ = 5) + P (X = 2 ∩ λ = 6)
0.2 × 62 e−6 /2!
=
0.3 × 4 e /2! + 0.5 × 52 e−5 /2! + 0.2 × 62 e−6 /2!
2 −4
= 0.0939
例 4-17. f (x) is a p.d.f, f (x) > 0, given that f (x) = 4f (x − 1) /x, x = 1, 2, 3, . . ., find f (x)
解:
其中
(a) x為重複獨立實驗次數
(b) p為每次實驗之成功機率
4.1 離散型機率分配 74
性質
證明:.
(a)
(b) 令
∞
X x 1
g (p) = (1 − p) =
x=0
p
則
∞
X 1
g ′ (p) = −
x−1
x (1 − p) =−
x=1
p2
∞
X 2
g ′′ (p) =
x−2
x (x − 1) (1 − p) =
x=1
p3
所以,
∞
X x−1
EX = xP (1 − p)
x=1
X∞
x−1
= p x (1 − p)
x=1
1
= p×
p2
1
=
p
75 CHAPTER 4. 常用之機率分配
(c)
∞
X x−1
EX (X − 1) = x (x − 1) P (1 − p)
x=2
∞
X x−2
= P (1 − p) x (x − 1) (1 − p)
x=2
2
= P (1 − p) ×
p3
2p − 2p2
=
p3
故得
2
Var (X) = EX (X − 1) + EX − (EX)
2p − 2p2 1 1
= + − 2
p3 p p
1−p
=
p2
(d)
∞
¡ ¢ X
M (t) = E etx = P(1 − p)x−1 etx
x=1
∞
X ¡ ¢x−1 t
= P(1 − p)x−1 et e
x=1
∞
X ¡ ¢x−1
= pet (1 − p)et
x=1
pet
=
1 − (1 − p)et
(e)
P (X > x + y ∩ X > x) P (X > x + y)
P (X > x + y|X > x) = =
P (X > x) P (X > x)
x+y
P (1 − p)
= x
P (1 − p)
y
= (1 − p)
= P (X > y)
例 4-18.
4.1 離散型機率分配 76
解:
(a) X ∼ Geometric(1/6), 所以
1 1−p
EX = = 6, Var(X) = = 30
p p2
(b)
µ ¶2
5 11
P(投擲一對骰子至少出現一個點數3) = 1 − =
6 36
所以X ∼ Geometric(11/36)
1 36 1−p 900
EX = = , Var(X) = 2
=
p 11 p 121
(c) µ ¶n
5
P(投擲 n 個骰子至少出現一個點數3) = 1 −
6
n
所以X ∼ Geometric(1 − (5/6) ), 又
1
n ≤2
1 − (5/6)
得n = 4
例 4-19. A company puts six types of collectable into their product boxes, one in each box and in equal
proportions. If a customer decides to collect all six of the collectable, what is the expected number of the
product boxes that he or she should buy?
解: 令Xi 表第i個收藏物, 所以Xi ∼ Geometric(1 − i−1
6 ), 所以
1 1 1 1 1 1
E (X1 + X2 + X3 + X4 + X5 + X6 ) = + + + + +
1 5/6 4/6 3/6 2/6 1/6
= 14.7
(a) x為重複獨立實驗次數
(b) p為每次實驗之成功機率
性質
r
(a) EX =
p
r(1 − p)
(b) Var(X) =
p2
· ¸r
pet
(c) M (t) =
1 − (1 − p)et
(d) 當r = 1時, 則負二項分配與幾何分配相同。
證明:.
(a)
X∞ µ ¶
x−1 r
EX = x p (1 − p)x−r
x=r
r − 1
∞
X (x − 1)!
= x pr (1 − p)x−r
x=r
(r − 1)!(x − r)!
X∞
x(x − 1)! pr
= pr (1 − p)x−r
x=r
(r − 1)!(x − r)! pr
∞
X
r x!
= pr+1 (1 − p)x−r
p x=r r!(x − r)!
令w = x + 1, 則上式可寫成
∞ µ ¶
r X w−1
EX = pr+1 (1 − p)w−(r+1)
p w=r+1 r + 1 − 1
r
=
p
(b)
∞
X µ ¶
x−1 r
EX(X + 1) = x(x + 1) p (1 − p)x−r
x=r
r − 1
∞
X x(x + 1)(x − 1)!
= pr (1 − p)x−r
x=r
(r − 1)!(x − r)!
X∞
x(x + 1)(x − 1)! r p2 r(r + 1)
= p (1 − p)x−r 2
x=r
(r − 1)!(x − r)! p r(r + 1)
4.1 離散型機率分配 78
∞
r(r + 1) X (x + 1)!
= pr+2 (1 − p)x−r
p2 x=r
(r + 1)!(x − r)!
令w = x + 2, 則上式可寫成
∞ µ ¶
r(r + 1) X w−1
EX(X + 1) = pr+2 (1 − p)w−(r+2)
p2 w=r+2
r + 2 − 1
r(r + 1)
=
p2
所以,
(c)
∞ µ
X ¶
¡ ¢ x−1
M (t) = E e tx
= pr (1 − p)x−r etx
x=1
r−1
∞ µ
X ¶
x−1 ¡ ¢x−r ¡ t ¢r
= pr (1 − p)x−r et e
x=1
r−1
∞
X
¡ ¢
t r
£ ¤x−r
= pe (1 − p)et
x=1
又由 Maclaurin Series 可知
∞ µ
X ¶
−r r r(r + 1) 2 r(r + 1)(r + 2) 3 r+k−1 k
(1 − w) =1+ w+ w + w + ··· = w
1! 2! 3! r−1
k=0
令x = k + r, 所以
∞ µ ¶
¡ t ¢r X x−1 £ ¤x−r
M (t) = pe (1 − p)et
x=1
r−1
∞ µ ¶
¡ t ¢r X r+k−1 £ ¤k
= pe (1 − p)et
r−1
k=0
· ¸r
pet
=
1 − (1 − p)et
79 CHAPTER 4. 常用之機率分配
解:
X ∼ N B(0.8, 10), 所以 µ ¶
x−1
f (x) = 0.810 0.2x−10 , x = 10, 11, ...
9
r 10 r(1 − p) 10 × 0.2
EX = = = 12.5, Var(X) = = = 3.125
p 0.8 p2 0.64
解: 令X表第二次撥放比利喬的歌曲所必須撥放的歌數,所以X ∼ N B( 16 , 2)
4 µ
X ¶ µ ¶2 µ ¶x−2
x−1 1 5
P (X ≤ 4) =
x=2
2−1 6 6
= 0.13194
4.2 連續型機率分配
1. 連續型均勻分配 (Uniform Distribution): X有均勻分配, 以X ∼ U (a, b)表示之, 其中0 ≤ a ≤ b < ∞。
其p.d.f.為
1
f (x) = , a<x<b
b−a
特性
(b) 對稱
(c) 機率密度函數為一常數
性質
4.2 連續型機率分配 80
a+b
(a) E(X) =
2
(b − a)2
(b) Var(X) =
12
x−a
(c) F (X) = P(X ≤ x) =
b−a
證明:.
(a)
Z b
x
EX = xdx
a b−a
¯b
1 1 2 ¯¯
= × x
b−a 2 ¯ a
1 b2 − a2
= ×
b−a 2
a+b
=
2
(b)
Z b
(x − EX)2
Var(X) = dx
a b−a
Z b
x2
= dx − (EX)2
a b−a
¯b
1 1 ¯ a2 + 2ab + b2
= × x3 ¯¯ −
b−a 3 4 a
a2 + ab + b2 a2 + 2ab + b2
= −
3 4
a2 − 2ab + b2
=
12
(b − a)2
=
12
(c)
Z x
1
F (X) = dt
b − a
a
¯x
t ¯¯
=
b − a¯ a
x−a
=
b−a
81 CHAPTER 4. 常用之機率分配
T λT
E (X) = EE (X|Y ) = Eλt = λ × =
2 2
1 −x
f (x) = e θ, 0 ≤ x < ∞
θ
特性
0.2
0.15
0.1
0.05
5 10 15 20 25 30
圖 4.1: 指數分配圖
性質
(a) E(X) = θ
4.2 連續型機率分配 82
(b) Var(X) = θ2
證明:.
(a)
Z ∞
1 x
EX = x e− θ dx
θ
0
¯∞ Z ∞
x¯
−θ ¯
e− θ dx
x
= −xe ¯ +
0
¯∞0
¯
−θe− θ ¯¯
x
=
0
= θ
(b)
Z ∞
1 x
EX 2
= x2 e− θ dx
θ
0
¯∞ Z
¯ ∞
2 −x ¯
= −x e ¯ + 2
θ xe− θ dx
x
0 0
= 2θ2
所以
Var(X) = EX 2 − (EX)2 = θ2
(c)
Z ∞
1 x
M (t) = etx e− θ dx
θ
Z0 ∞
1 − (1−θt)x
= e θ dx
0 θ
Z ∞
1 (1−θt)x (1 − θt) x
= e− θ d
(1 − θt) 0 θ
µ ¯∞ ¶
1 (1−θt)x ¯
= −e− θ ¯¯
(1 − θt) 0
−1
= (1 − θt)
83 CHAPTER 4. 常用之機率分配
(d)
P (X > x + y ∩ X > x)
P (X > x + y | X > x) =
P (X > x)
P (X > x + y)
=
P (X > x)
R ∞ 1 −s
θe
θ ds
= Rx+y
∞ 1 −s
x θ
e θ ds
x+y
e− θ
=
e− θ
x
= P (X > y)
(e) 令X表單位時間內事件發生之次數, 則
F (w) = P (W < w)
= 1 − P (W ≥ w)
= 1 − P (在W 時間內出現0次)
= 1 − P (X = 0)
(λw) e−λw
0
= 1−
0!
= 1 − e−λw
所以,
d
f (w) = F (w) = λe−λw
dw
且指數分配之參數θ = 1
λ
例 4-23. A manufacturer of electronic calculators offers a one-year warranty. If the calculator fails for any
reason during this period, it is replaced. The time to failure is well modeled by the following probability
distribution:
f (x) = 0.125e−0.125x , x > 0.
What percentage of the calculators will fail within the warranty period?
解: Z 1
0.125e−0.125x dx = 1 − e− 8
1
P (X ≤ 1) =
0
4.2 連續型機率分配 84
解:
一般將其p.d.f.寫成
1
wα−1 e− θ , 0 ≤ w < ∞
w
Γ(α)θ α
證明:.
令X表單位時間內出現x次之事件, 則
F (w) = P (W < w)
= 1 − P (W ≥ w)
= 1 − P (在W 時間內出現最多α − 1次)
= 1 − P (X ≤ α − 1)
X
α−1
(λw) e−λw
x
= 1−
x=0
x!
85 CHAPTER 4. 常用之機率分配
所以,
d
f (w) = F (w)
dw
Xµ
α−1
x(λw)x−1 λ λ(λw)x
¶
= λe−λw − λe−λw −
x=1
x! x!
X (λw)x−1 λ λ(λw)x ¶
α−1 µ
−λw −λw
= λe − λe −
x=1
(x − 1)! x!
½ ¾
−λw −λw (λw)2 (λw)2 (λw)α−2 (λw)α−1
= λe − λe 1 − λw + λw − + + ... + −
2! 2! (α − 2)! (α − 1)!
α−1
(λw)
= λe−λw
(α − 1)!
1
wα−1 e− θ
w
=
Γ(α)θα
0.10
0.08
0.06
0.04
0.02
5 10 15 20 25
定理 4.2. Z ∞
Γ (α) = xα−1 e−x dx, α為任一正整數。
0
證明:.
由部分積分法可求得
Z ∞
Γ (α) = xα−1 e−x dx
0
¯∞ Z ∞
¯
α−1 −x ¯
= −x e ¯ + (α − 1) xα−2 e−x dx
0
¯∞0
Z ∞
¯
α−2 −x ¯
= −x e ¯ + (α − 1)(α − 2) xα−2 e−x dx
0 0
4.2 連續型機率分配 86
..
.
Z ∞
= (α − 1)! e−x dx
0
= (α − 1)! = (α − 1)Γ(α − 1)
所以,
Z ∞ Z ∞ ³ w ´α−1
1 α−1 − w w
e− θ d
w
w e θ dw =
0 θα 0 θ θ
= Γ(α)
Z ∞
1
wα−1 e− θ = 1
w
0 Γ(α)θα
特性
性質
(a) EW = αθ
證明:.
(a)
Z ∞
w
wα−1 e− θ dw
w
EW = α
0 Γ(α)θ
Z ∞
1
wα e− θ dw
w
= α
Γ(α)θ 0
87 CHAPTER 4. 常用之機率分配
Z ∞ ³ ´α
θ w w
e− θ d
w
=
Γ(α) 0 θ θ
θ
= × Γ(α + 1) = αθ
Γ(α)
(b)
Z ∞
w2
wα−1 e− θ dw
w
EW 2 = α
0 Γ(α)θ
Z ∞
1
wα+1 e− θ dw
w
= α
Γ(α)θ 0
Z ∞ ³ ´α+1
θ2 w w
e− θ d
w
=
Γ(α) 0 θ θ
θ2
= × Γ(α + 2) = α(α + 1)θ
Γ(α)
所以,
Var(W ) = α(α + 1)θ2 − α2 θ2 = αθ2
(c)
Z ∞
etw
wα−1 e− θ dw
w
M (t) = α
0 Γ(α)θ
Z ∞
1 (1−θt)w
= α
wα−1 e− θ dw
Γ(α)θ 0
µ ¶α−1 Z ∞ µ ¶α−1
1 θ (1 − θt)w (1−θt)w
= e− θ dw
Γ(α)θα (1 − θt) 0 θ
µ ¶α−1 Z ∞µ ¶α−1
1 θ θ (1 − θt) (1−θt)w (1 − θt)w
= e− θ d
Γ(α)θ α (1 − θt)w (1 − θt) 0 θ θ
µ ¶α−1
1 θ θ
= Γ(α)
Γ(α)θα (1 − θt)w (1 − θt)
−α
= (1 − θt)
(d)
³ ´ ¡ ¢ ¡ ¢
MX+Y (t) = E et(X+Y ) = E etX E etY
−α1 −α2
= (1 − θt) (1 − θt)
−(α1 +α2 )
= (1 − θt)
所以, X + Y ∼ Gamma(α1 + α2 , θ)
4.2 連續型機率分配 88
例 4-25. Suppose that a certain examination is to be taken by five students independently of one another,
and that the number of minutes required by and particular student to complete the examination has an
exponential distribution for which the mean is 80. Suppose that the examination begins at 9:00 A.M.
(a) Determine the probability that at least one of the students will complete the examination before 9:30
A.M.
(b) Determine the probability that no two students will complete the examination within 10 minutes of
each others.
解:
又
1 1
λ= =
θ 80
¡ 10 ¢0
e− 80
10
80
P (Z = 0) = = 0.8825
0!
特性
性質
(a) E(X) = µ
89 CHAPTER 4. 常用之機率分配
0.4
0.3
0.2
0.1
-4 -2 2 4
圖 4.3: 標準常態分配圖
(b) Var(X) = σ 2
σ 2 t2
(c) M (t) = eµt+ 2
(d) 若X ∼ N (µ, σ 2 ), 令Z =
, 則Z ∼ N (0, 1), 其中Z稱為標準常態分配, 其平均數為0, 變異數為1。
X−µ
σ
Pn
(e) 設有n個獨立的隨機變數X1 , X2 , ..., Xn , 其分配分別為N (µi , σi2 ), i = 1, 2, ..., n, 令Y = i=1 ai Xi , ai 為
常數 則 Ã n !
X X
n
Y ∼N ai µi , a2i σi2
i=1 i=1
Rz h i
−(x−µ) 2
(f) Φ(z) = −∞
√ 1
2πσ 2
exp 2σ 2 dx, −∞ < x < ∞
i. 當ai = 1, ∀ i = 1, 2, . . . , n, 則
à n !
X
n X X
n
Y = Xi ∼ N µi , σi2
i=1 i=1 i=1
ii. 當ai = n, ∀ i
1
= 1, 2, . . . , n, 則
à n !
X
n
Xi X µi X
n
σ2
Y = =X∼N , i
i=1
n i=1
n i=1
n2
證明:.
(a)
Z " #
∞ 2
x (x − µ)
EX = √ exp − dx
−∞ 2πσ 2 2σ 2
4.2 連續型機率分配 90
Z " #
∞ 2
x−µ+µ (x − µ)
= √ exp − dx
−∞ 2πσ 2 2σ 2
Z " # Z ∞ " #
∞ 2 2
x−µ (x − µ) µ (x − µ)
= √ exp − dx + √ exp − dx
−∞ 2πσ 2 2σ 2 −∞ 2πσ 2 2σ 2
令y = x − µ, 則上式可寫成
Z ∞ · ¸
y y2
EX = √ exp − 2 dy + µ
−∞ 2πσ 2 2σ
= µ
2 √
(b) 在證明E (X − µ) = σ 2 之前, 我們首先證明Γ (1/2) = π
由 Gamma 函數可知 µ ¶ Z ∞
1
x 2 −1 e−x dx
1
Γ =
2 0
令x = z 2 , Gamma 函數可改寫成
µ ¶ Z ∞
1
x 2 −1 e−x dx
1
Γ =
2
Z0 ∞
1 −z2
= e 2zdz
z
Z ∞
0
e−z dz
2
= 2
0
故可求得
· µ ¶¸2 Z Z ∞
∞
1
e−x dx e−y dy
2 2
Γ = 4
2
Z0 ∞ Z ∞ 0
e−(x +y ) dxdy
2 2
= 4
0 0
Z π
2
Z ∞
re−(r ) drdθ
2
= 4
0 0
Z ¯∞
−1 −r2 ¯¯
π
2
= 4 e ¯ dθ
0 2 0
Z π
2 1
= 4 dθ
0 2
π
= 4× =π
4
√
所以Γ (1/2) = π, 又
Z " #
∞ 2 2
2 (X − µ) (x − µ)
E (X − µ) = √ exp − dx
−∞ 2πσ 2 2σ 2
91 CHAPTER 4. 常用之機率分配
√ Z ∞ " #
2 2
2 (X − µ) (x − µ)
= √ exp − dx
π 0 σ 2σ 2
√ 2Z ∞ " #
2 2
2σ (X − µ) (x − µ) x−µ
= √ exp − d
π 0 σ2 2σ 2 σ
Z " #
4σ 2 ∞ (X − µ)
2 2
(x − µ) x−µ
= √ exp − d√
π 0 2σ 2 2σ 2 2σ
2 Z ∞ 2 Z ∞
4σ 4σ dz
y 2 e−y dy = √ ze−z √
2
= √
π 0 π 0 2 z
Z µ ¶
2σ 2 ∞ 1 −z 2σ 2 3
= √ z e dz =
2 √ Γ
π 0 π 2
2
µ ¶
2σ 1 1
= √ × ×Γ = σ2
π 2 2
(c)
Z " #
∞ 2
1 (x − µ)
M (t) = exp [tx] √ exp − dx
−∞ 2πσ 2 2σ 2
Z ∞ · 2 ¸
1 x − 2µx + µ2 − 2txσ 2
= √ exp − dx
−∞ 2πσ 2 2σ 2
Z ∞ " ¡ ¢ #
1 x2 − 2 µ + σ 2 t x + µ2
= √ exp − dx
−∞ 2πσ 2 2σ 2
Z ∞ " £ ¡ ¢¤2 ¡ ¢2 #
1 x − µ + σ2 t + µ2 − µ + σ 2 t
= √ exp − dx
−∞ 2πσ 2 2σ 2
· ¸Z ∞ ( £ ¡ ¢¤2 )
2µσ 2 t + σ 4 t2 1 x − µ + σ2 t
= exp √ exp − dx
2σ 2 −∞ 2πσ 2 2σ 2
· ¸
σ 2 t2
= exp µt +
2
(d)
(e)
( " #)
X
n
MY (t) = E {exp [ty]} = E exp t ai xi
i=1
= E {exp [ta1 x1 ] exp [ta2 x2 ] · · · exp [tan xn ]}
= E {exp [ta1 x1 ]} E {exp [ta2 x2 ]} · · · E {exp [tan xn ]}
· ¸ · ¸ · ¸
a2 σ 2 t2 a2 σ 2 t2 a2 σ 2 t2
= exp a1 µ1 t + 1 1 exp a2 µ2 t + 2 2 · · · exp an µn t + n n
2 2 2
" n P #
X n 2 2
a σ t 2
= exp ai µi t + i=1 i i
i=1
2
¡Pn Pn ¢
所以, Y ∼ N i=1 ai µi , i=1 a2i σi2
所以, 此種產品約有4.56%的比率不被接受。
(a) 考試成績為300分者約為第幾名?
(b) 最低錄取分數為多少分?
解:
93 CHAPTER 4. 常用之機率分配
(b) 設最低錄取分數為x0 , 則
µ ¶
x0 − 126 500
P (X ≥ x0 ) = P Z ≥ = = 0.1582
64 3160
查表得 x0 −126
64 ≈ 1.002, 故x0 ≈ 126 + 1.002 × 64 = 190.13
最低錄取分數大約為190分。
k
例 4-28. Let the k th standardized moment of X be E {(X − µ) /σ} , where µ = EX and σ is standard
deviation of X.
(a) Explain in word the meaning of the first four standardized moments.
(b) What are the first four standardized moment for a normal random variable.
解:
(a) i. 為將隨機變數X經標準化轉換後之期望值。
ii. 為將隨機變數X經標準化轉換後之變異數。
iii. 為將隨機變數X經標準化轉換後之偏態係數, EZ 3 > 0則為右偏, EZ 3 < 0則為左偏, EZ 3 = 0則對稱分
配。
iv. 為將隨機變數X經標準化轉換後之峰態係數, EZ 4 > 3則為高峽峰, EZ 3 < 3則為低闊峰, EZ 4 = 3則常態
峰。
M ′ (0) = 0,
M ′′ (0) = 1,
4.2 連續型機率分配 94
M (3) (0) = 0,
M (4) (0) = 3
例 4-29. Suppose that X is a random variable for which EX = 1, EX 2 = 4 and EX 3 = 10. Find the
value of the third central moment of X.
解:
由題意可知σ 2 = EX 2 − µ2 = 4 − 1 = 3, 故
µ ¶3 µ 3 ¶
X −µ X − 3µX 2 + 3µ2 X − µ3
E = E
σ σ3
¡ 3 ¢
E X − 3µX + 3µ2 X − µ3
2
=
σ3
EX − 3EX + 3EX − 1
3 2
= √
3 3
10 − 3 × 4 + 3 − 1
= √
3 3
= 0
³ ´ ³ ´
例 4-30. 若ln X ∼ N (u, σ 2 ),試證明P (a < X < b) = Φ ln b−µ
σ −Φ ln a−µ
σ 。
解:
0.6
0.5
0.4
0.3
0.2
0.1
1 2 3 4
圖 4.4: 卡方分配圖
性質
(a) E(X) = r
(b) Var(X) = 2r
(c) 若X ∼ χ2 (r1 ), Y ∼ χ2 (r2 )且X與Y 相互獨立, 則X + Y ∼ χ2 (r1 + r2 )
(d) 若隨機變數Z ∼ N (0, 1), 則Z 2 ∼ χ2 (1)
iid ¡ ¢
(e) 設Xi ∼ N µ, σ 2 , 則
(n − 1)S 2
∼ χ2 (n − 1),
σ2
Pn 2
(Xi −X )
其中S 2 = i=1
n−1 且X與S 2 獨立。
Γ (α + β) α−1 β−1
f (x) = x (1 − x) , 0 < x < 1, α > 0, β > 0
Γ (α) Γ (β)
定理 4.3. Z 1
Γ (α) Γ (β) β−1
= xα−1 (1 − x) dx, α > 0, β > 0
Γ (α + β) 0
4.2 連續型機率分配 96
2.0
1.5
1.0
0.5
證明:. 由分部積分法可知
Z 1 ¯1 Z 1
β−1 1 α β ¯¯ α β
xα−1 (1 − x) dx = − x (1 − x) ¯ + (1 − x) xα−2 dx
0 β 0 0 β
Z
α−1 1 β
= (1 − x) xα−2 dx
β 0
Z
(α − 1) (α − 2) 1 β+1 α−3
= (1 − x) x dx
β (β + 1) 0
..
.
Z 1
(α − 1) · · · 2 × 1 (α+β−2) 0
= (1 − x) x dx
β (β + 1) · · · (β + α − 3) (β + α − 2) 0
(α − 1) · · · 2 × 1 1
=
β (β + 1) · · · (β + α − 2) (β + α − 2) β + α − 1
Γ (α) Γ (β)
=
Γ (α + β)
特性
性質
(a) EX = α/ (α + β)
h i
2
(b) Var (X) = αβ/ (α + β) (α + β + 1)
R p Γ(α+β) α−1 β−1 Pα+β−1 ¡α+β−1¢ x α+β−1−x
(c) 0 Γ(α)Γ(β) x (1 − x) dx = x=α x p (1 − p)
97 CHAPTER 4. 常用之機率分配
證明:.
(a)
Z 1
Γ (α + β) α−1 β−1
EX = x× x (1 − x) dx
0 Γ (α) Γ (β)
Z 1
Γ (α + β) β−1
= xα (1 − x) dx
Γ (α) Γ (β) 0
Z 1
Γ (α + β) β−1
= x(α+1)−1 (1 − x) dx
Γ (α) Γ (β) 0
Γ (α + β) Γ (α + 1) Γ (β)
=
Γ (α) Γ (β) Γ (α + 1 + β)
α
=
α+β
(b)
Z 1
Γ (α + β) α−1 β−1
EX 2 = x2 × x (1 − x) dx
0 Γ (α) Γ (β)
Z 1
Γ (α + β) β−1
= xα+1 (1 − x) dx
Γ (α) Γ (β) 0
Z 1
Γ (α + β) β−1
= x(α+2)−1 (1 − x) dx
Γ (α) Γ (β) 0
Γ (α + β) Γ (α + 2) Γ (β)
=
Γ (α) Γ (β) Γ (α + 2 + β)
α (α + 1)
=
(α + β) (α + β + 1)
所以
µ ¶2
α (α + 1) α
Var (X) = −
(α + β) (α + β + 1) α+β
αβ
= 2
(α + β) (α + β + 1)
(c) 由部分積分法可求得
Z p
Γ (α + β) α−1 β−1
x (1 − x) dx
0 Γ (α) Γ (β)
" Z #
β
(α + β − 1)! pα−1 (1 − p) α − 1 p α−2 β
= − + x (1 − x) dx
(α − 1)! (β − 1)! β β 0
"
β β+1
(α + β − 1)! pα−1 (1 − p) (α − 1) pα−2 (1 − p)
= − −
(α − 1)! (β − 1)! β β (β + 1)
4.2 連續型機率分配 98
Z ¸
(α − 1) (α − 2) p α−3 β+1
+ x (1 − x) dx
β (β + 1)
"0
β β+1
(α + β − 1)! pα−1 (1 − p) (α − 1) pα−2 (1 − p)
= − − − ···
(α − 1)! (β − 1)! β β (β + 1)
Z p #
α+β−2
(α − 1) · · · 2 × p1 × (1 − p) (α − 1) × · · · × 1 α+β−2
− + x (1 − x)
0
dx
β (β + 1) · · · (β + α − 2) β (β + 1) · · · (β + α − 2) 0
µ ¶ µ ¶
α+β−1 0 α+β−1 α + β − 1 α−1 β
= 1− p (1 − p) − p (1 − p)
0 α−1
µ ¶ µ ¶
α + β − 1 α−2 β+1 α+β−1 1 α+β−2
− p (1 − p) − ··· − p (1 − p)
α−2 1
X µα + β − 1¶
α−1
α+β−1−x
= 1− px (1 − p)
x=0
x
X µα + β − 1¶
α+β−1
α+β−1−x
= px (1 − p)
x=α
x
例 4-31. A quality control plans an assemble line involves sampling n finishing items per day and counting the
number of defectives. If p denote the probability of observing a defective then Y has a binomial distribution,
assuming that a large number of items are produced by the line. But p varies form day to day and is assumed
to have a uniform distribution on the interval from 0 to 1
解:
所以Y 的邊際機率密度函數為
Zµ ¶1
n y n−y
h1 (y) = p (1 − p) dp
0 y
µ ¶Z 1
n (n−y+1)−1
= p(y+1)−1 (1 − p) dp
y 0
99 CHAPTER 4. 常用之機率分配
n! Γ (y + 1) Γ (n − y + 1)
= ×
y! (n − y)! Γ (y + 1 + n − y + 1)
n! y! (n − y)!
= ×
y! (n − y)! (n + 1)!
1
= , y = 0, 1, 2, . . . , n
n+1
2.
X
n
y 1
EY = = × (0 + 1 + 2 + · · · + n)
y=0
n+1 n+1
1 n+1
= ×
n+1 2
1
=
2
又
Xn
y2 1 ¡ ¢
EY 2 = = × 02 + 12 + 22 + · · · + n2
y=0
n+1 n+1
1 n (n + 1) (2n + 1)
= ×
n+1 6
n (2n + 1)
=
6
所以
2
Var (Y ) = EY 2 − (EY )
n (2n + 1) 1
= −
6 4
4n2 + 2n − 3
=
12
4.3 混合分配
若隨機變數之機率分配為由連續型及離散型分配所共同組成, 則稱該機率分配為混合分配(Mixed Distribution), 即
該分配在之c.d.f.在特定點並不連續。茲以下例說明之:
和
0 , x≤0
x
2 , 0<x<1
F (x) =
1
, 1≤x<2
2
1 , 2≤x
又 Z Z
1 1
x 1 1 5 x2 1 1 13
EX = dx + 2 × = + 1 = , EX 2 = dx + 22 × = + 2 =
0 2 2 4 4 0 2 2 6 6
因此,
2 13 25 29
Var (X) = EX 2 − [EX] = − =
6 16 48
所以
Z 60
40 x
EX = 0 × + dx = 18,
100 0 100
Z 60
40 x2
Var(X) = EX − [EX] = 0 ×
2 2 2
+ dx − 182 = 720 − 324 = 396
100 0 100
4.4 變數變換
定理 4.4. X為一隨機變數, F (x)為隨機變數之分配函數。令Y = F (X), 若F (x)為一嚴格單調遞增函數, 則
Y ∼ U (0, 1)
證明:.
由於F (x)為一嚴格單調函數,
所以,
故可推得Y ∼ U (0, 1)
證明:.
由微積分基本定理可知
又機率密度函數必須為正數, 所以
1. 令Y = eX , 求V 之p.d.f.
2. 令Y = X 2 , 求V 之p.d.f.
解:
2.
¡ ¢
G (v) = P (Y ≤ y) = P X 2 ≤ y
√ √
= P (− y ≤ X ≤ y)
Z y
√ · 2¸
1 x
= √ exp − dx, 0 ≤ x ≤ ∞
√ 2π 2
− y
所以, 由微積分基本定理得知
" √ # " ¡ √ ¢2 #
′ 1 y2 1 1 − y −1
G (y) = g (y) = √ exp − × √ − √ exp − × √
2π 2 2 y 2π 2 2 y
1 1 h yi
= √ √ exp −
2π y 2
1 h yi
¡ 1 ¢ 1 y 2 −1 exp − , 0 ≤ y ≤ ∞
1
=
Γ 2 22 2
故Y ∼ χ2 (1)
103 CHAPTER 4. 常用之機率分配
由於
1
x− 2 e− 2
1 x
¡1¢ 1
Γ 2 22
為卡方自由度1之p.d.f., 故可得0.5k = χ20.05 (1)。又Z 2 ∼ χ2 (1)且
¡ ¢ ¡ ¢
P (|Z| > z) = P Z 2 > z 2 = P χ2 (1) > z 2 = 0.05
故可推得
k
= χ20.05 (1) = z0.025
2
= 1.962 , 即 k = 7.6832
2
例 4-36. Let the independent random variables X1 and X2 be N (0, 1) and χ2 (1), respectively. Let
√
Y1 = X1 / X2 and Y2 = X2 .
解:
又 ° ° ° °
° ° ° √ °
°
∂X1 ∂X1
° ° Y2 − 2√
Y1 ° p
|J| = ° ∂Y1 ∂Y2
° °
= ° Y2 ° = Y2
° ° ° 0 °
∂X2
∂Y1
∂X2
∂Y2 1 °
4.4 變數變換 104
所以
µ 2 ¶ ³ y ´
1 y y 1 −1
g (y1 , y2 ) = √ √ exp − 1 2 √ √ y2 2 exp − 2 |J|
2 π 2 2 π 2
" ¡ ¢#
2
1 y2 1 + y1
= exp − , −∞ < y1 < ∞, 0 < y1 < ∞
2π 2
2.
Z " ¡ ¢#
∞
1 y2 1 + y12
g1 (y1 ) = exp − dy2
0 2π 2
" ¡ ¢ #¯∞
1 −2 y2 1 + y12 ¯¯
= exp − ¯
2π 1 + y12 2 ¯
· ¸ 0
1 2
= 0+
2π 1 + y12
1
= , −∞ < y1 < ∞
π (1 + y12 )
iid
例 4-37. 給定Xi ∼ N (0, 1) ,試求算Y = X1 /|X2 |的機率分配為何?
√
解:令W = X22 , 則Y = X1 / W 。證明同上
¡ ¢
例 4-38. Let X1 , X2 be random variables distributed as normal N 0, σ 2 and let T = X12 + X22
解:
¡ ¢
1. 令Y = X12 + X22 /σ 2 , 可推得
µ ¶2 µ ¶2
X1 − 0 X2 − 0
Y = + ∼ χ2 (2) .
σ σ
因此, Y 之p.d.f.為
1 ³ y´
f (y) = exp − , y > 0.
2 2
又T = σ 2 Y 及|J| = σ 2 , 因此, T 之p.d.f.為
µ ¶
1 t
g (t) = exp − , t>0
2σ 2 2σ 2
¡ ¢
即T ∼ exp 2σ 2 .
105 CHAPTER 4. 常用之機率分配
¡ ¢
2. 因為T ∼ exp 2σ 2 , 故E (T ) = 2σ 2 及 Var (T ) = 4σ 4
例 4-39. Let X1 , X2 , X3 be independent with Xi having density f (xi ) = exp (−xi ), xi > 0. Let U1 =
X1 + X2 + X3 , U2 = X2 /U1 and U3 = X3 /U1 . Find the joint density of U1 , U2 , and U3 .
解:
X2 = U1 U2
X3 = U1 U3
X1 = U1 − X2 − X3 = U1 (1 − U2 − U3 )
° °
° 1−U −U −U1 −U1 °
° 2 3 °
° ° ¯ 2 ¯
° 0 ° ¯ ¯
° = U1 (1 − U2 − U3 ) + U1 U3 + U1 U2
2 2
J = ° U2 U1
° °
° U3 0 U1 °
= U12
4.5 二元常態分配
二元常態分配 假設隨機變數X ∼ N (µx , σx2 ), Y ∼ N (µy , σy2 )且X與Y 之相關係數為ρ。若
則
σy2 ¡ ¢
E (Y |X) = µy + ρ 2
(x − µx ) 及 Var (Y |X) = 1 − ρ2 σy2
σy
證明:.
令E (Y |X) = a + bx, 由條件一
Z Z
f (x, y)
yf (y|x) dy = y dy = a + bx
y∈R2 y∈R2 f1 (x)
4.5 二元常態分配 106
所以 Z
yf (x, y) dy = (a + bx) f1 (x)
y∈R2
左右同時對x做積分得 Z Z Z
yf (x, y) dydx = (a + bx) f1 (x) dx
x∈R1 y∈R2 x∈R1
故得
µy = a + bµx
又 Z
¡ ¢
xyf (x, y) dy = ax + bx2 f1 (x)
y∈R2
左右同時對x做積分得 Z Z Z
xyf (x, y) dydx = (a + bx) f1 (x) dx
x∈R1 y∈R2 x∈R1
可得
¡ ¢
EXY = ρσx σy + µx µy = aµx + b µ2x + σx2 = aµx + bEX 2
又
¡ ¢
ρσx σy + µx µy = (µy − bµx ) µx + b µ2x + σx2
所以
ρσx σy σy σy
b= =ρ 及 a = µy − bµx = µy − ρ µx
σx2 σx σx
因此
σy σy
E (Y |X) = a + bX = µy − ρ µx + ρ x
σx σx
σy
= µy + ρ (x − µx )
σx
又Y 之條件變異數為
Z · ¸2
σy
Var (Y |X) = y − µy − ρ (x − µx ) f (y|x) dy
y∈R2 σx
Z · ¸2 Z
σy
= y − µy − ρ (x − µx ) f (x, y) f1 (x) dxdy
y∈R2 σx x∈R1
Z Z · ¸2
σy
= y − µy − ρ (x − µx ) f (x, y) f1 (x) dxdy
y∈R2 x∈R1 σx
· ¸2
σy
= E y − µy − ρ (x − µx )
σx
2 σy2 2 σy
= E [y − µy ] + ρ2 2 [x − µx ] − 2ρ E (x − µx ) (y − µy )
σx σx
107 CHAPTER 4. 常用之機率分配
σy2 σy
= σy2 + ρ2 2 × σx2 − 2ρ × ρσx σy
σx σx
¡ ¢
= 1 − ρ2 σy2
0.20
0.15
0.10
1
0.05
0
0
-1
0 -1
圖 4.6: 二元常態分配圖
h i2
(x − µx )
σy
1 y − µy − ρ σx (x − µx ) 2
= q exp − − ,
2π (1 − ρ2 ) σy2 σx2
2 (1 − ρ2 ) σy2 2σx2
其中
h i2
σ
y − µy − ρ σxy (x − µx ) 2
(x − µx )
− −
2 (1 − ρ2 ) σy2 2σx2
2 2 ¡ ¢ 2
ρ2 σy2 (x − µx ) + σx2 (y − µy ) − 2ρσx σy (x − µx ) (y − µy ) + 1 − ρ2 σy2 (x − µx )
= −
2 (1 − ρ2 ) σx2 σy2
2 2
σx2 (y − µy ) − 2ρσx σy (x − µx ) (y − µy ) + σy2 (x − µx )
= −
2 (1 − ρ2 ) σx2 σy2
( 2
)
ρσx σy (x − µx ) (y − µy ) σy2 (x − µx )
2
1 σx2 (y − µy )
= − −2 +
2 (1 − ρ2 ) σx2 σy2 σx2 σy2 σx2 σy2
(µ ¶2 µ ¶µ ¶ µ ¶2 )
1 y − µy x − µx y − µy x − µx
= − − 2ρ +
2 (1 − ρ2 ) σy σx σy σx
因此
½ ·³ ´2 ³ ´³ ´ ³ ´2 ¸¾
y−µy y−µy
exp − 2(1−ρ
1
2) σy − 2ρ x−µx
σx σy + x−µx
σx
f (x, y) = q ,
2π (1 − ρ2 ) σy2 σx2
−∞ < x < ∞, −∞ < y < ∞
同理, 我們亦可求得
h i2
− x − µx − ρ σσx (y − µy )
1
p , −∞ < x < ∞, −∞ < y < ∞
y
f (x|y) = exp
2π (1 − ρ2 ) σx2
2 (1 − ρ2 ) σx2
此外, 亦可清楚看出當ρ = 0,
( "µ ¶2 µ ¶2 #)
1 1 y − µy x − µx
f (x, y) = q exp − +
2π σy2 σx2 2 σy σx
即X與Y 相互獨立。
例 4-40. 假設f (x, y)為一二元常態分配之聯合機率密度函數, 其中 µx = 24.5, σx2 = 4.82 , µy = −0.2, σy2 = 3.02 ,
及ρ = −.032 試求
1. P (1.3 ≤ Y ≤ 5.8)
109 CHAPTER 4. 常用之機率分配
2. E (Y |X = x)
3. E (X|Y = y)
解:
1.
µ ¶
1.3 + 0.2 5.8 + 0.2
P (1.3 ≤ Y ≤ 5.8) = P ≤Z≤
3 3
= P (0.5 ≤ Z ≤ 2)
= 0.3085 − 0.0228
= 0.2857
2.
σy
E (Y |X = x) = µy + ρ (x − µx )
σx
3
= −0.2 − .032 × (x − 24.5)
4.8
= 0.29 − 0.02x
3.
σx
E (X|Y = y) = µx + ρ (y − µy )
σy
4.8
= 24.5 − .032 × (y + 0.2)
3
= 24.490 − 0.051 2y
4. 因為
¡ ¢
E (Y |X = 18) = 0.29 − 0.02 × 18 = −0.07, Var (Y |X = 18) = 1 − 0.322 × 32 = 8.0784,
所以
µ ¶
1.3 + 0.07 5.8 + 0.07
P (1.3 ≤ Y ≤ 5.8|X = 18) = P √ <Z< √
8.078 4 8.078 4
= P (0.482 01 < Z < 2.0653)
= 0.314875
4.5 二元常態分配 110
例 4-41. Let X = (X1 , X2 , X3 ) have a trivariate normal distribution with means 6 , 4 and 2. The covariance
matrix is
16 6 0
6 25 0 .
0 0 64
Let Y1 = 2X1 + 3X2 + X3 + 2 and Y2 = 4X1 + X3 + 2. Please find the joint probability density function of
Y1 and Y2 .
解:
µY1 = E (2X1 + 3X2 + X3 + 2) = 28 及 µY8 = E (4X1 + X3 + 2) = 28
又Y1 , Y2 的變異數及共變異數分別為
Var (Y1 ) = Var (2X1 + 3X2 + X3 + 2) = 20.6162 , Var (Y2 ) = Var (4X1 + X3 + 2) = 17.8892
與
Cov (Y1 , Y2 ) = 264, 所以 ρY1 Y2 = 0.7159
故二元常態分配之p.d.f.為
h n¡ ¢ ¡ y1 −28 ¢ ¡ y2 −28 ¢ ¡ y2 −28 ¢2 oi
y1 −28 2
exp − 2×(1−0.7159
1
2) 20.616 − 2 × 0.7159 × 20.616 17.889 + 17.889
f (y1 , y2 ) = p
2π × 20.6162 × 17.8892 × (1 − 0.71592 )
¡ ¢
例 4-42. Suppose X1 , X2 , . . . , Xn are iid from a normal distribution N µ, σ 2 .
Pn
1. Let Y = i=1 ai Xi with ai ∈ R, for all i. Calculate the mgf of Y.
Pn
2. Let Z = i=1 bi Xi with bi ∈ R, for all i. Find the necessary and sufficient conditions such that Y and
Z are independent.
3. Compute the covariance of Y and Z. What kind of conclusion can you draw from this and previous parts.
解:
1. 由5.2.4性質e可知,
à n ! à n !
X
n X X
n X
n X X
n
Y = ai Xi ∼ N ai µ, a2i σ 2 ,Z = b i Xi ∼ N bi µ, b2i σ 2
i=1 i=1 i=1 i=1 i=1 i=1
所以 Ã !
X
n Pn
t2 i=1 a2i σ 2
MY (t) = exp t ai µ +
i=1
2
111 CHAPTER 4. 常用之機率分配
2. Ã n !
X
n X X
n
¡ ¢
Y +Z = (ai + bi ) Xi ∼ N (ai + bi ) µ, a2i + b2i σ 2
i=1 i=1 i=1
若Y 與Z獨立, 則Y 與Z之聯合動差生成函數為
³ Pn Pn ´
M (t, s) = E et i=1 ai Xi +s i=1 bi Xi
³ Pn ´ ³ Pn ´
= E et i=1 ai Xi E es i=1 bi Xi
à n Pn ! à n Pn !
X t2 i=1 a2i σ 2 X s2 i=1 b2i σ 2
= exp t ai µ + exp s bi µ +
i=1
2 i=1
2
à n P P !
X Xn n
t2 i=1 a2i σ 2
n
s2 i=1 b2i σ 2
= exp t ai µ + s bi µ + +
i=1 i=1
2 2
à n P P !
X Xn n
t2 i=1 a2i σ 2
n
s2 i=1 b2i σ 2
= exp t ai µ + s bi µ + +
i=1 i=1
2 2
又Y 與Z之聯合動差生成函數為
³ ´ ³ Pn Pn ´
E e(tY +sZ) = E e(t i=1 ai Xi +s i=1 bi Xi )
³ Pn Pn ´
= E e( i=1 tai Xi + i=1 sbi Xi )
³ Pn ´
= E e i=1 (tai +sbi )Xi
à n Pn !
X (ta i + sb i )
2 2
σ
= exp µ (tai + sbi ) + i=1
i=1
2
所以Y 與Z相獨立之充要條件為
X
n
2
X
n
¡ ¢
(tai + sbi ) = t2 a2i + s2 b2i + 2ai bi st
i=1 i=1
X
n X
n X
n
= t2 ai2 + s2 b2i + 2st ai bi
i=1 i=1 i=1
即
X
n
ai bi = 0
i=1
3.
Cov (Y, Z) = EY Z − EY × EZ
à n !
X X
n X
n X
n
= E ai Xi × b i Xi − ai µ × bi µ
i=1 i=1 i=1 i=1
4.5 二元常態分配 112
X
n X
n X
n X
n
= E ai b j Xi Xj − µ 2 ai bj
i=1 j=1 i=1 j=1
X
n X
n X
n X
n
= ai bj EXi Xj − µ2 ai bj
i=1 j=1 i=1 j=1
X
n X
n X
n X
n
= ai bi σ 2 + µ2 bj − µ2 ai bj
i=1 j=1 i=1 j=1
X
n
= ai bi σ 2
i=1
X
n
ai bi = 0,
i=1
Y 與Z獨立。
⊤
例 4-43. Let the 3 × 1 random vector X = (X1, X2 , X3 ) follow a mutlivariate normal distribution,
X1
X2 ∼ N (µ, Σ) ,
X3
where
170 400 64 128
µ =
68 and Σ = 64 16 0 .
40 128 0 256
解:
3.
σ1
E (X1 |X2 = 72) = (x2 − µ2 )
µ1 + ρ
σ2
64 20
= 170 + √ × × (72 − 68)
400 × 16 4
= 186
113 CHAPTER 4. 常用之機率分配
¡ ¢ ¡ ¢
Var (X1 |X2 = 72) = σ12 1 − ρ2 = 400 × 1 − 0.82
= 144
4.
" #" #
h i 1
0 −4
16
64 128 1
0 256 16
E (X1 |X2 = 72, X3 = 24) = µ1 +
20
8
= 170 −
20
= 169.6
" #" #
h i 1
0 64
Var (X1 |X2 = 72, X3 = 24) = 400 − 64 128 16
1
0 256 128
= 80
抽樣分配
5.1 名詞解釋
1. 隨機樣本: 假設X1 , X2 , . . . , Xn 為由母體f (x)中抽出的n個隨機變數, 若滿足
(a) X1 , X2 , . . . , Xn 皆為獨立
3. 抽樣分配: 為統計量的機率密度函數。
5.2 樣本平均數之抽樣分配
Pn
若X1 , X2 , ... Xn 為抽自母體f (x)的一組樣本數為n的隨機樣本, 令X n = 1
n i=1 Xi , 則
¡ ¢ ¡ ¢ σ2
µX n = E X n = µ 及 σX
2
= Var Xn =
n n
證明:.
1.
à n !
¡ ¢ 1 X 1X
n
1X
n
E X = E Xi = EXi = µ =µ
n i=1
n i=1 n i=1
5.2 樣本平均數之抽樣分配 116
2.
· ¸2
¡ ¢ ¡ ¢2 (X1 − µ) + (X2 − µ) + · · · + (Xn − µ)
Var X = E X −µ =E
n
(
1 2 2
= E (X1 − µ) + E (X2 − µ) + · · ·
n2
X
2
+E (Xn − µ) + E (Xi − µ) (Xj − µ)
i̸=j
1 X X
n
2
= E (X i − µ) + E (X i − µ) (X j − µ)
n2 i=1
i̸=j
1. 此一試驗之樣本空間
2. X之抽樣分配
3. X之平均數及變異數
解:
1. 此一試驗之樣本空間
(0, 0), (0, 1), (0, 2), (0, 3),
(1, 0), (1, 1), (1, 2), (1, 3),
S=
(2, 0), (2, 1), (2, 2), (2, 3),
(3, 0), (3, 1), (3, 2), (3, 3)
3. (a)
1 2 2 1
E(X) = 0 × + 0.5 × + · · · + 2.5 × +3× = 1.5
16 16 16 16
117 CHAPTER 5. 抽樣分配
(b)
³ 2´ 1 2 2 1
E X = 02 × + 0.52 × + · · · + 2.52 × + 32 × = 2.875
16 16 16 16
所以,
¡ ¢
Var X = 2.875 − 1.52 = 0.625
(c)
PN
1 Xi 1
µX = = (0 + 1 + 2 + 3) = 1.5
N 4
PN
2 i=1 (Xi − X)2
σX =
½ N ¾
1
= (0 − 1.25)2 + (1 − 1.25)2 + (2 − 1.25)2 + (3 − 1.25)2
4
= 1.25
所以, 當試驗採放回方式實施時則
2
σX
µX = µX , σX = ,
n
其中, N 為母體元素個數, n為樣本個數。
1. 此一試驗之樣本空間
2. X之抽樣分配
3. X之平均數及變異數
解:
1. 由於本試驗之樣本空間為
(30, 50), (30, 60), (30, 60), (30, 80),
(50, 30), (50, 60), (50, 60), (50, 80),
S= (60, 30), (60, 50), (60, 60), (60, 80),
(60, 30), (60, 50), (60, 60), (60, 80),
(80, 30), (80, 50), (80, 60), (80, 60)
X 40 45 55 60 65 70
f (x) 0.1 0.2 0.3 0.1 0.1 0.2
5.2 樣本平均數之抽樣分配 118
3.
¡ ¢
E X = 40 × 0.1 + 45 × 0.2 + · · · + 70 × 0.2 = 56,
³ 2´
E X = 402 × 0.1 + 452 × 0.2 + · · · + 702 × 0.2 = 3235
所以
¡ ¢
Var X = 3235 − 562 = 99
4. PN
1 Xi 1
µX = = (30 + 50 + 60 + 60 + 80) = 56
N 5
PN
2 i=1 (Xi − X)2
σX =
N
1
= {(30 − 56)2 + (50 − 56)2 + (60 − 56)2 + (60 − 56)2 + (80 − 56)2 }
5
= 264
所以, 當試驗採不放回方式實施時則
N − n σX
2
µX = µX , σX = ×
N −1 n
N −n
其中, N 為母體元素個數, n為樣本個數, N −1 為有限母體校正數。
1. 單一母體平均數樣本平均數之抽樣分配
Pn
定理 5.1. X1 , X2 , ... Xn 為抽自N (µ, σ 2 )的一組樣本數為n的隨機樣本, 令X = i=1 Xi /n, 則
¡ ¢ ¡ ¢ σ2
µX n = E X n = µ 及 σX
2
= Var Xn =
n n
2
即X n ∼ N (µ, σn )
證明:.
σ 2 t2
因為MX (t) = eµt+ , 所以2
³ ´ ½ · Pn ¸¾
tX i=1 Xi
E e = E exp t
n
½ · ¸¾ ½ · ¸¾ ½ · ¸¾
t t t
= E exp X1 E exp X2 · · · E exp Xn
n n n
" µ ¶ # " µ ¶ # " µ ¶2 #
2 2
t σ2 t t σ2 t t σ2 t
= exp µ + exp µ + · · · exp µ +
n 2 n n 2 n n 2 n
119 CHAPTER 5. 抽樣分配
(" µ ¶2 # )
t σ2 t
= exp µ + ×n
n 2 n
· ¸
σ 2 t2
= exp µt +
2 n
2
故可推得X ∼ N (µ, σn )
2. 兩母體平均數樣本平均數差之抽樣分配
定理 5.2. X1 , X2 , ... Xn 為抽自N (µx , σx2 )的一組樣本數為n1 的隨機樣本, Y1 , Y2 , ... Yn 為抽自N (µy , σy2 )的一
Pn Pn
組樣本數為n2 的隨機樣本 。若X與Y 為兩相獨立母體, 令X = i=1 Xi /n及Y = i=1 Yi /n, 則
¡ ¢ ¡ ¢ σ2 σy2
µX n = E X n1 − Y n2 = µx − µy 及 σX
2
= Var X n1 − Y n2 = x +
1 −Y n2 n 1 −Y n2 n1 n2
¡ ¢
即X − Y ∼ N µx − µy , σx2 /n1 + σy2 /n2
證明:.
h i ³ ´ ³ ´
E et(X−Y ) = E etX E e−tY
· ¸ " #
t2 σx2 t2 σy2
= exp µx t + exp −uy t +
2 n1 2 n2
" Ã !#
t2 σx2 σy2
= exp (µx − µy ) t + +
2 n1 n2
¡ ¢
故可推得X − Y ∼ N µx − µy , σx2 /n1 + σy2 /n2
5.3 與常態分配有關的抽樣分配
5.3.1 t分配
t分配 假設Z ∼ N (0, 1), X ∼ χ2 (r)且X與Y 獨立, 則統計量
Z
T =r ∼ t(r)
X
r
特性
1. 對Y 軸對稱
2. 自由度r不同, 其圖形不同
5.3 與常態分配有關的抽樣分配 120
0.3
0.2
0.1
-4 -2 2 4
圖 5.1: t分配圖
3. 與標準常態分配相似
性質
1. E(T ) = 0, r > 1
r
2. Var = ,r>2
r−2
3. 當自由度r = 1時, 為一科西分配。
證明:.
1. 由4.7.1性質c (第33頁) 可知
à µ√ ¶ !
Zr
E (T ) = E p = E (Z) × E √
X/r X
µ√ ¶
r
= 0×E √
X
= 0
2.
µ
¶ µ ¶
¡ ¢ rZ 2 ¡ ¢ 1
E T2 = E = r × E Z2 × E
X X
µ ¶
1
= r×E
X
又
µ ¶ Z ∞
1 1 1
xα−1 e− θ dx
x
E = α
X 0 x Γ (α) θ
121 CHAPTER 5. 抽樣分配
Z ∞
1
xα−2 e− θ dx
x
= α
0 Γ (α) θ
Z ∞ ³ ´α−2
θα−1 x x
e− θ d
x
= α
Γ (α) θ 0 θ θ
Z ∞
1
= y α−2 e−y dy
Γ (α) θ 0
Γ (α − 1) 1
= =
Γ (α) θ (α − 1) θ
1
= ¡ ¢
2 2r − 1
1
=
r−2
所以
r
Var (T ) =
r−2
3. 證明同 例 4-36。
1. X與S 2 獨立
(n − 1)S 2
2. ∼ χ2 (n − 1)
σ2
證明:.
1.
" P #
n 2
1 i=1 (xi − µ)
f (x1 , x2 , . . . , xn ) = n exp −
(2πσ 2 ) 2σ 2
" P #
n 2 2
1 (xi − x) n (x − µ)
n exp − −
i=1
=
(2πσ 2 ) 2σ 2 2σ 2
令 Y1 = X, Y2 = X2 , Y3 = X3 ,..., Yn = Xn , 得
X
n
ny1 − y2 − y3 − · · · − yn = xi − x2 − x3 − · · · − xn = x1
i=1
5.3 與常態分配有關的抽樣分配 122
及
¯ ¯
¯ ¯ ¯ .. ¯
¯ ∂x1 ∂x2
··· ∂xn−1 ∂xn ¯ ¯ n 0 . 0 0 ¯
¯ ¯ ¯ ¯
¯ ∂y1 ∂y1 ∂y1 ∂y1
¯ ¯ .. ¯
¯ ∂x1 ∂x2
··· ∂xn−1 ∂xn ¯ ¯ −1 1 . 0 0 ¯¯
¯ ∂y2 ∂y2 ∂y2 ∂y2 ¯ ¯
¯ .. .. .. .. ¯ ¯ ¯
J = ¯¯ . .
..
. . . ¯=¯
¯ ¯ ··· ···
..
. ···
¯
··· ¯
¯ ¯ ¯ ¯
¯ ∂x1 ∂x2
··· ∂xn−1 ∂xn ¯ ¯ .. ¯
¯ ∂yn−1 ∂yn−1 ∂yn−1 ∂yn−1 ¯ ¯ −1 0 . 1 0 ¯¯
¯ ¯ ¯
¯ ∂x1 ∂x2
··· ∂xn−1 ∂xn ¯ ¯ .. ¯
∂yn ∂yn ∂yn ∂yn ¯ −1 0 . 0 1 ¯
= n
因此
g (y1 , y2 , . . . , yn )
" Pn #
2 2 2
n (ny1 − y2 − y3 − · · · − yn − y1 ) (yi − y 1 ) n (y1 − µ)
= n exp − − i=2 2 −
(2πσ 2 ) 2 2σ 2 2σ 2σ 2
√ " #
2
n n (y1 − µ)
= √ exp −
2πσ 2 2σ 2
√ " Pn #
2 2
n (ny1 − y2 − y3 − · · · − yn − y1 ) (y i − y 1 )
× n−1 exp − − i=2 2
(2πσ 2 ) 2 2σ 2 2σ
g ( y1 , y2 , . . . , yn | y1 = x)
√ h i h
√ Pn i
(y −x)2
n(x−µ)2
exp − (nx−y2 −y32σ−···−y n −x)
2
√ n exp − 2 × n
n−1 2 − i=22σ2i
2πσ 2 2σ
(2πσ 2 ) 2
= √ h i
n(x−µ)2
√ n exp −
2πσ 2 2σ 2
√ " Pn #
2 2
n (ny1 − y2 − y3 − · · · − yn − x) i=2 (yi − x)
= n−1 exp − −
(2πσ 2 ) 2 2σ 2 2σ 2
由機率公理可知 Z Z √
∞ ∞
n q
1= ··· n−1 e− 2σ2 dy2 dy3 · · · dyn
−∞ −∞ (2πσ 2 ) 2
又
½ · ¸¯ ¾
tQ ¯¯
E exp y = x
σ2 ¯
1
Z ∞ Z ∞ √ h q i · ¸
n tq
= ··· n−1 exp − 2 exp 2 dy2 dy3 · · · dyn
−∞ −∞ (2πσ 2 ) 2 2σ σ
Z ∞ Z ∞ √ · ¸
n (1 − 2t) q
= ··· n−1 exp − dy2 dy3 · · · dyn
−∞ −∞ (2πσ 2 ) 2 2σ 2
123 CHAPTER 5. 抽樣分配
µ ¶ n−1 Z ∞ Z ∞
n−1 √ · ¸
1 2
(1 − 2t) 2
n (1 − 2t) q
= ··· exp − dy2 dy3 · · · dyn
1 − 2t −∞ −∞ (2πσ 2 )
n−1
2 2σ 2
µ ¶ n−1
1 2
=
1 − 2t
故可求得在給定y1 = x下, Q/σ 2 為一χ2 (n − 1)之隨機變數, 即
Pn 2
Q i=1 (xi − x) (n − 1) S 2
= = ∼ x2 (n − 1)
σ2 σ2 σ2
且 µ ¶
(n − 1) s2
g (y1 , y2 , . . . , yn ) = h (y1 ) k
σ2
所以,
(n − 1) S 2
Y1 與 相獨立, 換句話說, X 與 S 2 相獨立。
σ2
2. 隨機變數(n − 1)S 2 /σ 2 之分配服從χ2 (n − 1)之證明讀者可由前一小題得知, 在此介紹另一證明方法, 惟此法必須
在X與S 2 相獨立之前提下才可成立。證明方法如下:
Pn Pn ¡ ¢2
i=1 Xi − X + X − µ
2
i=1 (Xi − µ)
=
σ2 σ2
Pn ¡ ¢2 Pn ¡ ¢2
i=1 Xi − X i=1 X − µ
= +
σ2 σ2
又 Pn µ ¶2
(Xi − µ) X 2 n
Xi − µ
i=1
2
= ∼ χ2 (n)
σ i=1
σ
且 ¡ ¢2 ¡ ¢2
Pn µ ¶2
X −µ n X −µ X −u
i=1
= = √ ∼ χ2 (1)
σ2 σ2 σ/ n
由於卡方分配具有可加性之性質, 即χ2 (r1 ) + χ2 (r2 ) = χ2 (r1 + r2 ), 所以可輕易求得
Pn ¡ ¢2
i=1 Xi − X (n − 1) S 2
= ∼ χ2 (n − 1)
σ2 σ2
¡ ¢
例 5-3. Suppose X1 , X2 , . . . , Xn is a random sample from X, where X ∼ N µ, σ 2 . Find the probability
Pn ¡ ¢2
density function of S 2 , where S 2 = i=1 Xi − X / (n − 1) .
解:
令Y = (n − 1) S 2 /σ 2 , 由定理6.3可知Y ∼ χ2 (n − 1) . 因此
1 y
2 −1 e− 2 , 0 < y < ∞
n−1
f (y) = ¡ n−1 ¢ n−1 y
Γ 2 2 2
5.3 與常態分配有關的抽樣分配 124
又 ¯ ¯
¯ dY ¯ n − 1
|J| = ¯ 2 ¯¯ =
¯
dS σ2
所以
µ ¶ n−1
2 −1
¡ ¢ 1 (n − 1) S 2 (n−1)S 2
g s2 = ¡ n−1 ¢ n−1 e− 2σ 2 × |J|
Γ 2 2 σ2
2
µ ¶ n−1
2 −1
1 (n − 1) S 2 (n−1)S 2 n − 1
− 2σ2
= ¡ n−1 ¢ n−1 e
Γ 2 2 σ2 σ2
2
µ ¶ n−1 −1
1 n−1 2 ¡ 2 ¢ n−1
2 −1 −
(n−1)S 2
= ¡ n−1 ¢ n−1 2
s e 2σ 2 , 0 < s2 < ∞
Γ 2 2 σ
2
iid ¡ ¢
例 5-4. 若Xi ∼ N µ, σ 2 , i = 1, 2, · · · , n, 假設母體平均數µ已知且母體變異數σ 2 未知時, 令統計量
X −µ
T = √ ,
S/ n
則T ∼ t(n − 1)
證明:.
iid ¡ ¢
因為Xi ∼ N µ, σ 2 , 所以
X −µ
√ ∼ N (0, 1)
σ/ n
且 ¡ ¢2
Pn
Xi − X (n − 1)S 2
i=1
= ∼ χ2 (n − 1)
σ2 σ2
故得
X− √µ X−√µ
σ/ n σ/ n X −µ
s = = √ =T
(n−1)S 2 S/σ S/ n
σ2
n−1
又
X− √µ
σ/ n
s ∼ t(n − 1)
(n−1)S 2
σ2
n−1
所以,
T ∼ t(n − 1)
125 CHAPTER 5. 抽樣分配
X − 8.5
∼ t(24)
1.9
√
25
因此,
¡ ¢ X − 8.5 9 − 8.5
P X>9 = P
1.9 > 1.9
√ √
25 25
= P(T > 1.312)
= 0.103
5.3.2 F分配
F分配 假設X1 ∼ χ2 (r1 ), X2 ∼ χ2 (r2 )且X1 , X2 獨立, 則統計量
X1 /r1
F = ∼ F(r1 , r2 )
X2 /r2
0.7
0.6
0.5
0.4
0.3
0.2
0.1
1 2 3 4 5 6 7
圖 5.2: F 分配圖
特性
5.3 與常態分配有關的抽樣分配 126
1. 定義域為[0, ∞)
2. 不對稱, 為一右偏分配
3. 與卡方分配相似
性質
r2
1. E (F ) = r2 −2 , r2 > 2
³ ´2
r2 r2 +r1 −2
2. Var (F ) = 2 r2 −2 r1 (r2 −4) , r2 > 4
4. 若T ∼ t (v), 則T 2 ∼ F (1, v)
證明:.
1. 由4.7.1性質c (第33頁) 可知
µ ¶ µ ¶
X1 /r1 r2 1
E (F ) = E = × E (X1 ) × E
X2 /r2 r1 X2
r2 1
= × r1 ×
r1 r2 − 2
r2
=
r2 − 2
2.
µ ¶ µ ¶
¡ ¢ X12 /r12 r22 ¡ 2¢ 1
E F2 = E = 2 × E X1 × E
X22 /r22 r1 X22
µ ¶
r2 ¡ 2
2 ¢ 1
= 2 × r1 + 2r1 × E
r1 X22
又
µ ¶ Z ∞
1 1 1 x2
E = xα−1
2 e− θ dx2
X22 2
x Γ (α) θ α
Z0 ∞ 2
1 x2
= α
xα−3
2 e− θ dx2
0 Γ (α) θ
Z ∞ ³ ´α−3
θα−2 x2 x2 x2
= α
e− θ d
Γ (α) θ 0 θ θ
Z ∞
θα−2
= y α−3 e−y dy
Γ (α) θ 0
Γ (α − 2) 1
= = 2
Γ (α) θ 2 θ (α − 1) (α − 2)
127 CHAPTER 5. 抽樣分配
1
= ¡ r2 ¢¡ ¢
4 2 − 1 r22 − 2
1
=
(r2 − 2) (r2 − 4)
所以 ¡ 2 ¢
¡ ¢ r2 r1 + 2r1
E F 2 = 22 ×
r1 (r2 − 2) (r2 − 4)
故可推得
¡ 2 ¢ µ ¶2
r22 r1 + 2r1 r2
Var (F ) = −
r12 (r2 − 2) (r2 − 4) r2 − 2
µ ¶2 " ¡ 2 ¢ #
r2 1 (r2 − 2) r1 + 2r1
= −1
r2 − 2 r12 (r2 − 4)
µ ¶2 ¡ ¢
r2 (r2 − 2) r12 + 2r1 − r12 (r2 − 4)
=
r2 − 2 r12 (r2 − 4)
µ ¶2 2
r2 r1 r2 + 2r1 r2 − 2r12 − 4r1 − r12 r2 + 4r12
=
r2 − 2 r12 (r2 − 4)
µ ¶2
r2 r2 + r1 − 2
= 2
r2 − 2 r1 (r2 − 4)
3.
X1 /r1 1 1
F (r1 , r2 ) = = X2 /r2
=
X2 /r2 F (r2 , r1 )
X1 /r1
4.
2
X−√µ χ2 (1)
σ/ n 2 Z2
Z
T =
2
r 2
=
2 = 21 = 21 = F (1, v)
χ (v) χ (v) χ (v) χ (v)
v v v v
5.3.3 大數法則
¡¯ ¯ ¢
lim P ¯X − µ¯ > ε = 0
n→∞
證明:.
由Chebyshev’s Theorem(第15頁)可知
¡ ¢ 1
P | X − µ |> kσX ≤ 2
k
令ε = kσX , 則
¡ ¢ σ2 σ2
lim P | X − µ |> ε ≤ X = =0
n→∞ ε2 ε2 n
p
通常我們以X −→ µ表示。
d
則稱Xn 在分配上收斂到F , 通常以Xn −→ X表示。
d p
定理 5.4. Slutsky’s Theorem: 假設X1 , X2 , . . . , Xn ; Y1 , Y2 , . . . , Yn 為兩數列之隨機變數, 且Xn −→ X及Yn −→
Y. 則
d
1. Xn + Yn −→ X + c
d
2. Xn Yn −→ cX
d
3. 若c ̸= 0, 則Xn /Yn −→ X/c
129 CHAPTER 5. 抽樣分配
5.3.4 中央極限定理
中央極限定理
X −µ
√ ∼ N (0, 1)
σ/ n
證明:.
½ · ¸¾ ½ · Pn ¸¾
X −µ i=1 Xi − nµ
E exp t √ = E exp t √
σ/ n σ n
½ · ¸¾ ½ · ¸¾ ½ · ¸¾
Xi − µ t X2 − µ t Xn − µ t
= E exp √ E exp √ · · · E exp √
σ n σ n σ n
µ ¶ µ ¶ µ ¶
t t t
= M Xi −µ √ M Xi −µ √ · · · M Xi −µ √
σ n σ n σ n
· µ ¶¸n
t
= M Xi −µ √
σ n
又 µ ¶ µ ¶ · µ ¶¸2
Xi − µ Xi − µ Xi − µ
M ′Xi −µ (0) = E = 0, M ′′Xi −µ (0) = Var + E =1
σ σ σ σ σ
由4.9性質3可知
µ ¶ X∞ M X −µ (0) µ
(r) ¶r
t i t
M Xi −µ √ = σ
√
σ n r=1
r! n
µ ¶2
t 1 ′′ t
≈ M Xi −µ (0) + M ′Xi −µ (0) √ + M Xi −µ (0) √
σ σ n 2! σ n
t2
= 1+
2n
又 Ã !n
µ ¶n t2
t2 t2
lim 1 + = lim 1 + 2 =e2
n→∞ 2n n→∞ n
故可推得當樣本數趨近於無窮大時,
X −µ
√ ∼ N (0, 1)
σ/ n
√
例 5-7. Let Yn ∼ χ2 (n). Find the limiting distribution of (Yn − n) / 2n, as n → ∞, using moment
generating functions.
解:
½ · ¸¾ ½ · ¸ · √ ¸¾
Yn − n t − nt
M (t) = E exp t √ = E exp √ Yn exp √
2n 2n 2
· √ ¸ ½ · ¸¾
− nt t
= exp √ E exp √ Yn
2 2n
· √ ¸Ã √ !− n2 · √ ¸ " à √ !#
− nt 2t − nt n 2t
= exp √ 1+ √ = exp √ exp − ln 1 + √
2 n 2 2 n
à √ !3
−√nt n √2t 2t2 1 2t
= exp √ − √ − + √ + ···
2 2 n 2n 3 n
t2
≈ e2
所以
Yn − n
lim √ ∼ N (0, 1)
n→∞ 2n
Pn p
例 5-8. Let Xi ∼ Beronulli (p), i = 1, 2, ...n. Find the limiting distribution of ( i=1 Xi − np) / np (1 − p),
as n → ∞, using moment generating functions.
解:
( " ÃP !#)
n
Xi − np
M (t) = E exp t p i=1
nP (1 − p)
( · −np ¸ " P #)
n
√ t t X
= E exp nP(1−p) exp p i=1
nP (1 − p)
" # ( " P #)
n
−np t i=1 X
= exp p t E exp p
nP (1 − p) nP (1 − p)
" #Ã " #!n
−np t
= exp p t 1 − p + p exp p
nP (1 − p) nP (1 − p)
( " # " #)n
−pt (1 − p) t
= (1 − p) exp p + p exp p
nP (1 − p) nP (1 − p)
" Ã ! Ã !#n
2
pt p2 t2 (1 − p) t (1 − p) t2
≈ (1 − p) 1 − p + +P 1+ p +
nP (1 − p) 2nP (1 − p) nP (1 − p) 2nP (1 − p)
" #n · ¸n
2
(1 − p) p2 t2 P (1 − p) t2 p2 − p3 + p + p3 − 2p2 2
= 1+ + = 1+ t
2nP (1 − p) 2nP (1 − p) 2nP (1 − p)
131 CHAPTER 5. 抽樣分配
· ¸n
t2
= 1+
2n
所以 Pn
Xi − np
limpi=1 ∼ N (0, 1)
n→∞ np (1 − p)
Pn
當Xi ∼ B(1, p), i = 1, 2 ... n, 令Y = i Xi , 則當樣本數夠大時(一般應用上, 若np ≥ 5且nP(1 − p) ≥ 5即可), 由
中央極限定理可知
Y − np X −p
W =p =p ∼ N (0, 1)
nP(1 − p) P(1 − p)/n
然而, 由於二項分配為離散型分配, 在使用上必須作離散母體校正。所以, 以中央極限定理做為二項分配B(n, p)之近似值
其方法如下:
1. µ ¶
(a + 0.5) − µ
P(Y ≤ a) = P(Y < a + 0.5) ≈ P Z≤
σ
2. µ ¶
(a − 0.5) − µ
P(Y < a) = P(Y < a − 0.5) ≈ P Z≤
σ
3. µ ¶
(b − 0.5) − µ
P(Y ≥ b) = P(Y > b + 0.5) ≈ P Z ≥
σ
5.4 順序統計量 132
4. µ ¶
(b + 0.5) − µ
P(Y > b) = P(Y > b − 0.5) ≈ P Z≤
σ
5.4 順序統計量
定理 5.6. 若X1 , X2 , . . . , Xn 為抽自母體f (x; θ)的一組樣本數為n的隨機樣本, 若Yi 表是X1 , X2 , . . . , Xn 中第i個小
的值, 1 ≤ i ≤ n, 若f (x; θ)為一連續型分配, 則
n! i−1 n−i
f (yi ) = [F (yi )] [1 − F (yi )] f (yi )
(i − 1)! (n − i)!
證明:.
由於X1 , X2 , . . . , Xn 為抽自母體f (x; θ)的一組樣本數為n的隨機樣本, 所以Y1 , Y2 , . . . , Yn 之聯合機率密度函數為
g (y1 , y2 , · · · yn−1 , yn ) = n!f (y1 ) f (y2 ) · · · f (yn−1 ) f (yn ) , −∞ < y1 < y2 < · · · < yn−1 < yn < ∞
133 CHAPTER 5. 抽樣分配
由邊際機率密度函數定義可知
Z ∞ Z yn Z yi+2 Z yi Z y3 Z y2
h (yi ) = ··· ··· n!f (y1 ) f (y2 ) · · · f (yn−1 ) f (yn ) dy1 dy2 · · · dyn−1 dyn
y y y −∞ −∞ −∞
Z i∞ Z iyn Z iyi+2 Z yi Z y3 Z y2
= ··· ··· n!f (y2 ) · · · f (yn−1 ) f (yn ) × F (y1 ) dy2 · · · dyn−1 dyn
y y y −∞ −∞ −∞
Z i∞ Z iyn Z iyi+2 Z yi Z y3
= ··· ··· n!f (y2 ) · · · f (yn−1 ) f (yn ) F (y2 ) dy2 · · · dyn−1 dyn
yi yi yi −∞ −∞
利用分部積分法可求得 Z ¯y3
2¯
y3
1 1
[F (y2 )] ¯¯
2
f (y2 ) F (y2 ) dy2 = = [F (y3 )]
−∞ 2 −∞ 2
所以
Z ∞ Z yn Z yi+2 Z yi Z y3
f (yi ) = ··· ··· n!f (y2 ) · · · f (yn−1 ) f (yn ) F (y2 ) dy2 · · · dyn−1 dyn
yi yi yi −∞ −∞
Z ∞ Z yn Z yi+2 Z yi Z y4
n! 2
= ··· ··· [F (y3 )] dy3 · · · dyn−1 dyn
f (y3 ) · · · f (yn−1 ) f (yn ) ×
y y y −∞ −∞ 2
Z i∞ Z iyn Z iyi+2 Z yi Z y5
n! 3
= ··· ··· f (y4 ) · · · f (yn−1 ) f (yn ) × [F (y4 )] dy4 · · · dyn−1 dyn
yi yi yi −∞ −∞ 2×3
..
.
Z ∞ Z yn Z yi+2
= ··· f (yi ) f (yi+1 ) · · · f (yn−1 ) f (yn )
yi yi yi
n! i−1
× [F (yi )] dyi+1 · · · dyn−1 dyn
2 × 3 × · · · (i − 1)
n! i−1
= [F (yi )] f (yi )
(i − 1)!
Z ∞ Z yn Z yi+2
× ··· f (yi ) f (yi+1 ) · · · f (yn−1 ) f (yn ) dyi+1 · · · dyn−1 dyn
yi yi yi
又
Z ∞ Z yn Z yi+2
··· f (yi ) f (yi+1 ) · · · f (yn−1 ) f (yn ) dyi+1 · · · dyn−1 dyn
yi y yi
Z ∞ Zi yn Z yi+3
= ··· f (yi+2 ) · · · f (yn−1 ) f (yn ) × [F (yi+2 ) − F (yi )] dyi+2 · · · dyn−1 dyn
yn−1 yn−2 yi
Z ∞ Z yn Z yi+2
1 2
= ··· f (yi+2 ) · · · f (yn−1 ) f (yn ) × [F (yi+3 ) − F (yi )] dyi+3 · · · dyn−1 dyn
yi yi yi 2
..
.
Z ∞
1 n−i−1
= f (yn ) × [F (yn ) − F (yi )] dyn
yi 2 × 3 × · · · × (n − i − 1)
¯∞
1 n−i ¯¯
= [F (yn ) − F (yi )] ¯
2 × 3 × · · · × (n − i − 1) × (n − i) yi
5.4 順序統計量 134
1 n−i
= [1 − F (yi )]
2 × 3 × · · · × (n − i − 1) × (n − i)
所以
n! i−1 n−i
h (yi ) = [F (yi )] [1 − F (yi )] f (yi )
(i − 1)! (n − i)!
Γ (n + 1) i−1 n−i
= [F (yi )] [1 − F (yi )] f (yi )
Γ (i) Γ (n − i + 1)
i i × (n − i + 1)
E (Yi ) = 及 Var (Yi ) = 2
n+1 (n + 1) (n + 2)
n! h y in−1 h yn in−n 1
n
h (yn ) = × × 1− ×
(n − 1)! (n − n)! θ θ θ
n−1
nyn
= , 0 < yn < θ
θn
及
n! h y i1−1 h y y1 in−1−1 h y1 in−n 1 1
1 n
k (y1 , yn ) = × − × 1− × ×
(1 − 1)! (n − 1 − 1) (n − n)! θ θ θ θ θ θ
n−2
n (n − 1) (yn − y1 )
= , 0 < y1 < yn < θ
θn
例 5-13. Let X1 , X2 , . . . be iid U (0, θ) r.v.’s. Let Y1 = min (X1 , X2 , . . . , Xn ), find the limiting distribution
of Zn = nY1 as n → ∞.
135 CHAPTER 5. 抽樣分配
解: 由定理5.6可知y1 之機率密度函數為
n! ³ y ´1−1 ³ y1 ´n−1 1
1
f (y1 ) = 1−
(1 − 1)! (n − 1)! θ θ θ
n−1
n (θ − y1 )
= , 0 < y1 < θ.
θn
故可求得Zn 之累積機率密度函數為
³ zn ´
G (zn ) = P (Zn < zn ) = P (nY1 < zn ) = P Y1 <
n
Z zn /n n−1
n (θ − y1 )
= dy1 .
0 θn
因此由定義可知
n−1 n−1
dG (zn ) n (θ − zn /n) 1 (θ − zn /n)
g (zn ) = = = , zn > 0
dzn θn n θn
所以, 當n → ∞時,
1³ zn ´n−1
n−1
(θ − zn /n)
lim g (zn ) = lim = lim 1 −
n→∞ n→∞ θn n→∞ θ θn
1 1 ³ zn ´n−1
= lim 1−
n→∞ θ [1 − zn / (θn)] θn
1 1 ³ zn ´n
= lim lim 1 −
n→∞ θ [1 − zn / (θn)] n→∞ θn
1 ³ z ´
n
= exp − , zn > 0
θ θ
1. Pl 的機率密度函數
解:
1.
µ ¶1−1 µ ¶20−1
20! pl − 10 20 − pl 1
g (pl ) = × × ×
(1 − 1)! (20 − 1)! 10 10 10
2 19
= (20 − pl ) , 10 < pl < 20
1019
5.4 順序統計量 136
2.
Z 20
2 19
E (Pl ) = pl × (20 − pl ) dpl
10 1019
Z20 Z 20
2 19 2 19
= (pl − 10) × (20 − pl ) dpl + 10 × (20 − pl ) dpl
10 1019 10 1019
Z 20
2 19
= × (pl − 10) (20 − pl ) dpl + 10
1019 10
Z 20 µ ¶µ ¶19
pl − 10 20 − pl pl − 10
= 200 × d + 10
10 10 10 10
Z 1
19
= 200 × u (1 − u) du + 10
0
Z 1
20−1
= 200 × u2−1 (1 − u) du + 10
0
Γ (2) Γ (20)
= 200 × + 10
Γ (2 + 20)
19!
= 200 × + 10
21!
200
= + 10
20 × 21
10 10
= 10 = 10 ×
21 買家家數 + 1
當買家由20增加為40時,E(Pl ) = 10 41
10
5! 5−1
g (y1 ) = y 1−1 (1 − y1 )
(1 − 1)! (5 − 1)! 1
4
= 5 (1 − y1 ) , 0 < y1 < 1
故得
Z 0.5
4
P (Y1 < 0.5) = 5 (1 − y1 ) dy1 = 0.96875
0
例 5-16. Find P (Y2 < π0.3 < Y8 ), where Y2 and Y8 are the second and eighth order statistics of 16
continuous-type independent observations.
137 CHAPTER 5. 抽樣分配
解:
X7 µ ¶
16
0.3x 0.716−x = 0.89954
x=2
x
5.4 順序統計量 138
第6章
估計
6.1 點估計
所謂點估計乃是根據一組樣本資料, 並藉由一統計量之觀測值來作為欲估計母體參數之估計值。 點估計常用的方法
有:
2. 動差法(Moment Method)
而判斷估計式的優劣標準有以下四個原則:
³ ´ ³ ´
b
1. 不偏性: 假設θ為θ的估計式, 若E θb = θ則稱θ為θ的不偏估計式;若E
b b
θ̂ ̸= θ則稱θ為θ的偏誤估計式, 且其偏
³ ´ ¡ ¢ ¡ 2¢
誤(bias)= E θb − θ , 例: E X = µ, E S = σ 2 。
或
³¯ ¯ ´
¯ ¯
lim P ¯θbn − θ¯ > ϵ = 0
n→∞
或
³ ´
lim Var θbn = 0,
n→∞
則稱θbn 為θ的一致估計式。
6.1 點估計 140
³ ´ ³ ´
3. 有效性: 設θb1 與θb2 均為θ之不偏估計式, 若Var θb1 ≤ Var θb2 時, θb1 相對有效, 且θb1 相對於θb2 之效率為
³ ´
Var θb2
³ ´
Var θb1
則
[τ ′ (θ)]
2
Var (W ) ≥ h£ ¤2 i
∂
E ∂θ ln f (θ; X)
證明:.
由機率密度函數之定義, Z Z
1= ··· f (θ; X) dX
左右對θ做微分得
Z Z Z Z
∂ ∂
0 = · · · f (θ; X) dX = · · · f (θ; X) dX
∂θ ∂θ
Z Z
∂ 1
= ··· f (θ; X) × × f (θ; X) dX
∂θ f (θ; X)
Z Z ∂
∂θ f (θ; X)
= ··· × f (θ; X) dX
f (θ; X)
Z Z
∂
= ··· ln f (θ; X) × f (θ; X) dx
∂θ
· ¸
∂
= E ln f (θ; X)
∂θ
又W = W (x)為τ (θ)之不偏估計式, 所以
Z Z
τ (θ) = ··· W (x) f (θ; X) dX
左右對θ做微分得
Z Z
∂
τ ′ (θ) = ··· W (x) f (θ; X) dX
∂θ
141 CHAPTER 6. 估計
Z Z
∂ 1
= ··· f (θ; X) ×
W (x) × f (θ; X) dX
∂θ f (θ; X)
Z Z
∂
= · · · W (x) × ln f (θ; X) × f (θ; X) dX
∂θ
· ¸
∂
= E W (x) ln f (θ; X)
∂θ
因此,
µ ¶
∂
[τ ′ (θ)]
2
= ρ2 Var (W ) Var ln f (θ; X)
∂θ
µ ¶
∂
≤ Var (W ) Var ln f (θ; X)
∂θ
所以,
[τ ′ (θ)] [τ ′ (θ)]
2 2
Var (W ) ≥ ∂
¡ ¢ = h £ ¤2 i
Var ∂θ ln f (θ; X) E ∂θ ∂
ln f (θ; X)
此一不等式稱為Rao-Cramer不等式。
註解
(a) Rao-Cramer不等式對離散分配仍然符合。
(b) 定理中的5個條件稱為正規條件。
及
Z Z
∂ ∂
0 = ··· ln f (θ; X) × f (θ; X) dX
∂θ ∂θ
Z Z ½ ¾
∂ ∂
= ··· ln f (θ; X) × f (θ; X) dX
∂θ ∂θ
6.1 點估計 142
Z Z · ¸
∂2 ∂ ∂
= ··· ln f (θ; X) × f (θ; X) + ln f (θ; X) × f (θ; X) dX
∂θ2 ∂θ ∂θ
Z Z " 2 µ ¶2 #
∂ ∂
= ··· ln f (θ; X) × f (θ; X) + ln f (θ; X) × f (θ; X) dX
∂θ2 ∂θ
· 2 ¸ · ¸2
∂ ∂
= E ln f (θ; X) + E ln f (θ; X)
∂θ2 ∂θ
所以,
[τ ′ (θ)] [τ ′ (θ)]
2 2
Var (W ) ≥ £ ¤2 = h 2 i,
nE ∂
∂θ ln f (θ; x) −nE ∂ ln∂θf 2(θ;x)
其中
[τ ′ (θ)]
2
h 2 i
−nE ∂ ln∂θf 2(θ;x)
證明:. 由於 · ¸
∂
E ln f (θ; X) = 0,
∂θ
所以
[τ ′ (θ)]
2
ρ2 = ¡∂ ¢
Var (W ) Var ∂θ ln f (θ; X)
[τ ′ (θ)]
2
= 2 £∂ ¤2
E [W − τ (θ)] E ∂θ ln f (θ; X)
≤ 1
由例題3-19可知, 當 ∂θ
∂
ln f (θ; X)為 [W (X) − τ (θ)]之線性組合時, ρ2 有極大值1, 即
∂
α (θ) [W (X) − τ (θ)] = ln f (θ; X)
∂θ
143 CHAPTER 6. 估計
故可求得
[τ ′ (θ)]
2
Var (W ) = £∂ ¤2
E ∂θ ln f (θ; X)
= CRLB
證明:.
¡ ¢
由於E X = µ且
¡ ¢ σ2
lim Var X = lim = 0,
n→∞ n→∞ n
1 ¡ ¢ (x − µ) 2
1 (x−µ)2
ln √ e− 2σ 2 = − ln 2πσ 2 −
2πσ 2 2 2σ 2
及
∂ 2 ln f (µ; x) 1
=− 2
∂µ2 σ
得, Cramer-Rao Lower Bound 為
h i2
d
dµ µ 1 σ2
h i= n =
−nE ∂ 2 ln f (µ;X)
σ2 n
∂θ 2
例 6-2. Let X1 , X2 , . . . , Xn be a random sample from a distribution with the density function
θ
θ+1
, 0 < θ < ∞, 0 ≤ x < θ.
(1 + x)
Pn
由定理7.2(分解定理)可知, i=1 ln (1 + xi )為一充分統計量。
X1 + 2X2 + X3 1 X2 + X3 + · · · + Xn−1 1
T1 = , T 2 = X1 + + Xn ,
4 4 2(n − 2) 4
X 1 + X 2 + · · · + Xn 2
T3 = , T4 = (X1 + 2X2 + 3X3 + · · · + nXn )
n n(n + 1)
試問以何者估計母體平均數µ較佳?
解:
145 CHAPTER 6. 估計
1.
µ ¶
X1 + 2X2 + X3
E (T1 ) = E
4
E (X1 + 2X2 + X3 )
=
4
µ + 2µ + µ
=
4
= µ
µ ¶
X1 + 2X2 + X3
Var (T1 ) = Var
4
Var (X1 + 2X2 + X3 )
=
16
σ 2 + 4σ 2 + σ 2
=
16
3 2
= σ
8
2.
µ ¶
1 X2 + X3 + · · · + Xn−1 1
E (T2 ) = E X1 + + Xn
4 2(n − 2) 4
1 E (X2 + X3 + · · · + Xn−1 ) 1
= µ+ + µ
4 2(n − 2) 4
1 (n − 2) 1
= µ+ µ+ µ
4 2(n − 2) 4
= µ
µ ¶
1 X2 + X3 + · · · + Xn−1 1
Var (T2 ) = Var X1 + + Xn
4 2(n − 2) 4
1 2 Var (X2 + X3 + · · · + Xn−1 ) 1
= σ + + σ2
16 4(n − 2)2 16
1 2 (n − 2) 2 1
= σ + σ + σ2
16 4(n − 2)2 16
σ2 σ2
= +
8 4(n − 2)
3.
¡ ¢
E (T3 ) = E X = µ
¡ ¢
Var (T3 ) = Var X = σ 2
6.1 點估計 146
4.
µ ¶
2
E (T4 ) = E (X1 + 2X2 + 3X3 + · · · + nXn )
n(n + 1)
2
= E ((X1 + 2X2 + 3X3 + · · · + nXn ))
n(n + 1)
2
= (µ + 2µ + 3µ + · · · + nµ)
n(n + 1)
2 n(n + 1)
= µ
n(n + 1) 2
= µ
µ ¶
2
Var (T4 ) = Var (X1 + 2X2 + 3X3 + · · · + nXn )
n(n + 1)
4
= Var ((X1 + 2X2 + 3X3 + · · · + nXn ))
n2 (n + 1)2
4
= (σ 2 + 22 σ 2 + 32 σ 2 + · · · + n2 σ 2 )
n2 (n + 1)2
4 n(n + 1)(2n + 1) 2
= σ
n2 (n + 1)2 6
2(2n + 1) 2
= σ
3n(n + 1)
由上述討論可發現
3 2
lim Var (T1 ) = σ ̸= 0,
n→∞ 8
σ2
lim Var (T2 ) = ̸= 0,
n→∞ 8
及
lim Var (T3 ) = lim Var (T4 ) = 0
n→∞ n→∞
2 (2n + 1) 2 σ 2
Var (T4 ) − Var (T3 ) = σ −
3n (n + 1) n
µ ¶ 2
2 (2n + 1) σ
= −1
3 (n + 1) n
n−1 σ 2
=
3 (n + 1) n
≥ 0
所以, T3 為較佳之估計式。
147 CHAPTER 6. 估計
¡ ¢ ¡ ¢ 2σ 4
E S 2 = σ 2 及 Var S 2 =
n−1
證明:.
1.
P n ¡ ¢2 P n ¡ ¢2
X −X Xi − X
¡ ¢ i=1 i 2
E S2 = E = σ E i=1
n−1 n−1 σ 2
由於
n ¡
P ¢2
Xi − X
i=1
∼ χ2 (n − 1)
σ2
¡ ¢
所以E S 2 = σ 2
2.
P n ¡ ¢2 P n ¡ ¢2
Xi − X X − X
¡ ¢ i=1 σ4 i=1 i
Var S 2 = Var
=
(n − 1)2 Var
n−1 σ2
又
n ¡
P ¢2
Xi − X
i=1
∼ χ2 (n − 1)
σ2
所以,
¡ ¢ σ4 2σ 4
Var S 2 = × 2(n − 1) =
(n − 1)2 n−1
Pn
例 6-5. 假設X1 , X2 , . . . , Xn 為一組由beta分配 Beta(θ, 1), θ > 0所產生的隨機樣本。令T = − i=1 log Xi /n
1. 試求 E(T )及Var(T )。
2. 試求1/θ之UMVUE, 並試問此UMVUE是否達到CRLB。
解:
6.1 點估計 148
1. 令 U = log X, 所以
¡ ¢ ¡ ¢ ¡ ¢
MU (t) = E etU = E et log X = E X t
Z 1
Γ (θ + 1) θ−1 0
= x (1 − x) xt dx
0 Γ (θ) Γ (1)
Z 1
= θ xθ+t−1 dx
0
θ
=
θ+t
由於
θ ′′ 2θ
MU′ (t) = − 2 及 MU (t) = 3
(θ + t) (θ + t)
故可求得 µ ¶2
1 2 1 1
E (U ) = − 及 Var (U ) = 2 − = 2
θ θ θ θ
又 Pn
Ui
T = −U = − i=1
n
所以
1 1
E (T ) = −1 × − =
θ θ
及
1 n 1
Var (T ) = × 2 = 2
n2 θ nθ
2.
∂ X £ ¤
n
∂ log f (X; θ)
= log θxθ−1
∂θ ∂θ i=1
" #
∂ Xn
= n log θ + (θ − 1) log xi
∂θ i=1
n X
n
= + log xi
θ i=1
· Pn ¸
log xi 1
= −n − i=1 −
n θ
Pn
令α(θ) = −1/n, 由定理6.2可知, − i=1 log Xi /n為1/θ之UMVUE且滿足CRLB, 其中
[τ ′ (θ)]
2
CRLB =
−nE [∂ 2 log f (x; θ) /∂θ2 ]
£ ¤2
−1/θ2
=
−n × [−1/θ2 ]
1
=
nθ2
149 CHAPTER 6. 估計
1. 若b
µ = aX + (1 − a)Y 為µ的不偏估計式, 0 < a < 1, 求a之值使b
µ之變異數為最小。
Pn ¡ ¢2 Pm ¡ ¢2 Pn ¡ ¢2
2. 若估計式e µ1 = bX i=1 Xi − X , µ
e2 = cX i=1 Yi − Y , µ
e3 = dY i=1 Xi − X , 以及e
µ4 =
Pm ¡ ¢2
eY i=1 Yi − Y 皆為µ的不偏估計式, 試求b, c, d, e值。
解:
1.
¡ ¢ 16 2 16
µ1 ) = Var aX + (1 − a)Y = a2 ×
Var (b + (1 − a) × = f (a)
n m
對上式做一階微分並令等於0得
df (a) 16 16
= 2a × − 2 (1 − a) × =0
da n m
所以
n
a=
n+m
Pn ¡ ¢2 Pm ¡ ¢2
2. 由定理6.3可知, X與Sx2 獨立以及Y 與Sy2 獨立, 故可知X與 i=1 Xi − X 獨立以及Y 與 i=1 Yi − Y 獨立, 又
由題目可知X與Y 獨立, 所以
à !
X
n
¡ ¢2 ¡ ¢ ¡ ¢
E (e
µ1 ) = E bX Xi − X = bE X E (n − 1) Sx2
i=1
= b × µ × (n − 1) × 16 = µ
得
1
b=
16 (n − 1)
à !
X
m
¡ ¢2 ¡ ¢ ¡ ¢
E (e
µ2 ) = E cX Yi − Y = cE X E (m − 1) Sy2
i=1
= c × µ × (m − 1) × 16 = µ
得
1
c=
16 (m − 1)
à !
X
n
¡ ¢2 ¡ ¢ ¡ ¢
E (e
µ3 ) = E dY Xi − X = dE Y E (n − 1) Sx2
i=1
= d × µ × (n − 1) × 16 = µ
6.1 點估計 150
得
1
d=
16 (n − 1)
" #
X
m
¡ ¢2 ¡ ¢ £ ¤
E (e
µ4 ) = E eY Yi − Y = eE Y E (m − 1) Sy2
i=1
= e × µ × (m − 1) × 16 = µ
得
1
e=
16 (m − 1)
6.1.1 最大概似法
最大概似法 X1 , X2 , . . . , Xn 為抽自母體f (θ; x)的一組樣本數為n的隨機樣本, θ 為未知母體參數, f (θ; x1 , x2 , . . . , xn )為X1 ,
X2 , . . . , Xn 之聯合機率密度函數, 則稱
L (θ; x1 , x2 , . . . , xn ) = f (θ; x1 , x2 , . . . , xn )
= f (θ; x1 )f (θ; x2 ) · · · f (θ; xn )
所以 Ã n ! Ã !
X X
n
lnL(p; x) = xi lnp + n− xi ln(1 − p)
i=1 i=1
求解上式得 Pn
xi
pb = i=1
n
151 CHAPTER 6. 估計
所以 Ã n !
X Y
n
lnL(x; λ) = xi lnλ − nλ − ln xi
i=1 i=1
e−θ θyi
f (yi |θ) =
yi !
2. Consider a random sample 5, 0, 1, 1, 0, 3, 2, 4, 1. Please use this data set to obtain the maximum
likelihood estimate of θ.
解:
1. Pn
Y
n
e−θ θyi e−nθ θ i=1 yi
L (θ|yi ) = = Qn
i=1
yi ! i=1 yi !
Pn
e−nθ θ i=1 yi X
n X
n
log L (θ|yi ) = log Qn = −nθ + yi log θ − log yi
i=1 yi ! i=1 i=1
Pn
2. 由上例可知, θb = i=1 yi /n = (5 + 0 + 1 + 1 + 0 + 3 + 2 + 4 + 1) /9 = 1.8889
6.1 點估計 152
所以
n n Xn
(xi − µ)
2
lnL(x; µ, σ 2 ) = − ln2π − lnσ 2 −
2 2 i=1
2σ 2
∂lnL(x; µ, σ 2 ) Xn
(xi − µ)
= −2 × −1 = 0
∂µ i=1
2σ 2
∂lnL(x; µ, σ 2 ) n 1 X (xi − µ)
n 2
= − − × −1 = 0
∂σ 2 2 σ 2 i=1 2 (σ 2 )2
求解上式得 Pn Pn 2
xi (xi − x)
b=
µ i=1
及σ
b2 = i=1
n n
又
"P #
¡ 2¢ n
(xi − x)
2
b
E σ = E i=1
n
· ¸
(n − 1)S 2
= E
n
n−1 2
= σ
n
所以, 由此範例可發現b
σ 2 並非為σ 2 之不偏估計式。因此, 由最大概似法所推得之最大概似估計式並不完全是不偏估計式,
但可以由轉換而成為不偏估計式。
對lnL(θ; x)做一階微分得
dlnL(θ; x) n
= − n+1 < 0
dθ θ
所以, L(θ; x)為θ之遞減函數, 即θ愈大, L(θ; x)愈小。又0 < x < θ < ∞, 所以 θb = max{x1 , x2 , . . . , xn }。
例 6-12. Find the maximum likelihood estimate (MLE) which is based on a random sample X1 , X2 ,. . . , Xn
from the pdf f (x; θ1 , θ2 ) = 1/ (θ2 − θ1 ); θ1 ≤ x ≤ θ2 , zero otherwise.
解: µ ¶n
1
L (x; θ1 , θ2 ) =
θ2 − θ1
左右取對數可得
ln L (x; θ1 , θ2 ) = −n ln (θ2 − θ1 )
又由於
∂ ln L (x; θ1 , θ2 ) n ∂ ln L (X) −n
= >0及 = <0
∂θ1 θ2 − θ1 ∂θ2 θ2 − θ1
故可知ln L (x; θ1 , θ2 )為θ2 之嚴格遞增函數及ln L (x; θ1 , θ2 )為θ1 之嚴格遞減函數, 又θ1 ≤ x ≤ θ2 , 故可求得
b
則µ(x1 , x2 , . . . , xn )即為θ之充分統計量。由上式可知, 由於h (x1 , x2 , . . . , xn )與θ無關, 因此若有一θ能使得g有最
大值, 則必定也可以使得L(µ(x1 , x2 , . . . , xn ), θ)有最大值。由概似函數之定義可知, θ即為母體參數θ之MLE。 b
b
若θ為µ(x b
1 , x2 , . . . , xn )之一對一函數, 則θ亦為一充分統計量。
b
2. 一致性: 若θ為θ之MLE, 則
³¯ ¯ ´
¯ ¯
lim P ¯θb − θ¯ < ε = 1
n→∞
由不變性可知
³¯ ³ ´ ¯ ´
¯ ¯
lim P ¯τ θb − τ (θ)¯ < ε = 1
n→∞
6.1 點估計 154
Var (W ) Var (W )
lim [τ ′ (θ)]2
= lim ′ 2 =1
n→∞
2
n→∞ h [τ (θ)] i
nE [ ∂θ ln f (θ;x)]
∂ ∂2
−E ∂θ2 ln L(X;θ)
[τ ′ (θ)]
2
Var (W ) ≈ £ ∂2 ¤
E − ∂θ2 ln L (X; θ)
又由最大概似估計法及泰勒展開式可知
³ ´
∂ ln L X; θb ∂ ln L (X; θ) ³ b ´ ∂ 2 ln L (X; θ)
≈ + θ−θ ≈0
∂θ ∂θ ∂θ2
化簡後可得 Á
³ ´ ∂ ln L (X; θ) ∂ 2 ln L (X; θ)
θb − θ = −
∂θ ∂θ2
b
由先前推導可知, θ之變異數為
1
£ ¤
−E ∂2
∂θ 2 ln L (X; θ)
b
所以, 若θ為θ之不偏估計式可得
θb − θ d
lim r −→ N (0, 1)
n→∞ h 1 i
∂2
−E ∂θ 2
ln L(X;θ)
又
∂ ln L(X;θ)
∂ ln L(X;θ) r ∂θ
− ∂θ h i
θb − θ
∂2
∂ 2 ln L(X;θ) −E ∂θ 2 ln L(X;θ)
lim r = lim r ∂θ 2
= lim ∂ 2 ln L(X;θ)
,
n→∞ h 1 i n→∞ h 1 i n→∞ − ∂θ 2
∂2 ∂2 h i
−E ln L(X;θ) −E ∂θ 2 ln L(X;θ) ∂2
−E ∂θ
∂θ 2 2 ln L(X;θ)
其中 h i
∂ ln L(X;θ)
∂ ln L(X;θ) E ∂θ
E q £
∂θ
¤
= q
£ ∂2 ¤ =0
−E ∂2
∂θ 2 ln L (X; θ) −E ∂θ 2 ln L (X; θ)
且
2
∂ ln L(X;θ) ∂ ln L(X;θ)
Var q £
∂θ
¤
= E q £¤
∂θ
−E ∂2
∂θ 2 ln L (X; θ) −E
ln L (X; θ) ∂2
∂θ 2
h i2 h 2 i
E ∂ ln L(X;θ)
∂θ −E ∂
∂θ 2 ln L (X; θ)
= £ ∂2 ¤= £ ∂2 ¤
−E ∂θ2 ln L (X; θ) −E ∂θ2 ln L (X; θ)
= 1
155 CHAPTER 6. 估計
所以
∂ ln L(X;θ)
d
lim q £ ∂2
∂θ
¤ −→ N (0, 1)
n→∞
−E ∂θ2 ln L (X; θ)
由Slutsky’s Theorem (第128頁)可知,
2
−∂ ln L(X;θ)
lim £ ∂2 ∂θ 2
¤ =1
n→∞ −E ∂θ 2 ln L (X; θ)
即 · 2 ¸
∂ 2 ln L (X; θ) ∂
lim − = lim −E ln L (X; θ)
n→∞ ∂θ2 n→∞ ∂θ2
或 µ¯ 2 · 2 ¸¯ ¶
¯∂ ∂ ¯
lim P ¯¯ 2 ln L (X; θ) − E ln L (X; θ) ¯<ε =1
¯
n→∞ ∂θ ∂θ2
2
h 2 i
因此, − ∂θ
∂
2 ln L (X; θ)可做為−E ∂θ ∂
2 ln L (X; θ) 之一致估計式。又MLE具不變性及一致性, 故上述近似式可改
寫為
[τ ′ (θ)]
2
Var (W ) ≈ £ ∂2 ¤
E − ∂θ2 ln L (X; θ)
[τ ′ (θ)] |θ=θb
2
≈ ¯
− ln L (X; θ)¯θ=θb
∂2
∂θ 2
例 6-13. Consider a random sample {X1 , X2 , . . . , Xn } from a distribution with density function
µ ¶
1 |x|
f (x|α) = exp − , −∞ < x < ∞.
2α α
1. Find the maximum likelihood estimator of α.
解:
1.
Y
n Yn µ ¶ µ Pn ¶
1 |xi | |xi |
f (xi |α) = exp − = 2−n α−n exp − i=1
i=1 i=1
2α α α
所以 Pn
d ln L (X,α) n i=1 |xi |
=− + =0
dα α α2
可求得 Pn
|xi |
b=
α i=1
n
6.1 點估計 156
2.
Pn
|xi |
ln L (X,α) = −n ln 2 − n ln α − i=1
α
nb
α
= −n ln 2 − n ln α −
α
上式對α做二階微分得
¯
∂ 2 ln L (X,α) ¯¯ n 2nbα
¯ = − 3
∂α2 ¯ b2
α b
α
α=b
α
n
= − 2
b
α
所以b
α之漸近變異數為
1
Var (b
α) ≈ ¯
¯
2 L(X,α) ¯
− ∂ ln∂α ¯
¯
2
α=b
α
b2
α
=
n
例 6-14. If gene frequencies are in equilibrium, the gene types AA, Aa and aa occur with probabilities
2
(1 − θ) , 2θ (1 − θ) and θ2 , respectively. Plato el al. (1964) published the following data on haptoglobin
type in a sample of 200 people.
Haptoglobin type
Hp1-1 (AA) Hp1-2 (Aa) Hp2-2 (aa)
14 52 134
解:
取對數得
所以
d ln L (X, θ) 2n − 2y1 − y2 2y1 + y2
= − =0
dθ θ 1−θ
故可求得
2n − 2y1 − y2 − 2nθ + 2y1 θ + y2 θ − 2y1 θ − y2 θ 2n − 2y1 − y2 − 2nθ
= =0
θ (1 − θ) θ (1 − θ)
得
2n − 2y1 − y2
θb =
2n
2. ³ ´
b 2n 1 − b
θ
d ln L (X, θ) 2nθ
= −
dθ θ 1−θ
及
¯ ³ ´
b ¯¯
d ln L (X, θ) ¯¯
2
2nθb 2n 1 − θ ¯
¯ = − 2 − ¯
dθ2 ¯ θ (1 − θ) ¯θ=θb
2
θ=θb
2n 2n
= − −
θb 1 − θb
2n
= − ³ ´
θb 1 − θb
b
所以θ之漸近變異數為 ³ ´
³ ´ θb 1 − θb
Var θb ≈
2n
3.
2n − 2y1 − y2 2 × 200 − 2 × 14 − 52
θb = = = 0.8
2n 2 × 200
及 ³ ´
³ ´ θb 1 − θb 0.8 × 0.2
Var θb ≈ = = 0.0004
2n 2 × 200
所以θ之95%信賴區間為
" r r #
³ ´ ³ ´
θb − z0.025 Var θ , θ + z0.025 Var θb
b b
h √ √ i
= 0.8 − 1.96 0.0004, 0.8 + 1.96 0.0004
= [0.7608, 0.8392]
6.1 點估計 158
6.1.2 動差法
動差法 X1 , X2 , . . . , Xn 為抽自母體f (θ; x)的一組樣本數為n的隨機樣本, θ 為未知母體參數, 得樣本之r階動差,
Mr ,為 Pn
i=1 Xir
Mr =
n
由於
µ Px ¶ X
n µ ¶
xri Xir
E (Mr ) = E i=1
= E = E (X r )
n i=1
n
可知樣本之r階動差為母體r階動差之不偏估計式, 利用此一觀念求得估計式之方法稱為動差法
where θ > 0.
159 CHAPTER 6. 估計
解:
1. µ 2¶ µ Pn ¶ Qn
Y
n 2
xi xi i=1 xi i=1 xi
L (X, θ) = exp − = exp −
i=1
θ 2θ 2θ θn
取對數得
Pn Y
n
x2i
ln L (X, θ) = − i=1
+ ln xi − n ln θ
2θ i=1
2. Z Z
∞ ∞
x x2 x2 − x2
EX = x e− 2θ dx = e 2θ dx
0 θ 0 θ
x2 1 −1
令 = t, 可得 dx = (θt) 2 θdt
θ 2
所以
Z ∞ 1 Z ∞
x2 − x 2 θ2
t 2 e− 2 dt
1 t
e 2θ dx =
0 θ 2 0
1 Z ∞ µ ¶ 12 µ ¶
θ2 1 t − t t
= × 22 × 2 × e 2d
2 0 2 2
µ ¶ √
√ 3 √ π
= 2θ × Γ = 2θ ×
2 2
r
πθ
=
2
Pn r
i=1 xi πθ
= EX =
n 2
因此
2x2
θe =
π
6.1 點估計 160
例 6-18.
Suppose X1 , X2 , . . . , Xn is a random sample from X, where X has density
(
(1 + αx) /2, −1 ≤ x ≤ 1, − 1 ≤ α ≤ 1
f (x|θ) =
0, otherwise
解:
1. 由於 −1 ≤ x ≤ 1及−1 ≤ α ≤ 1, −1 ≤ αx ≤ 1, 所以
1 + αx
0≤ ≤ 1.
2
又 Z 1
1 + αx
dx = 1
−1 2
因此, 由機率公理可知f (x)為一機率密度函數 。
2. Z 1
x + αx2 α
EX = dx =
−1 2 3
所以
α
x= , 即 α
e = 3x
3
例 6-19. Suppose that X1 , . . . , Xn is a random sample from a distribution for which the pdf f (x|λ) is as
follows: (
λxλ−1 , for 0 < x < 1
f (x|λ) =
0, otherwise
Also, suppose that the value of λ is unknown (λ > 0). Find the maximum likelihood estimator (MLE) of λ.
解:
L (X, λ) = λn Πni=1 xλ−1
i
ln L (X, λ) = n ln λ + (λ − 1) ln Πni=1 xi
Xn
= n ln λ + (λ − 1) ln xi
i=1
161 CHAPTER 6. 估計
n X
n
d ln L (X, λ)
= + ln xi = 0
dλ λ i=1
b = − Pn n
λ
i=1 ln xi
Pn
例 6-20. 設X1 , . . . ,Xn 為iid Beronulli(p), 則Y = i=1 Xi 是binomial(n, p)。假設p的事前分配為Beta(α, β),
試求在給定Y = y的情況下, p的事後機率分配。
解: 由聯合機率密度函數之定義可知
µ ¶
n y n−y Γ (α + β) α−1 β−1
f (y, p) = p (1 − p) × p (1 − p)
y Γ (α) Γ (β)
n! n−y Γ (α + β) α−1 β−1
= py (1 − p) p (1 − p)
y! (n − y)! Γ (α) Γ (β)
n! Γ (α + β) y+α−1 n−y+β−1
= p (1 − p)
y! (n − y)! Γ (α) Γ (β)
又Y 的邊際機率密度函數為
Z 1
n! Γ (α + β) α+y−1 n−y+β−1
f (y) = p (1 − p) dp
0 y! (n − y)! Γ (α) Γ (β)
n! Γ (α + β) Γ (α + y) Γ (n − y + β)
=
y! (n − y)! Γ (α) Γ (β) Γ (α + β + n)
故可知
n! Γ(α+β)
y!(n−y)! Γ(α)Γ(β) n−y+β−1
f (p|y) = Γ(α+β) Γ(α+y)Γ(n−y+β)
py+α−1 (1 − p)
n!
y!(n−y)! Γ(α)Γ(β) Γ(α+β+n)
Γ (α + β + n) n−y+β−1
= py+α−1 (1 − p)
Γ (α + y) Γ (n − y + β)
估計量。
h i h i
2 2
exp − 2σ1 2 (x − θ) exp − 2b12 (θ − a)
f (x, θ) = √ √
2πσ 2 2πb2
· ¸
1 1 1 2 1 2
= √ ×√ × exp − 2 (x − θ) − 2 (θ − a)
2πσ 2 2πb2 2σ 2b
6.2 區間估計 162
" #
2 2
1 1 b2 (x − θ) + σ 2 (θ − a)
= √ ×√ × exp −
2πσ 2 2πb2 2σ 2 b2
其中
2 2
b2 (x − θ) + (θ − a) = b2 x2 + b2 θ2 − 2xb2 θ + σ 2 θ2 + σ 2 a2 − 2aσ 2 θ
¡ ¢ ¡ ¢ ¡ ¢
= b2 + σ 2 θ2 − 2 xb2 + aσ 2 + b2 x2 + σ 2 a2
" ¡ 2 ¢ #2 ¡ 2 ¢2
p xb + aσ 2 ¡ 2 2 ¢ xb + aσ 2
= b +σ θ− √
2 2 + b x +σ a −2 2
b2 + σ 2 b2 + σ 2
" ¡ 2 #
¢ 2 ¡ 2 ¢2
¡ 2 ¢ xb + aσ 2 ¡ 2 2 ¢ xb + aσ 2
= b +σ 2
θ− + b x +σ a − 2 2
b2 + σ 2 b2 + σ 2
故上式可改寫為
" ¡ 2 ¢ #2
1 1 2
b +σ 2 xb + aσ 2
f (x, θ) = √ ×√ × exp − θ −
2πσ 2 2πb2 2σ 2 b2 b2 + σ 2
¡ ¢ (xb2 +aσ2 )2
− b2 x2 + σ 2 a2 + b2 +σ2
× exp
2σ 2 b2
又X的邊際機率密度函數為
¡ ¢ (xb2 +aσ2 )2 r
1 − b2 x2 + σ 2 a2 + b2 +σ2
1 2 2
f (x) = √ ×√ × exp × 2π 2σ b
2 2 2
2σ b 2 b + σ2
2
2πσ 2πb
因此可求得事後機率分配為
( · ¸2 )
1 b2 + σ 2 xb2 + aσ 2
f (θ|x) = q × exp − θ− 2
2π b2σ
2 b2 2σ 2 b2 b + σ2
2 +σ 2
( · ¸2 )
1 1 xb2 + aσ 2
= q × exp − σ2 b2 θ − 2
2π b2σ
2 b2
2 b2 +σ2 b + σ2
2 +σ 2
³ ´
xb2 +aσ 2 σ 2 b2
故可推得 θ|x ∼ N b2 +σ 2 , b2 +σ 2 。
6.2 區間估計
區間估計 區間估計乃指根據觀察值X1 , X2 , . . . , Xn 與運用抽樣分配及機率之原理, 來預測一未知參數θ在某種程度
下可能所在的範圍的方法。 以機率式表示:
P(L ≤ θ ≤ U ) = 1 − α,
其中
163 CHAPTER 6. 估計
1. 1 − α 稱為信賴水準(Confidence Level)
3. L稱為信賴區間的信賴上限
4. U 稱為信賴區間的信賴上限
1. If x = 17.9 with n = 50, find a one-side lower 95% confidence limit for θ.
2. Find a one-side lower 95% confidence limit for P (X > t) = exp (−t/θ) where t is an arbitrary know value.
解:
故 µ ¶ µ ¶
Z0.05 x
P x−θ >− √ θ =P θ < √ = P (θ < 23.331) = 0.95
n 1 − Z0.05 / n
由信賴區間之定義可知, θ之左尾95%信賴區間為[0, 23.331]
2. µ ¶
t t ³ ´
P (θ > 23.331) = P − < − = P e−t/θ < e−t/23.331 = 0.95
θ 23.331
由信賴區間之定義可知, θ之左尾95%信賴區間為[0, e−t/18.133 ]
¡ ¢ ³ ´
其中, α
2 = P Z > z α2 。所以, x − z α2 √σn , x + z α2 √σn 為母體參數µ在信賴水準為(1 − α) × 100%下眾多信賴區間
中其中一組信賴區間 。此信賴區間之上下限分別為
σ σ
L = X − z α2 √ 及 U = X + z α2 √
n n
¡ √ √ ¢
除此之外, X − z α2 σ/ n, X + z α2 σ/ n 為在信賴水準(1 − α) × 100%下具有最小誤差界限之信賴區間。由定義可知
min T2 − T1
Z X−T1
√
σ/ n 1 z2
subject √ e− 2 dz = 1 − α
X−T2
√
σ/ n
2π
由Lagrange方法可將上述問題寫成
½Z X−T1
√ ¾
σ/ n 1 − z2
min L(T1 , T2 ) = T2 − T1 − λ √ e 2 dz − (1 − α)
X−T2
√
σ/ n
2π
分別對T1 , T2 及λ做偏微分並令其等於零可得
“ ”2
∂L 1 1 −1 X−T2
√
=1−λ √ × √ e 2 σ/ n
= 0,
∂T2 σ/ n 2π
“ ”2
∂L 1 1 −1 X−T1
√
= −1 + λ √ × √ e 2 σ/ n
= 0,
∂T1 σ/ n 2π
及
Z X−T1
√
∂L σ/ n 1 z2
=− √ e− 2 dz + (1 − α) = 0
∂λ X−T2
√ 2π
σ/ n
求解上述方程式可得
µ ¶2 µ ¶2
X − T2 X − T1
√ = √
σ/ n σ/ n
及
Z X−T1
√
σ/ n 1 z2
√ e− 2 dz = 1 − α
X−T2
√
σ/ n
2π
故可推得
σ σ
T1 = X − z α2 √ 及 T2 = X + z α2 √
n n
165 CHAPTER 6. 估計
所以母體參數µ之(1 − α) × 100%信賴區間為
· ¸
σ σ
x − z α2 √ , x + z α2 √
n n
所以,母體參數µ在信賴水準為 (1 − α) × 100%下之信賴區間
· ¸
s s
x − t α2 (n − 1) √ , x + t α2 √ (n − 1)
n n
計算該鋼條平均強度之95%信賴區間?
解: Pn
x2i − nx2 2856106 − 2856100
s2 = i=1
= =2
n−1 4−1
6.2 區間估計 166
所以µ之95%信賴區間為
" r r #
2 2
845 − t0.025 (3) , 845 + t0.025 (3) = [842.75, 847.25]
4 4
單位:毫克。據以往經驗, 發現該香煙一隻尼古丁含量一項都近似常態分配。
1. 求該香煙一隻的尼古丁平均含量的90%信賴區間
解:
x = 17.8333, s2 = 0.5933
1. 所以µ之90%信賴區間為
" r r #
0.5933 0.5933
17.8333 − t0.05 (11) , 17.8333 + t0.05 (11) = [17.434, 18.232]
12 12
2. 因為標準差已知且資料服從常態分配,所以µ之90%信賴區間為
" r r #
0.5933 0.5933
17.8333 − z0.05 , 17.8333 + z0.05 = [17.468, 18.199]
12 12
s s
σx2 σy2 σx2 σy2
= P −z α2 ≤ X − Y − (µx − µy ) ≤ z α2
+ +
n1
n2 n1 n2
s s
2 2
σy 2 2
σy
σx σx
= P X − Y − z α2 + ≤ µx − µy ≤ X − Y + z α2 +
n1 n2 n1 n2
因此, 由t分配之定義可推得
X −s
Y − (µx − µy )
σx2 σy2
+
n1 n2
v ∼ t (n1 + n2 − 2)
u
u (n1 − 1) Sx2 (n2 − 1) Sy2
u +
t σx2 σy2
n1 + n2 − 2
6.2 區間估計 168
X − Y − (µx − µy ) X −s
Y − (µx − µy )
s
σx2 σy2 σ2 σ2
+ +
n1 n2 n1 n2
v = v
u u (n2 − 1) Sy2
u (n1 − 1) Sx2 (n2 − 1) Sy2 u (n1 − 1) Sx2
u + t +
t σx2 σy2 σ2 σ2
n1 + n2 − 2 n1 + n2 − 2
X − Yr− (µx − µy )
1 1
σ2 +
n1 n2
= s
1 (n1 − 1) Sx2 + (n2 − 1) Sy2
σ2 n1 + n2 − 2
X − Y − (µx − µy )
= s r
(n1 − 1) Sx2 + (n2 − 1) Sy2 1 1
+
n1 + n2 − 2 n1 n2
推得
X − Y − (µx − µy )
s r ∼ t (n1 + n2 − 2)
(n1 − 1) Sx2 + (n2 − 1) Sy2 1 1
+
n1 + n2 − 2 n1 n2
因此, 由定義可知
X − Y − (µx − µy )
1−α = P
−t 2 (n) ≤
α r ≤ t α2 (n)
1 1
Sp +
n1 n2
µ r r ¶
1 1 1 1
= P −Sp + t α2 (n) ≤ X − Y − (µx − µy ) ≤ Sp + t α2 (n)
n1 n2 n1 n2
µ r r ¶
1 1 1 1
= P X − Y − Sp + t α2 (n) ≤ µx − µy ≤ X − Y + Sp + t α2 (n) ,
n1 n2 n1 n2
其中
(n1 − 1) Sx2 + (n2 − 1) Sy2
Sp2 = , n = n1 + n2 − 2
n1 + n2 − 2
在此我們稱Sp2 為共同變異數σ 2 之混和估計量(pooled estimator), 且
à !
¡ 2¢ (n1 − 1) Sx2 + (n2 − 1) Sy2
E Sp = E
n1 + n2 − 2
169 CHAPTER 6. 估計
¡ ¢ ¡ ¢
(n1 − 1) E Sx2 (n2 − 1) E Sy2
= +
n1 + n2 − 2 n1 + n2 − 2
(n1 − 1) σ 2
(n2 − 1) σ 2
= +
n1 + n2 − 2 n1 + n2 − 2
= σ2
其中 Ã !2
s2x s2y
+
n1 n2
v= 0 12
0
2
12
s2 s
B yC
@ xA @ A
n1 n2
n1 − 1 + n2 − 1
若v不為整數, 則無條件捨去。
此外, 當樣本皆為大樣本時, 則由於Sx2 和Sy2 皆為母體變異數之優良估計式, 根據一致性原則可知, Sx2 及Sy2 可直接作為
母體變異數 。因此, 不論母體平均數是否相等, µx − µy 在(1 − α)%下之信賴區間皆可改寫為
s s
2 s2 2 s2
x − y − z α sx + y , x − y + z α sx + y
2
n1 n2 2
n1 n2
¡ ¢ ¡ ¢
例 6-27. 假設A,B兩班之統計期中考成績分別服從N µx , σ 2 及N µy , σ 2 , 其中母體變異數σ 2 未知。今由各班抽出
一組隨機樣本, 得其樣本觀測值分別為x=81.31, s2x =60.76, n1 =9, y=78.61, s2y =48.24, n2 =15, 求µx − µy 之95%信
賴區間為何?
解:
因為σx2 = σy2 = σ 2 , 所以
(9 − 1) × 60.76 + (15 − 1) × 48.24
s2p =
9 + 15 − 2
故可求得µx − µy 之95%信賴區間為
" r r #
1 1 1 1
81.31 − 78.61 − sp + t0.025 (22) , 81.31 − 78.61 + sp + t0.025 (22) = [−3.65, 9.05]
9 15 9 15
6.2 區間估計 170
X(都市國中) : 73, 59, 69, 66, 55, 87, 89, 89, 84, 75
Y (鄉村國中) : 86, 60, 71, 85, 42, 34, 53, 60, 68, 92
(n1 − + (n2 −
1)s2x 1)s2y
s2p = = 260.63
n1 + n2 − 2
又t0.025 (18) = 2.101, 所以X − Y 之95%信賴區間為
" r #
√ 1 1
(74.6 − 65.1) − 2.101 260.63 + = [−5.67, 24.67]
10 10
6.2.5 兩相依母體平均數之區間估計
假設(X1 , Y1 ) , (X2 , Y2 ) , ..., (Xn , Yn )一樣本數為n之相依樣本(例如父子之身高, 減肥前減肥後之體重), 令di =
Xi − Yi , i = 1, 2 , ..., , n. 假設di 表兩隨機變數之差, µd 及σd2 分別表其平均數及變異數, 則由t分配之定義可知
d − µd
√ ∼ t(n − 1)
Sd / n
因此, 由信賴區間之定義可知
µ ¶
d − µd
1−α = P −t α2 (n − 1) ≤ √ ≤ t α2 (n − 1)
Sd / n
µ ¶
Sd Sd
= P −t α2 (n − 1) √ ≤ d − µd ≤ t α2 (n − 1) √
n n
µ ¶
Sd Sd
= P d − t α2 (n − 1) √ ≤ µd ≤ d + t α2 (n − 1) √
n n
車輛編號 1 2 3 4 5 6 7 8
裝設前 3.2 4.6 3.6 5.3 6.2 3.2 3.6 4.5
裝設後 2.9 4.7 3.2 5.0 5.7 3.3 3.4 4.3
假設每輛車耗油量皆呈常態分配, 求一輛汽車裝設這種省油裝置之前與之後100公里之平均耗油量的90%信賴區間。
解:
d = 0.2125, s2d = 0.0470 , n = 8 及 t0.05 (7) = 1.895
所以, µd 之90%信賴區間為
· ¸
0.2167 0.2167
0.2125 − 1.895 × √ , 0.2125 + 1.895 × √ = [0.067, 0.3577]
8 8
6.2.6 母體變異數之區間估計
2
假設X1 , X2 , . . . , Xn 為抽自N (µ, σ 2 )的一組樣本數為n的隨機樣本。若母體變異數σ 2 未知, 由於 (n−1)S
σ2 ∼
χ (n − 1), 所以由信賴區間之定義可知
2
¡ ¢
1−α = P T1 ≤ σ 2 ≤ T 2
µ ¶
(n − 1) S 2 (n − 1) S 2 (n − 1) S 2
= P ≤ ≤
T2 σ2 T1
今要使得σ之信賴區間為最小即求解下列問題
p p
min T2 − T1
Z (n−1)S 2
T1 1
2 −1 e− 2 dx = 1 − α
n−1 x
subject
(n−1)S 2
¡ n−1 ¢ n−1 x
T2
Γ 2 2 2
由Lagrange方法可將上述問題寫成
p p Z (n−1)S 2
T1 1
2 −1 e− 2 dx − (1 − α)
n−1 x
min L = T2 − T1 − λ ¡ n−1 ¢ x
(n−1)S 2
Γ 2
n−1
2
T2 2
6.2 區間估計 172
分別對T1 , T2 及λ做偏微分並令其等於零可得
µ ¶ n−1
2 −1
(n−1)S 2
∂L 1 1 (n − 1) S 2 −
T2 (n − 1) S 2
= √ − λ ¡ n−1 ¢ n−1 e 2 =0
∂T2 2 T2 Γ 2 2 2 T2 T22
µ ¶ n−1
2 −1
(n−1)S 2
∂L 1 1 (n − 1) S 2 −
T1 (n − 1) S 2
= − √ + λ ¡ n−1 ¢ n−1 e 2 =0
∂T1 2 T1 Γ 2 2 2 T1 T12
Z (n−1)S 2
∂L T1 1
2 −1 e− 2 dx − (1 − α) = 0
n−1 x
= ¡ n−1 ¢ n−1 x
∂λ (n−1)S 2
Γ 2 2
T2 2
求解前兩式可得最佳解之必要條件為
n−1 (n − 1) S 2
µ ¶ − 1 T2
(n − 1) S 2 2 − (n − 1) S 2
e 2 √
T2 T22 T
= √ 2
n−1 (n − 1) S 2
T1
µ ¶ − 1 T1
(n − 1) S 2 2 − (n − 1) S 2
e 2
T1 T12
經化簡後得
e− 2 b 2 = e− 2 a 2 ,
b n a n
其中
(n − 1) S 2 (n − 1) S 2
a= , b=
T2 T1
然而, 以上述方法要求得σ 2 之最佳信賴區間在技術上實 太為繁瑣。 因此, 為求計算簡便, 我們通常以下列方法來求解母
體參數, σ 2 , 之信賴區間
µ ¶
(n − 1) S 2
1−α = P χ21− α2 (n − 1) ≤ ≤ χ α (n − 1)
2
σ2 2
à !
1 σ2 1
= P ≥ ≥ 2
χ21− α (n − 1) (n − 1) S 2 χ α (n − 1)
à 2 2
!
(n − 1) S 2
(n − 1) S 2
= P ≤σ ≤ 2
2
χ2α (n − 1) χ1− α (n − 1)
2 2
解:
已知n = 20, s2 = 40, 又查表得 χ20.025 (19) = 32.8523及χ20.975 (19) = 8.9065,, 所以σ 2 之95%信賴區間為
· ¸
19 × 40 19 × 40
, = [23.1338, 85.3309]
32.8523 8.9065
6.2.7 兩母體變異數比例之區間估計
假設X1 , X2 , . . . , Xn1 ; Y1 , Y2 , . . . , Yn2 為分別抽自N (µx , σx2 )及N (µy , σy2 )的兩組樣本數為n1 及n2 的隨機樣本,其
中σx2 及σy2 未知且n1 < 30及n2 < 30。由於
由F 分配及信賴區間之定義可知
(n1 − 1)Sx2
σx2
n1 − 1
1−α = P F
1− 2 1α (n − 1, n − 1) <
2 < F α (n − 1, n − 1)
1 2
(n2 − 1)Sy 2 2
σy2
n2 − 1
µ ¶
Sx /σx2
2
= P F1− 2 (n1 − 1, n2 − 1) > 2 2 > F 2 (n1 − 1, n2 − 1)
α α
Sy /σy
à !
1 Sy2 σx2 1
= P < 2 2 <
F α2 (n1 − 1, n2 − 1) S x σy F1− α2 (n1 − 1, n2 − 1)
à !
Sx2 /Sy2 σx2 Sx2 /Sy2
= P < 2 <
F α2 (n1 − 1, n2 − 1) σy F1− α2 (n1 − 1, n2 − 1)
s21 /s22 = 1.0964, F0.05 (15, 9) = 3.01及F0.05 (9, 15) = 2.59, 可求得
1 1
F0.95 (15, 9) = = = 0.3861
F0.05 (9, 15) 3.01
6.2.8 單一母體比例之區間估計
Pn
假設X1 , X2 , ..., Xn 為抽自Bernoulli(p)的一組樣本數為n的隨機樣本。令b
p= i=1 Xi /n, 則當樣本數夠大時由
中央極限定理可知
pb − p
r ∼ N (0, 1)
P(1 − p)
n
所以由信賴區間之定義可知
à !
pb − p
1−α ≈ P −z α2 ≤ p ≤ z α2
P (1 − p) /n
³ p p ´
= P −z α2 P (1 − p) /n ≤ pb − p ≤ z α2 P (1 − p) /n
³ p p ´
= P pb − z α2 P (1 − p) /n ≤ p ≤ pb + z α2 P (1 − p) /n
由於母體參數p為一未知參數, 因此無法由此法求得信賴區間。又由上式可知
¯ ¯
¯ pb − p ¯ p − p)
2
¯ ¯ (b
¯p ¯ ≤ z α2 即 ≤ z 2α2
¯ P (1 − p) /n ¯ P (1 − p) /n
故可推得 Ã ! Ã !
z 2α z 2α
1+ 2
p2 − 2b
p+ 2
p + pb2 ≤ 0
n n
經化簡後可改寫為
³ ´ q
p + z 2α /n + 2z α2 pb (1 − pb) /n + z 2α /4n2
2b
³ ´
p −
2 2
2
2 1 + z α /n
2
³ ´ q
p + z 2α /n + 2z α2 pb (1 − pb) /n + z 2α /4n2
2b
³ ´
× p +
2 2
2 1 + z 2α /n
2
≤ 0
175 CHAPTER 6. 估計
所以,
q q
pb + z 2α /2n − z α2 pb (1 − pb) /n + z 2α /4n2 pb + z 2α /2n + z α2 pb (1 − pb) /n + z 2α /4n2
P ≤p≤ ≈1−α
2 2 2 2
1 + z 2α /n 1 + z 2α /n
2 2
" r r #
pb (1 − pb) pb (1 − pb)
pb − z α2 , pb + z α2
n n
又
" n à ! #
∂2 X Xn
∂2
− 2 ln L (X; p) = − 2 xi ln p + n − xi ln (1 − p)
∂p ∂p i=1 i=1
nb p n (1 − pb)
= +
pb2
(1 − pb)
2
n n
= +
pb 1 − pb
n
=
pb (1 − pb)
所以 h i2
d
dp p |p=bp pb (1 − pb)
p) ≈
V (b ¯ =
¯ n
− ∂2
∂p2 ln L (X; p)¯
p=b
p
由於 µ¯ ¯ ¶
pb − p ¯ pb (1 − pb) P (1 − p) ¯
lim p
d ¯
−→ N (0, 1) 及 lim P ¯ − ¯
n→∞ P (1 − p) /n n→∞ n n ¯<ε =1
由Slutsky’s Theorem 可知
p
P (1 − p) /n pb − p pb − pb1 d
lim p p = lim p −→ N (0, 1)
n→∞ pb (1 − pb) /n P (1 − p) /n n→∞ pb (1 − pb) /n
6.2 區間估計 176
所以,
à !
pb − p
1−α ≈ P −z α2 < p < z α2
Var (b
p)
à r r !
pb (1 − pb) pb (1 − pb)
= P pb − z α2 < p < pb + z α2
n n
故p之(1 − α) × 100%信賴區間寫成
" r r #
pb (1 − pb) pb (1 − pb)
pb − z α2 , pb + z α2
n n
6.2.9 兩母體比例差之區間估計
假設X1 , X2 , ..., Xn ; Y1 , Y2 , ..., Yn 為分別抽自Bernoulli (p1 )與Bernoulli (p2 )的兩組樣本數為n1 與n2 的獨立隨
Pn Pn
機樣本。令bp1 = i=1 Xi /n1 , 與b p2 = i=1 Yi /n2 , 所以E (b
p1 − pb2 ) = p1 − p2 , Var (p1 − p2 ) = p1 (1 − p1 ) /n1 +
p2 (1 − p2 ) /n2 。當樣本數大時(n1 > 30, n2 > 30), 由於b
p1 及b
p2 的漸近變異數分別為
pb1 (1 − pb1 ) pb2 (1 − pb2 )
p1 ) ≈
Var (b 及 Var (b
p2 ) ≈
n1 n2
由於
pb1 − pb2 − (p1 − p2 ) d
lim p −→ N (0, 1)
n→∞ p1 (1 − p1 ) /n1 + p2 (1 − p2 ) /n2
及 µ¯ ¯ ¶
¯ pb1 (1 − pb1 ) pb2 (1 − pb2 ) p1 (1 − p1 ) p2 (1 − p2 ) ¯
¯
lim P ¯ + − − ¯
n→∞ n1 n2 n1 n2 ¯<ε =1
177 CHAPTER 6. 估計
[0.6833 − 0.2917 − 1.96 × 0.0683, 0.6833 − 0.2917 + 1.96 × 0.0683] = [0.2577, 0.5254]
6.3 樣本數大小之決定
6.3.1 母體平均數樣本數之決定
假設X1 , X2 , . . . , Xn 為抽自N (µ, σ 2 )的一組樣本數為n的隨機樣本。若n ≥ 30, 則不論母體變異數σ 2 是否已知,
由7.2.1及7.2.2可知 母體平均數µ之(1 − α) × 100%之信賴區間為
· ¸
s s
x − z2 √ ,x + z2 √ ,
α α
n n
√
在此我們稱z α2 s/ n為誤差界限。若要求誤差界限小於ϵ, 即
s
z α2 √ < ϵ,
n
經簡單的轉換之後, 則可推導出在誤差界限為ϵ下, 所需之最小樣本數為
z 2α s2
2
n=
ϵ2
若母體變異數σ 2 已知, 則可直接寫成
z 2α σ 2
2
n=
ϵ2
6.3 樣本數大小之決定 178
6.3.2 母體比例樣本數之決定
Pn
假設X1 , X2 , ..., Xn 為抽自Bernoulli(p)的一組樣本數為n的隨機樣本。令b
p = i=1 Xi /n, 則由7.2.8可知,
p之(1 − α) × 100%信賴區間為 " r r #
pb (1 − pb) pb (1 − pb)
pb − z α2 , pb + z α2
n n
p
所以, p之誤差界限為z α2 pb (1 − pb)/n。若要求誤差界限小於ϵ, 即
r
pb (1 − pb)
z α2 < ϵ,
n
經簡單的轉換之後, 則可推導出在誤差界限為ϵ下, 所需之最小樣本數為
z 2α pb (1 − pb)
2
n=
ϵ2
又P(1 − p) ≤ 0.25, 所以
z 2α pb (1 − pb) z 2α
≤ 22 n= 2
ϵ2 4ϵ
在一般應用上, 由於在實驗之前並尚未決定樣本數n之大小, 因此為求謹慎, 通常以在最大誤差界限等於ϵ為條件, 抽取最
大的樣本數n∗ , 其中
z 2α
n∗ = 2
4ϵ2
當ϵ = 0.03及信賴水準α = 0.05時,
1.962
n∗ = = 1067.1
4 × 0.032
此外, 當母體為有限母體時, 則p之誤差界限為
r
pb (1 − pb) N − n
ϵ = z α2
n N −1
經化簡, 上式可改寫為
z 2α pb (1 − pb) N z 2α N
2 2
n= =
ϵ2 (N − 1) + z 2α pb (1 − pb) ϵ2 (N − 1)
2 + z 2α2
pb (1 − pb)
又
ϵ2 (N − 1) ϵ2 (N − 1)
≥
pb (1 − pb) 4
所以在誤差界限為ϵ下, 所需之最大樣本數為
z 2α N
2
n=
4ϵ2 (N − 1) + z 2α2
例 6-34. 海龍牌洗衣機想知道其產品在全國市場上的佔有率而舉辦抽樣抽查,希望樣本比例與全國占有率之誤差不大
於0.05,有98%的信賴度,問樣本應多大?
179 CHAPTER 6. 估計
1. pb = 0.228
2. pb未知且無任何有關事前資料
解:
2.
2
z0.01 pb (1 − pb) 2.3262
n= ≤ = 541.02 故取 n = 542
ϵ2 4 × 0.052
6.3 樣本數大小之決定 180
第7章
假設檢定
7.1 觀念介紹
7.1.1 名詞解釋
1. 假設檢定: 所謂假設檢定乃指先給予母體未知參數一個假設值, 在利用實驗之結果或母體抽出的樣本, 應用機率理論去
判斷此一假設值對或是不對, 這種判斷的過程或這種方式的統計推論即稱為假設檢定(Testing Hypotheses)。
2. 統計假設: 任何有關於描述母體的敘述皆稱為統計假設。
7.1.2 誤差之型態
利用樣本資料去估計母體參數時, 由於抽樣可能產生偏差而可能產生錯誤決策的風險。
真實狀況
H0 為真 H0 為偽
決 接受H0 正確決策 型II誤差
策 棄卻H0 型I誤差 正確決策
綜合以上討論, 可得以下結論
3. 增加樣本數n就可以使得α與β同時降低。
4. 顯著水準是參數值為虛無假設邊界點的α值。
1. 危險域?
2. 型I誤差?
3. 型II誤差?
解:
183 CHAPTER 7. 假設檢定
0.025
0.020
H0 H1
0.015
0.010
0.005
圖 7.1: α與β關係圖
C = {x | x ≥ 9}
2.
16 µ ¶
X 16
α = P(x ≥ 9 | P = 0.4) = 0.4x 0.616−x = 0.1423
x=9
x
3.
X8 µ ¶
16
β = P(x ≤ 8 | P = 0.5) = 0.5x 0.516−x = 0.5982
x=0
x
¡ ¢
K (19) = P X < c | µ = 19
µ ¶
X − 19 c − 19
= P √ < √
4/ n 4/ n
µ ¶
c − 19
= P Z< √ = 0.90
4/ n
7.1 觀念介紹 184
得下列二元一次方程組 c − 20
√ = −1.645
4/ n
c − 19
√ = 1.28
4/ n
解上式得 c = 19.4376與n = 136.89
例 7-3. 假設隨機變數X的p.d.f.是
(
(1/θ) e−x/θ , 0 < x < ∞
f (x, θ) =
0, 其他
C = {(X1 , X2 ) : 8 ≤ X1 + X2 ≤ ∞}
1.
f (x1 , x2 | θ = 1) = e−(x1 +x2 ) , 0 < x1 < ∞, 0 < x2 < ∞
2.
α = P (8 ≤ X1 + X2 ≤ ∞ | θ = 1)
= 1 − P (0 ≤ X1 + X2 ≤ 8 | θ = 1)
Z 8 Z 8−x2
= 1− e−(x1 +x2 ) dx1 dx2
0 0
9
=
e8
7.1.3 檢定的型態
檢定之模式有以下三種
1. 均屬集合形式。
3. 等號必存在Θ0 。
7.1.4 檢定方法
7.2 母體平均數之檢定
7.2.1 單一母體平均數之檢定
7.2.1.1 µ之雙尾檢定
(
H0 : µ = µ0
H1 : µ ̸= µ0
7.2 母體平均數之檢定 186
圖 7.2: 雙尾檢定圖
c 1 − µ0 c −µ
−z α2 = √ 及 z α2 = 2 √ 0
σ/ n σ/ n
或
σ σ
c1 = µ0 − z α2 √ 及 c2 = µ0 + z α2 √
n n
所以, 棄卻域為 ½¯ ¯ ¾
¯ x − µ0 ¯ σ
C = ¯ √ ¯¯ > z α2 或 |x − µ0 | > z α2 √
¯ ,
σ/ n n
當 ¯ ¯
¯ x − µ0 ¯
¯ √ ¯ > z α 或 |x − µ0 | > z α √σ
¯ σ/ n ¯ 2 2
n
187 CHAPTER 7. 假設檢定
則棄卻虛無假設H0 : µ = µ0 , 否則不棄卻H0 : µ = µ0 。
以上所介紹之檢定方法只在母體變異數σ 2 已知的假設下成立, 若母體變異數未知, 且樣本數n < 30, 則需將樣本變異
數S 2 做為σ 2 之估計式。 又
X − µ0
√ ∼ t (n − 1)
S/ n
所以, 棄卻域C可改寫為
½¯ ¯ ¾
¯ x − µ0 ¯ s
¯
C = ¯ √ ¯¯ > t α2 (n − 1) 或 |x − µ0 | > t α2 (n − 1) √
s/ n n
7.2.1.2 µ之右尾檢定
(
H0 : µ = µ0
H1 : µ > µ0
由於統計假設為要檢定µ是否大於µ0 , 因此若經抽樣所得的樣本平均數x有顯著的大於µ0 則棄卻H0 虛無假設。由型I誤差
之定義可知
¡ ¢
α = P X > c 1 | µ = µ0
¡ ¢
= P X − µ0 > c1 − µ0
µ ¶
X − µ0 c −µ
= P √ > 1 √ 0
σ/ n σ/ n
µ ¶
c1 − µ0
= P Z> √
σ/ n
所以, 當
x − µ0 σ
√ > z α2 或 x − µ0 > z α2 √
σ/ n n
則棄卻虛無假設H0 : µ = µ0 , 否則不棄卻H0 : µ = µ0 。 若母體變異數未知, 且樣本數n < 30, 則棄卻域C可改寫為
½ ¾
x − µ0 s
C= √ > t α2 (n − 1) 或 x − µ0 > t α2 (n − 1) √
s/ n n
7.2.1.3 µ之左尾檢定
(
H0 : µ = µ0
H1 : µ < µ0
7.2 母體平均數之檢定 188
圖 7.3: 右尾檢定圖
所以, 當
x − µ0 σ
√ < −z α2 或 x − µ0 < −z α2 √
σ/ n n
則棄卻虛無假設H0 : µ = µ0 , 否則不棄卻H0 : µ = µ0 。 若母體變異數未知, 且樣本數n < 30, 則棄卻域C可改寫為
½ ¾
x − µ0 s
C= √ < −t 2 (n − 1) 或 x − µ0 < −t 2 (n − 1) √
α α
s/ n n
圖 7.4: 左尾檢定圖
1. 以檢定統計量法,進行檢定
2. 以P-Value,進行檢定
3. 以信賴區間, 進行檢定
解:
1. 因為 ¯ ¯ ¯ ¯
¯ x − µ0 ¯ ¯ 935 − 900 ¯
¯ √ ¯=¯ ¯
¯ σ/ n ¯ ¯ 180/√200 ¯ = 2.749 > 1.96 = z0.025
落入棄卻域, 所以棄卻H0
2.
因為P-Value小於0.05, 所以棄卻H0
7.2 母體平均數之檢定 190
3. · ¸
σ σ
x − z0.025 × √ , x + z0.025 × √ = [910.05, 959.95]
n n
因為不包含µ0 = 900, 所以棄卻H0
16.3, 16.2, 15.8, 15.4, 16.0, 15.6, 15.5, 16.1, 15.9, 16.1
又 ¯ ¯ ¯ ¯
¯ x − µ0 ¯ ¯ 15.890 − 16 ¯
¯ √ ¯=¯ √ ¯
¯ s/ n ¯ ¯ 0.307/ 10 ¯ = 1.13 < 2.262 = t0.025 (9)
所以不棄卻H0 , 即沒有充分的證據顯示所生產的罐裝調味料的重量會顯著異於16盎斯。因此,機器不需調整。
7.2.2 兩母體平均數差之檢定
假設X1 , X2 , . . . , Xn1 ; Y1 , Y2 , . . . , Yn2 為分別抽自N (µx , σx2 )及N (µy , σy2 )的兩組樣本數為n1 及n2 的隨機樣本,
µx − µy 之檢定方法介紹如下:
(
H0 : µx − µy = k
H1 : µx − µy ̸= k
由於統計假設為要檢定µx − µy 是否等於k, 因此若經抽樣所得的樣本平均數x − y與k差異甚大則棄卻H0 虛無假設。由
型I誤差之定義可知
µ ¯ ¶
¯
¯
α = P X − Y < c1 及 X − Y > c2 ¯ µx − µy = k
¡¡ ¢ ¢ ¡¡ ¢ ¢
= P X − Y − k < c1 − k + P X − Y − k > c2 − k
191 CHAPTER 7. 假設檢定
X −Y −k c1 − k + P q X − Y − k c2 − k
= P q <q >q
2 2
σx /n1 + σy /n2 2 2
σx /n1 + σy /n2 2 2
σx /n1 + σy /n2 σx /n1 + σy2 /n2
2
c − k c − k
= P Z < q + P Z > q
1 2
2 2
σx /n1 + σy /n2 2 2
σx /n1 + σy /n2
c1 − k c2 − k
−z α2 = q 及 z α2 = q
σx2 /n1 + σy2 /n2 σx2 /n1 + σy2 /n2
或
q q
c1 = k − z α2 σx2 /n1 + σy2 /n2 及 c2 = k + z α2 σx2 /n1 + σy2 /n2
所以, 可求得棄卻域為
¯ ¯ s
¯¯ x−y−k
¯
¯ 2 σ 2
C = ¯¯ q ¯ > z α 或 |x − y − k| > z α σx + y ,
¯ σ 2 /n + σ 2 /n ¯¯ 2 2
n1 n2
x 1 y 2
當 ¯ ¯ s
¯ ¯
¯ x − y − k ¯ 2 σ2
¯q ¯ > z α 或 |x − y − k| > z α σx + y
¯ ¯ n1 n2
¯ σx2 /n1 + σy2 /n2 ¯
2 2
所以, 由型I誤差之定義可知
µ ¯ ¶
¯
¯
α = P X − Y < c1 及 X − Y > c2 ¯ µx − µy = k
¡ ¢ ¡ ¢
= P X − Y − k < c1 − k + P X − Y − k > c2 − k
à ! à !
X −Y −k c1 − k X −Y −k c2 − k
= P p < p +P p > p
Sp 1/n1 + 1/n2 Sp 1/n1 + 1/n2 Sp 1/n1 + 1/n2 Sp 1/n1 + 1/n2
à ! à !
c1 − k c2 − k
= P t< p +P t> p
Sp 1/n1 + 1/n2 Sp 1/n1 + 1/n2
由於為雙尾檢定, 故可求得
c1 − k c −k
−t α2 (n1 + n2 − 2) = p 或 t α2 (n1 + n2 − 2) = p 2
Sp 1/n1 + 1/n2 Sp 1/n1 + 1/n2
7.2 母體平均數之檢定 192
或 r r
1 1 1 1
c1 = k − t α2 (n1 + n2 − 2) Sp + c2 = k + t α2 (n1 + n2 − 2) Sp + ,
n1 n2 n1 n2
其中
(n1 − 1) Sx2 + (n2 − 1) Sy2
Sp2 =
n1 + n2 − 2
因此, 棄卻域可寫成
(¯ ¯ r )
¯ x−y−k ¯
¯ ¯ 1 1
C= ¯ p ¯ > t α2 (n1 + n2 − 2) 或 |x − y − k| > t α2 (n1 + n2 − 2) sp +
¯ sp 1/n1 + 1/n2 ¯ n1 n2
所以, 當
¯ ¯ r
¯ x−y−k ¯
¯ ¯ 1 1
¯ p ¯ > t α2 (n1 + n2 − 2) 或 |x − y − k| > t α2 (n1 + n2 − 2) Sp + ,
¯ sp 1/n1 + 1/n2 ¯ n1 n2
時, 棄卻虛無假設, 否則不棄卻虛無假設。
(
H0 : µx − µy = k
H1 : µx − µy > k
由於統計假設為要檢定µx − µy 是否大於k, 因此若經抽樣所得的樣本平均數x − y有顯著大於k時則棄卻H0 虛無假設。
由型I誤差之定義可知
¡ ¢
α = P X − Y > c1 | µx − µy = k
¡ ¢
= P X − Y − k > c1 − k
X − Y − k c − k
= P q
1
>q
σx2 /n1 + σy2 /n2 σx2 /n1 + σy2 /n2
c − k
= P Z > q
1
故可求得 s
c1 − k σx2 σy2
zα = q 或 c1 = k + zα +
σx2 /n1 + σy2 /n2 n1 n2
因此, 棄卻域為
x−y−k
C= q > zα
σx2 /n1 + σy2 /n2
193 CHAPTER 7. 假設檢定
所以, 當
x−y−k
q > zα
σx2 /n1 + σy2 /n2
又 ¯ ¯ ¯ ¯
¯ x−y ¯ ¯ 680 − 634 ¯
¯ ¯ ¯ ¯
¯ p ¯ = ¯√ p ¯ = 1.5324
¯ sp 1/n1 + 1/n1 ¯ ¯ 7884.2 1/15 + 1/21 ¯
所以棄卻域為
(¯ ¯ )
¯ x − y − 10 ¯
¯ ¯
C= ¯ p ¯ > t0.05 (34) = 1.645
¯ sp 1/n1 + 1/n2 ¯
又 ¯ ¯ ¯ ¯
¯ x − y − 10 ¯ ¯ 680 − 634 − 10 ¯
¯ ¯ ¯ ¯
¯ p ¯ = ¯√ p ¯ = 1. 199 3
¯ sp 1/n1 + 1/n2 ¯ ¯ 7884.2 1/15 + 1/21 ¯
其中
(n1 − 1) S12 + (n2 − 1) S22 15 × 152 + 15 × 182
s2p = = = 274.5
n1 + n2 − 2 30
所以
¯ ¯
¯ 300 − 276 ¯
¯ ¯
¯√ p ¯ = 4.0972 ∈ C
¯ 274.5 1/16 + 1/16 ¯
故棄卻H0
7.3 母體變異數之檢定
7.3.1 單一母體變異數之檢定
(
H0 : σ 2 = σ02
H1 : σ 2 ̸= σ02
(n − 1)Sx2
∼ χ2 (n − 1),
σ2
因此, 由型I誤差之定義可知
¡ ¯ ¢
α = P Sx2 < c1 或 Sx2 > c2 ¯ σx2 = σ02
µ ¶ µ ¶
(n − 1) Sx2 (n − 1) c1 (n − 1) Sx2 (n − 1) c2
= P < + P >
σ02 σ2 σ02 σ02
µ ¶ 0 µ ¶
(n − 1) c1 (n − 1) c2
= P χ2 < + P χ2 >
σ02 σ02
(n − 1) c1 (n − 1) c2
χ21− α2 (n − 1) = 及 χ2α2 (n − 1) =
σ02 0 σ02
或
σ02 2 σ02 2
c1 = χ1− α2 (n − 1) 及 c2 = χ α (n − 1)
n−1 n−1 2
故棄卻域可寫成 ½ ¾
σ02 2 σ02 2
C= s2x < χ1− α2 (n − 1) 或 s2x > χ α (n − 1)
n−1 n−1 2
所以, 當
σ02 2 σ02 2
s2x < χ1− α2 (n − 1) 或 s2x > χ α (n − 1)
n−1 n−1 2
時棄卻虛無假設H0 : σ 2 = σ02 , 否則不棄卻虛無假設。
(
H0 : σ 2 = σ02
H1 : σ 2 > σ02
µ ¶
(n − 1) Sx2 (n − 1) c1
= P 2 >
σ0 σ2
µ ¶ 0
(n − 1) c1
= P χ2 >
σ02
故可求得
(n − 1) c1 σ02 2
χ2α (n − 1) = 或 c1 = χ (n − 1)
σ02 n−1 α
所以, 棄卻域可寫成
½ ¾
σ02 2
C= s2x > χα (n − 1)
n−1
10.5, 10.2, 9.6, 10.8, 9.3, 9.8, 9.9, 10.1, 9.5, 10.0
½ ¾
σ02 2 σ02 2
C= s2x < χ1− α (9) = 0.0325 或 s2x > χ α (9) = 0.1691
n−1 2 n−1 2
又
Pn 2 Pn
(xi − x) x2i − nx2
s2x = i=1
= i=1
= 0.209
n−1 n−1
7.3.2 兩母體變異數比例之檢定
假設X1 , X2 , . . . , Xn1 ; Y1 , Y2 , . . . , Yn2 為分別抽自N (µx , σx2 )及N (µy , σy2 )的兩組樣本數為n1 及n2 的隨機樣本,其
中σx2 及σy2 未知且n1 < 30及n2 < 30。由7.2.7可知,
Sx2 σy2
∼ F (n1 − 1, n2 − 1)
Sy2 σx2
所以, 兩母體變異數比例之檢定方法介紹如下:
197 CHAPTER 7. 假設檢定
(
H0 : σx2 /σy2 = k
H1 : σx2 /σy2 ̸= k
c1 c2
F1− α2 (n1 − 1, n2 − 1) = 及 F α2 (n1 − 1, n2 − 1) =
k k
或
c1 = kF1− α2 (n1 − 1, n2 − 1) 及 c2 = kF α2 (n1 − 1, n2 − 1)
故可求得棄卻域為
½ ¾
s2x s2
C= 2
< kF1− α2 (n1 − 1, n2 − 1) 或 x2 > kF α2 (n1 − 1, n2 − 1)
sy sy
所以當 ½ ¾
s2x s2
C= 2
< kF1− α2 (n1 − 1, n2 − 1) 或 x2 > kF α2 (n1 − 1, n2 − 1)
sy sy
時, 時棄卻虛無假設H0 : σx2 /σy2 = k, 否則不棄卻虛無假設。
故可求得
c1
Fα (n1 − 1, n2 − 1) = 或 c1 = kFα (n1 − 1, n2 − 1)
k
所以, 棄卻域可寫成
½ ¾
s2x
C= > kF α (n 1 − 1, n2 − 1)
s2y
A: n1 = 31, s2x = 25
B: n2 = 25, s2y = 12
試以α = 0.1檢定此兩台機器之穩定性是否一致?
解:
(
H0 : σx2 = σy2
H1 : σx2 ̸= σy2
棄卻域為
½ ¾
s2x s2x
C= < 0.5291 = F (n
0.95 1 , n 2 ) 或 = 1.94 = F (n
0.05 1 , n 2 )
s2y s2y
又
s2x 25
2
= = 2.083
sy 12
7.4 母體比例之檢定
7.4.1 單一母體比例之檢定
Pn
假設X1 , X2 , ..., Xn 為抽自Bernoulli(p)的一組樣本數為n的隨機樣本。令Y = i=1 Xi /n, 由7.2.8可知
Y −p
p v N (0, 1)
P (1 − p) /n
母體比例p之檢定方法介紹如下:
199 CHAPTER 7. 假設檢定
7.4.1.1 單一母體比例p之雙尾檢定
(
H0 : p = p0
H1 : p ̸= p0
Pn
由於統計假設為要檢定p是否等於p0 , 因此若經抽樣所得的樣本比例b
p= i=1 Xi /n與p0 差異甚大則棄卻H0 虛無假設。
因此, 由型I誤差之定義可知
α = P ( pb < c1 或 pb > c2 | p = p0 )
à ! à !
pb − p0 c1 − p0 pb − p0 c2 − p0
= P p <p +P p >p
p0 (1 − p0 ) /n p0 (1 − p0 ) /n p0 (1 − p0 ) /n p0 (1 − p0 ) /n
à ! à !
c1 − p0 c2 − p0
= P Z<p +P Z > p
p0 (1 − p0 ) /n p0 (1 − p0 ) /n
因為為雙尾檢定, 取兩邊機率相等可推得
c1 − p0 c2 − p0
−z α2 < p 及 z α2 > p
p0 (1 − p0 ) /n p0 (1 − p0 ) /n
或 r r
p0 (1 − p0 ) p0 (1 − p0 )
c1 = p0 − z α 及 c2 = p0 + z α2
2
n n
所以, 棄卻域可寫成
( r r )
p0 (1 − p0 ) p0 (1 − p0 )
C= pb < p0 − z α2 或 pb > p0 + z α2
n n
7.4.1.2 單一母體比例p之右尾檢定
(
H0 : p = p0
H1 : p > p 0
Pn
由於統計假設為要檢定p是否大於p0 , 因此若經抽樣所得的樣本比例b
p= i=1 Xi /n有顯著的大於p0 則棄卻H0 虛無
假設。因此, 由型I誤差之定義可知
α = P ( pb > c1 | p = p0 )
à !
pb − p0 c1 − p0
= P p >p
p0 (1 − p0 ) /n p0 (1 − p0 ) /n
à !
c1 − p0
= P Z>p
p0 (1 − p0 ) /n
7.4 母體比例之檢定 200
可求得 r
c1 − p0 p0 (1 − p0 )
z α2 = p 或 c1 = p0 + z α2
p0 (1 − p0 ) /n n
所以, 棄卻域為
( r )
p0 (1 − p0 )
C= pb > p0 + z α2
n
棄卻域為 ( )
pb − p0
C= p > z0.05 = 1.645
p0 (1 − p0 ) /n
又 pb = 14/155 = 0.0903, 所以
pb − p0 0.0903 − 0.05
p =p = 2.3021
p0 (1 − p0 ) /n 0.05 (1 − 0.05) /155
1.
所以不棄卻H0
201 CHAPTER 7. 假設檢定
2.
所以不棄卻H0
3. 樣本數太少, 應增加樣本數。
例 7-13. It is claimed that the failure rate of some printed circuit is less than 0.03. A new design has been
implemented. A sample of size 100 circuits from the new design are inspected and there are 2 defective.
Does this evidence support the claim? Give your approach to analyze the problem?
解: (
H0 : p = 0.03
H1 : p < 0.03
à !
³ ´ 0.02 − 0.03
b
P − Value = P P < 0.02 = P Z < p
0.03 × 0.97/100
= P (Z < −0.58621)
= 0.2789
7.4.2 兩母體比例之檢定
假設X1 , X2 , ..., Xn ; Y1 , Y2 , ..., Yn 為分別抽自Bernoulli (px )與Bernoulli (py )的兩組樣本數為n1 與n2 的獨立隨
Pn Pn
機樣本。令bpx = i=1 Xi /n1 , 與b py = i=1 Yi /n2 , 由7.2.9可知,
所以, 母體比例之檢定方法介紹如下;
(
H0 : px − py = k
H1 : px − py ̸= k
7.4 母體比例之檢定 202
因此, 由型I誤差之定義可知
或 s s
pbx (1 − pbx ) pby (1 − pby ) pbx (1 − pbx ) pby (1 − pby )
c1 = k − z α2 + 及 c2 = k + z α2 +
n1 n2 n n2
所以, 棄卻域可寫成
s s
pbx (1 − pbx ) pby (1 − pby ) pbx (1 − pbx ) pby (1 − pby )
C = pbx − pby < k − z α2 + 或 pbx − pby > k + z α2 +
n1 n2 n1 n2
因此由Sultsky’s Theorem可得
pb1 − pb2 d
lim p −→ N (0, 1)
n→∞ p (1 − p) /n1 + p (1 − p) /n2
或 s s
p (1 − p) p (1 − p) p (1 − p) p (1 − p)
c1 = −z α2 + 及 c2 = z α2 +
n1 n2 n1 n2
所以, 棄卻域可寫成
s s
p (1 − p) p (1 − p) p (1 − p) p (1 − p)
C = pbx − pby < −z α2 + 或 pbx − pby > z α2 +
n1 n2 n1 n2
(
H0 : px − py = k
H1 : px − py > k
à !
c1 − k
= P Z>p
pbx (1 − pbx ) /n1 + pby (1 − pby ) /n2
可求得 s
c1 − k pbx (1 − pbx ) pby (1 − pby )
zα = p 或 c1 = k + zα +
pbx (1 − pbx ) /n1 + pby (1 − pby ) /n2 n1 n2
所以, 棄卻域為 s
pbx (1 − pbx ) pby (1 − pby )
C = pbx − pby > k + zα +
n1 n2
當k = 0時, 則由型I誤差之定義可知
故推得 s
c p (1 − p) p (1 − p)
zα = p p1 或 c1 = zα +
p (1 − p) 1/n1 + 1/n2 n1 n2
因此, 棄卻域為 s
p (1 − p) p (1 − p)
C = pbx − pby > zα +
n1 n2
解:
令b
px , pby 分別甲乙兩工人所製知不良品, 則統計假設為
(
H0 : px − py = 0
H1 : px − py ̸= 0
又
120 45 120 + 45
pbx = = 0.2, pby = = 0.18, p = = 0.1941
600 250 600 + 250
所以棄卻域為 (¯ ¯ )
¯ pbx − pby ¯
¯ ¯
C = ¯p ¯ > z0.025 = 1.96
¯ p (1 − p) (1/n1 + 1/n2 ) ¯
205 CHAPTER 7. 假設檢定
又 ¯ ¯ ¯ ¯
¯ pbx − pby ¯ ¯ 0.2 − 0.18 ¯
¯ ¯ ¯ ¯
¯p ¯ = ¯p ¯ = 0.6718
¯ p (1 − p) (1/n1 + 1/n2 ) ¯ ¯ 0.1941 × (1 − 0.1941) × (1/600 + 1/250) ¯
變異數分析
8.1 名詞解釋及基本假設
8.1.1 名詞解釋
3. 一因子分類: 研究之對象只包含一個獨立變數或事項者。意即觀察值以一個標準為分類基礎稱之。
4. 多因子分類: 研究之對象只包含兩個或以上獨立變數或事項者。意即觀察值以多個標準為分類基礎稱之。
6. 屬量因子: 因子水準可以用計量表示者, 如價格(X =50元, 60元, 70元), 溫度反應(X = 50◦ , 60◦ , 70◦ )
8.1.2 基本假設
1. 每一因子水準所對應之機率分配皆服從常態分配。
2. 所有樣本都是隨機抽取而得, 且彼此獨立。
3. 各常態母體之變異數皆相等。
8.2 一因子變異數分析 208
8.2 一因子變異數分析
一因子變異數分析係研究之對象只包含一個獨立變數, 而觀察此因素之不同對研究對象的影響是否有顯著差異, 其數
學模式如下:
iid ¡ ¢
Xij = µi + εij , εij ∼ N 0, σ 2 ,
X
k X
ni
¡ ¢2
= Xij − X i. + X i. − X ..
i=1 j=1
X
k X
ni
¡ ¢2 X
k X
ni
¡ ¢¡ ¢ Xk X
ni
¡ ¢2
= Xij − X i. + 2 Xij − X i. X i. − X .. + X i. − X .. ,
i=1 j=1 i=1 j=1 i=1 j=1
其中
X
k X
ni
¡ ¢¡ ¢ X
k
¡ ¢X
ni
¡ ¢
Xij − X i. X i. − X .. = X i. − X .. Xij − X i.
i=1 j=1 i=1 j=1
X
k
¡ ¢ X
ni
= X i. − X .. × Xij − ni X i.
i=1 j=1
X
k
£¡ ¢ ¤
= X i. − X .. × 0
i=1
= 0
所以,
X
k X
ni
¡ ¢2 X
k X
ni
¡ ¢2
SSTO = Xij − X .. = Xij − X i. + X i. − X ..
i=1 j=1 i=1 j=1
209 CHAPTER 8. 變異數分析
X
k X
ni
¡ ¢2 X
k X
ni
¡ ¢2
= Xij − X i. + X i. − X ..
i=1 j=1 i=1 j=1
= SSE + SSB
X
k X
ni
¡ ¢2 X
k X
ni X
k X
ni
2 X
k X
ni
SSTO = Xij − X .. = 2
Xij + X .. − 2 Xij X ..
i=1 j=1 i=1 j=1 i=1 j=1 i=1 j=1
X
k X
ni
2 X
k X
ni X
k X
ni
2
= 2
Xij + N X .. − 2X .. Xij = 2
Xij + N X .. − 2X .. N X ..
i=1 j=1 i=1 j=1 i=1 j=1
X
k X
ni
2
= 2
Xij − N X ..
i=1 j=1
" Pk Pni #2
k X
X ni
i=1 j=1 Xij
= 2
Xij −N
i=1 j=1
N
X
k X
ni
T..2
= 2
Xij − ,
i=1 j=1
N
X
k X
ni
¡ ¢2 X
k
¡ ¢2
SSB = X i. − X .. = ni X i. − X ..
i=1 j=1 i=1
X
k ³2 2
´ Xk
2 X
k
2 X
k
= ni X i. + X .. − 2X i. X .. = ni X i. + ni X .. − 2 ni X i. X ..
i=1 i=1 i=1 i=1
" Pk Pni #2
X
k
2 i=1 j=1 Xij
= ni X i. − N
i=1
N
X
k
T2 T..2
= i.
−
i=1
ni N
X
k X
ni X
k
T2
= 2
Xij − i.
X
k
= (ni − 1) Si2
i=1
8.2 一因子變異數分析 210
由於
(ni − 1) Si2
∼ χ2 (ni − 1)
σ2
由卡方之可加性可輕易推得 Pk
(ni − 1) Si2
i=1
∼ χ2 (N − k)
σ2
及
à k !
X X
k
¡ ¢
E (SSE) = E (ni − 1) Si2 = (ni − 1) E Si2
i=1 i=1
X
k
= (ni − 1) σ 2
i=1
= (N − k) σ 2
因此, µ ¶
¡ ¢ SSE
b
E σ 2
= E (MSE) = E = σ2
N −k
所以MSE可做為母體變異數σ 2 之估計式。又
" k #
X 2 2
E [SSB] = E ni X i. − N X ..
i=1
X
k h 2i h 2i
= ni E X i. − N × E X ..
i=1
à !2
X
k · 2
¸ Pk 2
σ i=1 ni µi σ
= ni µ2i + −N × +
i=1
n i N N
ÃP !2
X
k X
k
σ2
k
ni µi
= ni µ2i + ni −N × i=1
− σ2
i=1 i=1
ni N
ÃP !2
X
k k
ni µi
= (k − 1) σ + 2
ni µ2i −N × i=1
i=1
N
其中
ÃP !2
X
k k
ni µi
ni µ2i −N × i=1
i=1
N
ÃP !2
X
k X
ni k
ni µi
= µ2i −N × i=1
i=1 j=1
N
ÃP !2 ÃP ! ÃP !
X
k X
ni X
k X
ni k
ni µi
k
ni µi
k
ni µi
= µ2i + i=1
− 2N × i=1
× i=1
ÃP !2 " ÃP !#
X
k X
ni k X
X ni k
ni µi X
k k
ni µi
= µ2i + i=1
−2 ni µi × i=1
i=1 j=1
N
à !2
X
k Pk
ni × i=1 ni µi
= µi −
i=1
N
所以
k h
X i Pk
2 ni µi
E (SSB) = (k − 1) σ 2 + ni × (µi − µ) ≥ (k − 1)σ 2 , 其中 µ = i=1
i=1
N
因此當µ1 = µ2 = · · · = µk = µ, 所以
µ ¶
SSB
E (MSB) = E = σ2
k−1
否則
E (MSB) ≥ σ 2
若統計假設為 (
H0 : µ1 = µ2 = · · · = µk = µ
H1 : µi 不全相等
當 H0 為真時, 由定理6.3可知SSB/σ 2 ∼ χ2 (k − 1)及SSE/σ 2 ∼ χ2 (N − k), 則
MSB
F = ∼ F (k − 1, N − k)
MSE
且F = MSB/MSE必接近1, 反之若µi 不全相等, 則F = MSB/MSE必遠大於1, 故檢定之棄卻域為
½ ¾
MSB
C= F = > Fα (k − 1, N − k)
MSE
例 8-1. Montgomery認為人造纖維的強度可能會受纖維中含棉的比率所影響。在考慮的五種比率值中每一種皆取五個
觀測值如下, 在顯著水準下, 利用F檢定來看由於使用含棉的比率不同而拉張強度是否有所差異。
含棉比率 拉張強度(磅/平方吋)
15 7 7 15 11 9
20 12 17 12 18 18
25 14 18 18 19 19
30 19 25 22 19 23
35 7 10 11 15 22
8.2 一因子變異數分析 212
解: hP i2
5 P5
X
5 X
5
i=1 j=1 Xij 3762
SSTO = 2
Xij − = 6292 − = 636.96
i=1 j=1
N 25
及
hP P5 i2
5
X
5
T2 i=1 j=1 Xij
SSB = i.
−
i=1
ni N
µ ¶
492 772 882 1082 542 3762
= + + + + −
5 5 5 5 5 25
= 475.76
所以
SSE = SSTO − SSB = 636.96 − 475.76 = 161.2
ANOVA Table
變異來源 平方和 自由度 均方和 F值
組間 475.76 4 118.94 14.757
組內 161.2 20 8.06
總和 636.96 24
(
H0 : µ1 = µ2 = µ3 = µ4 = µ5
H1 : µi 不全相等
½ ¾
MSB
C= F = > F0.05 (4, 20) = 2.8661
MSE
因為F = 14.757 > F0.05 (4, 20) = 2.8661 ∈ C, 所以棄卻H0 : µ1 = µ2 = µ3 = µ4 = µ5
½ ¾
MSB
C= F = > F0.05 (3, 130) = 2.6049
MSE
因為F = 25.6 > F0.05 (3, 130) ∈ C, 所以棄卻H0 : µA = µB = µC = µD
8.3 二因子變異數分析
在一因子變異數分析中,因將其他條件固定,而只針對某一因子來解析,依其因子水準不同做隨機化之實驗配置,故
其實驗結果比較狹窄,而同時對影響大之原因隨機化,故會使誤差變異加大,導致差異而使得檢定及推定的效率降低。
因此要使得檢定效率提高,則必須探討多因子分析。其數學模式如下:
¡ ¢
Xij = µij + εij , εij ∼ N 0, σ 2 ,
可將總變異分解如下:
X
r X
c
¡ ¢2 X
r X
c
£¡ ¢ ¡ ¢ ¡ ¢¤2
SSTO = Xij − X .. = X i. − X .. + X .j − X .. + Xij − X i. − X .j + X ..
i=1 j=1 i=1 j=1
X
r X
c
¡ ¢2 X
r X
c
¡ ¢2 X
r X
c
¡ ¢2
= X i. − X .. + X .j − X .. + Xij − X i. − X .j + X ..
i=1 j=1 i=1 j=1 i=1 j=1
X r Xc
¡ ¢¡ ¢ X
r X
c
¡ ¢¡ ¢
+2 X i. − X .. X .j − X .. +2 X i. − X .. Xij − X i. − X .j + X ..
i=1 j=1 i=1 j=1
Xr X c
¡ ¢¡ ¢
+2 X .j − X .. Xij − X i. − X .j + X .. ,
i=1 j=1
其中
X
r X
c
¡ ¢¡ ¢ X
r
¡ ¢X
c
¡ ¢
X i. − X .. X .j − X .. = X i. − X .. X .j − X .. = 0,
i=1 j=1 i=1 j=1
8.3 二因子變異數分析 214
X
r X
c
¡ ¢¡ ¢ X
r
¡ ¢X
c
¡ ¢
X i. − X .. Xij − X i. − X .j + X .. = X i. − X .. Xij − X i. − X .j + X .. = 0
i=1 j=1 i=1 j=1
及
r X
X c
¡ ¢¡ ¢ X
c X
r
¡ ¢¡ ¢
X .j − X .. Xij − X i. − X .j + X .. = X .j − X .. Xij − X i. − X .j + X ..
i=1 j=1 j=1 i=1
" #
X
c
¡ ¢X
r
¡ ¢
= X .j − X .. Xij − X .j − X i. + X ..
j=1 i=1
= 0
所以總變異可寫成
X
r X
c
¡ ¢2 X
r X
c
¡ ¢2 X
r X
c
¡ ¢2
SSTO = X i. − X .. + X .j − X .. + Xij − X i. − X .j + X ..
i=1 j=1 i=1 j=1 i=1 j=1
= SSR + SSC + SSE
X
r X
c
¡ ¢2
SSR = X i. − X ..
i=1 j=1
X
r X
c
2 X
r X
c
2 X
r X
c
= X i. + X .. −2 X i. X ..
i=1 j=1 i=1 j=1 i=1 j=1
Xr X c
2 Xr X c
2
= X i. − X ..
i=1 j=1 i=1 j=1
X
r
2 X
r X
c
2
= cX i. − X ..
i=1 i=1 j=1
215 CHAPTER 8. 變異數分析
" Pc #2
X
r
j=1 Xij T..2
= c −
i=1
c rc
Xr
Ti.2 T2
= − ..
i=1
c rc
及
X
r X
c
¡ ¢2 X
c X
r
¡ ¢2
SSC = X .j − X .. = X .j − X ..
i=1 j=1 j=1 i=1
Xc X r
2 X
c X
r
2 Xc X r
= X .j + X .. − 2 X .j X ..
j=1 i=1 j=1 i=1 j=1 i=1
X
c X
r
2 Xc X r
2
= X .j − X ..
j=1 i=1 j=1 i=1
X
c
T.j2 T..2
= −
j=1
r rc
又
Xr X
c
¡ ¢2
E (SSE) = E Xij − X i. − X .j + X ..
i=1 j=1
Xr X
c
£¡ ¢ ¡ ¢¤2
= E Xij − X i. − X .j − X ..
i=1 j=1
Xr X
c
¡ ¢2 X
r X
c
¡ ¢2 X
r X
c
¡ ¢¡ ¢
= E Xij − X i. + X .j − X .. − 2 Xij − X i. X .j − X ..
i=1 j=1 i=1 j=1 i=1 j=1
Xr X
c
¡ ¢2 Xr X
c
¡ ¢2
= E Xij − X i. + E X .j − X ..
i=1 j=1 i=1 j=1
Xr X
c
¡ ¢¡ ¢
−2E Xij − X i. X .j − X ..
i=1 j=1
其中
Xr X
c
¡ ¢2 X
r Xc
¡ ¢2
E Xij − X i. = E Xij − X i.
i=1 j=1 i=1 j=1
X
r
= (c − 1) σ 2
i=1
= r (c − 1) σ 2 ,
8.3 二因子變異數分析 216
Xr X
c
¡ ¢2 X
r X
c
¡ ¢2
E X .j − X .. = E X .j − X ..
i=1 j=1 i=1 j=1
X
r
(c − 1) σ 2
=
i=1
r
= (c − 1) σ 2 ,
X
r X
c
¡ ¢¡ ¢ X
r X
c X
r X
c X
r X
c X
r X
c
Xij − X i. X .j − X .. = Xij X .j − Xij X .. − X i. X .j + X i. X ..
i=1 j=1 i=1 j=1 i=1 j=1 i=1 j=1 i=1 j=1
Xc X r
2 2 2
= Xij X .j − rc × X .. − rc × X .. + rc × X ..
j=1 i=1
X
c
2 2
= rX .j − rc × X .. ,
j=1
Xr X
c
¡ ¢¡ ¢ Xc
E Xij − X i. X .j − X .. = E rX .j − rc × X ..
2 2
X
c h 2i σ2
= r E X .j − rc ×
j=1
rc
X
c
σ2
= r× − σ2
j=1
r
= (c − 1) σ 2 ,
所以可求得
E (SSE) = r (c − 1) σ 2 + (c − 1) σ 2 − 2 (c − 1) σ 2
= r (c − 1) σ 2 − (c − 1) σ 2
= (rc − r − c + 1) σ 2
= (r − 1) (c − 1) σ 2
故可推得 µ ¶
¡ 2¢ SSE
b = E (MSE) = E
E σ = σ2
(r − 1) (c − 1)
所以MSE可做為母體變異數σ 2 之估計式。又 當µ1. = µ2. = · · · = µr. 及µ.1 = µ.2 = · · · = µ.c 時, 可推得
Pr Pc ¡ ¢2
SSR i=1 j=1 X i. − X ..
=
σ2 σ2
217 CHAPTER 8. 變異數分析
¡ ¢2
Xr
c X i. − X ..
=
i=1
σ2
Xr ¡ ¢2
X i. − X ..
= 2 /c
∼ χ2 (r − 1)
i=1
σ
及
Pr Pc ¡ ¢2
SSC i=1 j=1 X .j − X ..
=
σ2 σ2
¡ ¢2
X
c
r X .j − X ..
=
j=1
σ2
Xc ¡ ¢2
X .j − X ..
= 2 /r
∼ χ2 (c − 1)
j=1
σ
由於 ¡ ¢2
Pr Pc
SSTO i=1 j=1 Xij − X ..
= ∼ χ2 (rc − 1)
σ2 σ2
故可由卡方之可加性推得
SSE
∼ χ2 ((r − 1) (c − 1))
σ2
因此, 可將ANOVA Table編制如下:
ANOVA Table
變異來源 均方和 自由度 平方和 F值
Pr Pc ` ´2
SSR X i. − X .. r−1 SSR
Fa = MSR
Pi=1 Pj=1 ` ´2 r−1 MSE
SSC r c
X .j − X .. c−1 SSC
Fb = MSC
Pri=1 Pcj=1 ` ´2 c−1 MSE
SSE Xij − X i. − X .j + X .. (r − 1) (c − 1) SSE
Pi=1 Pj=1 ` ´2 (r−1)(c−1)
j=1 Xij − X .. rc − 1
r c
SSTO i=1
利用ANOVA Table檢定下列假設
1. (
H0 : µ1. = µ2. = · · · = µr.
H1 : µ1. , µ2. , · · · , µr. 不全相等
棄卻域為 ½ ¾
MSR
C = Fa = > Fα (r − 1, (r − 1) (c − 1))
MSE
2. (
H0 : µ.1 = µ.2 = · · · = µ.c
H1 : µ.1 , µ.2 , · · · , µ.c 不全相等
棄卻域為 ½ ¾
MSC
C = Fb = > Fα (c − 1, (r − 1) (c − 1))
MSE
8.3 二因子變異數分析 218
品種
甲 乙 丙
A 8 3 7
肥 B 10 4 8
料 C 6 5 6
D 8 4 7
取顯著水準α = 0.05,試分別檢定
1. 不同肥料
2. 不同品種
所得到的平均收穫量是否會有顯著差異?
解:
ANOVA Table
變異來源 平方和 自由度 均方和 F值
列因子 4.6667 3 1.5556 1.2727
行因子 34.6667 2 17.3333 14.1818
殘差 7.3333 6 1.2222
總和 46.6667 11
1. (
H0 : µA = µB = µC = µD
H1 : µA , µB , µC , µD 不全相等
½ ¾
MSC
C= F = > F0.05 (2, 6) = 5.1432
MSE
因為F = 14.1818 > F0.05 (2, 6) = 5.1432 ∈ C, 所以棄卻H0 : µA = µB = µC = µD
2. (
H0 : µ甲 = µ乙 = µ丙
H1 : µ甲 , µ乙 , µ丙 不全相等
½ ¾
MSR
C= F = > F0.05 (3, 6) = 4.7571
MSE
因為F = 1.2727 < F0.05 (3, 6) = 4.7571 ∈
/ C, 所以不棄卻H0 : µ甲 = µ乙 = µ丙
第9章
簡單線性迴歸分析
9.1 最小平方法
由於我們所要建立的模式為
Yi = β0 + β1 Xi + εi , i = 1, 2, . . . , n,
故概似函數為
" P #
¡ ¢ 1
n
(yi − β 0 − β1 x i )
2
L β0 , β1 , σ 2
= f (x1 , x2 , . . . , xn ) = n exp − i=1
(2πσ 2 ) 2 2σ 2
兩邊同時取ln得 Pn
¡ ¢ n n (yi − β0 − β1 xi )
2
ln L β0 , β1 , σ 2 = − ln 2π − ln σ 2 − i=1
2 2 2σ 2
¡ ¢
所以, 可得lnL β0 , β1 , σ 2 有最大值之必要條件為
¡ ¢ Pn
∂ ln L β0 , β1 , σ 2 2 (yi − β0 − β1 xi ) × (−1)
= − i=1 = 0,
∂β0 2σ 2
9.1 最小平方法 220
¡ ¢ Pn
∂ ln L β0 , β1 , σ 2 2 (yi − β0 − β1 xi ) × (−xi )
= − i=1 =0
∂β1 2σ 2
及 ¡ ¢ Pn 2
∂ ln L β0 , β1 , σ 2 n 1 i=1 (yi − β0 − β1 xi )
2
= − 2
+ 4
=0
∂σ 2σ 2σ
求解上述方程組可求得
Pn ³ ´2
Pn yi − βb0 − βb1 xi
(xi − x) yi b i=1
βb1 = Pi=1
n
b
2 , β0 = y − β1 x 及 σ
bM2
LE =
i=1 (x i − x) n
iid ¡ ¢
由於上述估計之方法必須在εi ∼ N 0, σ 2 , 因此在使用上有所限制。 以下介紹一般常用的方法, 其概念為找出一
組βb0 及βb1 使得誤差平方和為最小, 而且不受εi 分配限制, 一般此種方法為普通最小平方法(Method of Ordinarily Least
Square), 簡稱OLS。
圖 9.1: 普通最小平方法概念圖
Pn Pn
由圖9.1可知, 誤差平方和為 i=1 ε2i = i=1 (Yi − β0 − β1 Xi ) 。由於ε, β0 , β1 均未知, 因此分別以ei , βb0 及βb1 作
2
為個別之估計式 。所以目標函數可寫成
X
n n ³
X ´2
min e2i = Yi − βb0 − βb1 Xi
i=1 i=1
和 Pn
∂ 2 X
n ³ ´
i=1 ei
= 2 Yi − βb0 − βb1 Xi × (−Xi ) = 0
∂ βb1 i=1
221 CHAPTER 9. 簡單線性迴歸分析
經化簡可得
X
n X
n
nβb0 + βb1 Xi = Yi
i=1 i=1
和
X
n X
n X
n
βb0 Xi + βb1 Xi2 = Xi Yi
i=1 i=1 i=1
以矩陣方式可表示為
" Pn #" # " Pn #
n i=1 Xi βb0 i=1 Yi
Pn Pn = Pn
i=1 Xi 2
i=1 Xi βb1 i=1 Xi Yi
求解二元一次方程組可得 Pn Pn Pn Pn
i=1 Xi −
2
Yi i=1 Xi Yi Xi
βb0 = i=1
Pn Pn 2
i=1
,
n i=1 Xi2 − ( i=1 Xi )
及
Pn Pn Pn
n Xi Yi − i=1 Xi i=1 Yi
βb1 = Pn
i=1
Pn 2
n i=1 Xi2 − ( i=1 Xi )
Pn ¡ ¢¡ ¢
i=1 Xi − X Yi − Y
= Pn ¡ ¢2
i=1 Xi − X
Pn ¡ ¢
i=1 Xi − X Yi
= Pn ¡ ¢2
i=1 Xi − X
及
βb0 = Y − βb1 X
證明:.
à n !
X X
n
Cov ci Yi , di Yi
i=1 i=1
à n !à n !
X X
n X X
n
= E ci Yi − ci µ di Yi − di µ
i=1 i=1 i=1 i=1
à n !à n !
X X
= E ci (Yi − µ) di (Yi − µ)
i=1 i=1
h
2
= E c1 d1 (Y1 − µ) + c1 d2 (Y1 − µ) (Y2 − µ) + · · · + c1 dn (Y1 − µ) (Yn − µ)
i
2
+ · · · + cn d1 (Yn − µ) (Y1 − µ) + cn d2 (Y1 − µ) (Y2 − µ) + · · · + cn dn (Yn − µ)
2
= c1 d1 E (Y1 − µ) + c1 d1 E (Y1 − µ) (Y2 − µ) + · · · + c1 dn E (Y1 − µ) (Yn − µ)
2
+ · · · + cn d1 E (Yn − µ) (Y1 − µ) + cn d2 E (Y1 − µ) (Y2 − µ) + · · · + cn dn E (Yn − µ)
E (Yi − µ) (Yj − µ) = 0,
故可推得 Ã n !
X X
n X
n
Cov ci Yi , di Yi = σ2 ci di
i=1 i=1 i=1
由以上可發現以最小平方法所求得知迴歸估計式與以最大概似法所求得知迴歸估計式相等。又由於
à Pn ¡ ¢ ! £Pn ¡ ¢ ¤
³ ´ −
X X Yi E i=1 Xi − X Yi
E βb1 i=1 i
= E Pn ¡ ¢2 = Pn ¡ ¢2
i=1 Xi − X i=1 Xi − X
Pn ¡ ¢
i=1 Xi − X E (Yi )
= Pn ¡ ¢2
i=1 Xi − X
Xn ¡ ¢
Xi − X (β0 + β1 Xi )
= Pn ¡ ¢2
i=1 i=1 Xi − X
¡ ¢ ¡ ¢
Xn
β0 Xi − X Xn
β1 Xi Xi − X
= Pn ¡ ¢2 + Pn ¡ ¢2
i=1 i=1 Xi − X i=1 i=1 Xi − X
Pn ¡ ¢2
Xi − X
= β1 Pi=1
n ¡ ¢ 2 = β1 ,
i=1 X i − X
³ ´ ³ ´
E βb0 = E Y − βb1 X
= β0 + β1 X − β1 X
223 CHAPTER 9. 簡單線性迴歸分析
= β0 ,
à Pn ¡ ¢ ! à ¡ ¢ !
³ ´ Xi − X Yi Xn
Xi − X
Var βb1 = Var i=1
Pn¡ ¢2 = Var Pn ¡ ¢2 Yi
Xi − X
i=1 i=1 i=1 Xi − X
" ¡ ¢ #2
Xn
Xi − X
= Pn ¡ ¢2 Var (Yi )
i=1 i=1 Xi − X
" ¡ ¢ #2
Xn
Xi − X 2
= Pn ¡ ¢2 σ
i=1 i=1 Xi − X
Pn ¡ ¢2
i=1 Xi − X σ2
= hP ¡ ¢ i 2 σ 2 = Pn ¡ ¢2 ,
i=1 Xi − X
n 2
i=1Xi − X
à n ¡ ¢ !
³ ´ ³ ´ X1 Xn
Xi − X Yi
Var βb0 b
= Var Y − β1 X = Var Yi − Pn ¡ ¢2 X
n
i=1 i=1 i=1 Xi − X
à n ¡ ¢ !
X1 X n
Xi − X X
= Var Yi − Pn ¡ ¢2 Yi
n
i=1 i=1 i=1 Xi − X
à n " ¡ ¢ # !
X 1 Xi − X X
− ¡ ¢ Yi
n Pn Xi − X 2
= Var
i=1 i=1
" ¡ ¢ #2
Xn
1 Xi − X X
= − Pn ¡ ¢2 σ
2
i=1
n X i − X
i=1
¡ ¢2 2 ¡ ¢
Xn
1 Xi − X X 2 Xi − X X 2
= 2 + hP ¡ ¢ i2 − Pn ¡ ¢2 σ
n n 2
n i=1 Xi − X
i=1
i=1 X i − X
2 Pn ¡ ¢2 Pn ¡ ¢
i=1 Xi − X 2X i=1 Xi − X 2
2 X
σ
¢2 i2 σ − Pn ¡
2
= + hP ¢2 σ
n n ¡ n X − X
i=1 X i − X i=1 i
2
σ2 X σ2
= + Pn ¡ ¢2
n
i=1 Xi − X
Pn ¡ ¢2 2
i=1 Xi − X + nX 2
= Pn ¡ ¢ 2 σ
n i=1 Xi − X
Pn 2
i=1 Xi 2
= Pn ¡ ¢2 σ
n i=1 Xi − X
9.1 最小平方法 224
¡ ¢
所以當εi ∼ N 0, σ 2 的假設成立時, 可推得估計式βb0 和βb1 之機率分配分別 為
iid
à 2 2
!
2
σ X σ
βb0 ∼ N β0 , + Pn ¡ ¢2
n Xi − X i=1
及 Ã !
σ2
βb1 ∼ N
¡ ¢2
β1 , Pn
Xi − X i=1
Pn Pn
此外, 由正規方程式(Normal Equations), ∂ i=1 e2i /∂β0 及∂ i=1 e2i /∂β1 , 可得下列性質:
Pn
1. i=1 ei =0
Pn
2. i=1 Xi ei = 0
Pn
3. i=1 Ybi ei = 0
證明:.
Pn
1. 由∂ i=1 ei /∂β0 可知,
2
Pn 2 X
n ³ ´
∂ i=1 ei
= 2 Ybi − β0 − β1 Xi × (−1)
∂β0 i=1
X
n
= −2 ei
i=1
= 0
所以,
X
n
ei = 0
i=1
Pn
2. 由∂ i=1 ei /∂β1 可知,
2
Pn 2 X
n ³ ´
∂ i=1 ei
= 2 Ybi − β0 − β1 Xi × (−Xi )
∂β1 i=1
X
n
= −2 Xi ei
i=1
= 0
所以,
X
n
Xi ei = 0
i=1
225 CHAPTER 9. 簡單線性迴歸分析
3.
X
n n ³
X ´
Ybi ei = βb0 + βb1 Xi ei
i=1 i=1
X
n X
n
= βb0 ei + βb1 Xi ei
i=1 i=1
= 0
Pn Pn
由於, i=1 ei = 0, i=1 Xi ei = 0, 故得
X
n
Ybi ei = 0
i=1
證明:.
1.
Pn¡ ¢ ¡ ¢
X i − X Yi X n
Xi − X
βb1 = ¡
i=1
Pn ¢2 = Pn ¡ ¢2 Yi
Xi − X
i=1 i=1 i=1 Xi − X
¡ ¢ ¡ ¢ ¡ ¢
X1 − X X2 − X Xn − X
= Pn ¡ ¢2 1 Pn ¡
Y + ¢2 2
Y + · · · + Pn ¡ ¢2 Yn
i=1 X i − X i=1 X i − X i=1 X i − X
X
n
= ki Yi ,
i=1
¡ ¢ .Pn ¡ ¢2
其中ki = Xi − X i=1 Xi − X 。所以, βb1 為線性估計式。
2.
à Pn ¡ ¢ ! £Pn ¡ ¢ ¤
³ ´ Xi − X Yi E i=1 Xi − X Yi
E βb1 = E i=1
Pn ¡ ¢2 = Pn ¡ ¢2
i=1 Xi − X i=1 Xi − X
Pn ¡ ¢
i=1 Xi − X E (Yi )
= Pn ¡ ¢2
i=1 Xi − X
Xn ¡ ¢
Xi − X (β0 + β1 Xi )
= Pn ¡ ¢2
i=1 i=1 Xi − X
¡ ¢ ¡ ¢
Xn
β0 Xi − X Xn
β1 Xi Xi − X
= Pn ¡ ¢2 + Pn ¡ ¢2
i=1 i=1 Xi − X i=1 i=1 Xi − X
9.1 最小平方法 226
Pn ¡ ¢2
Xi − X
= β1 Pi=1
n ¡ ¢2 = β1
i=1 Xi − X
由於βe1 必須為一不偏估計式, 故可推得
X
n X
n
ci = 0 且 ci X i = 1
i=1 i=1
上式中
X
n X
n X
n
ki di = ki ci − ki2
i=1 i=1 i=1
¡
¢ " ¡ ¢ #2
X
n
ci Xi − X Xn
Xi − X
= Pn ¡ ¢2 − Pn ¡ ¢2
i=1 i=1 X i − X i=1 i=1 Xi − X
Pn Pn Pn ¡ ¢2
i=1 ci Xi − X i=1 ci i=1 Xi − X
= Pn ¡ ¢2 − hP ¢2 i2
n ¡
i=1 Xi − X Xi − X i=1
1 1
= Pn ¡ ¢2 − Pn ¡ ¢2
i=1 Xi − X i=1 Xi − X
= 0
227 CHAPTER 9. 簡單線性迴歸分析
所以
³ ´ X
n X
n
Var βe1 = ki2 σ 2 + d2i σ 2
i=1 i=1
σ 2 X
n
= Pn¡ ¢2 + d2i σ 2
i=1 Xi − X i=1
³ ´
≥ Var βb1
Pn ³ ´2
又最大概似法所求得之母體變異數估計值為b
σ2 = i=1 Yi − βb0 − βb1 Xi /n, 由於此估計式是否為不偏估計式
仍然未定, 因此不能貿然使用它來作為母體變異數之估計式。 為求得母體變異數之不偏估計式, 首先可將總變異來
源SSTO分解如下:
X n ³
X ´2
n
¡ ¢2
SSTO = Yi − Y = Yi − Ybi + Ybi − Y
i=1 i=1
n ³
X ´2 Xn ³ ´2 n ³
X ´³ ´
= Yi − Yb + Yb − Y +2 Yi − Yb Yb − Y
i=1 i=1 i=1
其中,
n ³
X ´³ ´ n ³
X ´³ ´
Yi − Ybi Ybi − Y = Yi − βb0 − βb1 Xi βb0 + βb1 Xi − Y
i=1 i=1
n ³
X ´³ ´
= Yi − Y + βb1 X − βb1 Xi Y − βb1 X + βb1 Xi − Y
i=1
n ³
X ´¡ ¢
= −βb1 Yi − Y + βb1 X − βb1 Xi X − Xi
i=1
X
n
¡ ¢¡ ¢ X
n
¡ ¢2
= βb1 Yi − Y Xi − X − βb12 Xi − X
i=1 i=1
Pn ¡ ¢¡ ¢ n
i=1 Xi − X Yi − Y X ¡ ¢¡ ¢
= Pn ¡ ¢2 Yi − Y Xi − X
i=1 Xi − X i=1
" Pn ¡ ¢¡ ¢ #2 n
X¡ ¢2
i=1 Xi − X Yi − Y
− Pn ¡ ¢2 Xi − X
i=1 Xi − X i=1
£Pn ¡ ¢¡ ¢¤2 £Pn ¡ ¢¡ ¢¤2
i=1 Xi − X Yi − Y i=1 Xi − X Yi − Y
= Pn ¡ ¢2 − Pn ¡ ¢2
i=1 Xi − X i=1 Xi − X
= 0
9.1 最小平方法 228
所以SSTO可由可解釋變異(SSR)及不可解釋變異(SSE)所組成, 又SSR可寫成
n ³
X ´2 n ³
X ´2 n ³
X ´2
SSR = Ybi − Y = βb0 + βb1 Xi − Y = Y − βb1 X + βb1 Xi − Y
i=1 i=1 i=1
n ³
X ´2 n ³
X ´2
= −βb1 X + βb1 Xi = −βb1 X + βb1 Xi
i=1 i=1
¢¡£Pn ¢¤2 ¡
X
n
¡ ¢2
Xi − X Yi − Y
= βb12 Xi − X = Pn 2
i=1
2
= rxy × SSTO
因此,
n ³
X ´2
SSE = Yi − Yb
i=1
X
n
¡ ¢2 X
n
¡ ¢2
= Yi − Y − βb12 Xi − X
i=1 i=1
= SSTO − SSR
又
" n ³
#
X ´2 X
n h i2 X
n h i2
E (SSE) = E Yi − Ybi = E Yi − Ybi = E Yi − βb0 − βb1 Xi
i=1 i=1 i=1
X
n ³ ´ n n h
X io2
= Var Yi − βb0 − βb1 Xi + E Yi − βb0 − βb1 Xi
i=1 i=1
X
n ³ ´
= Var Yi − βb0 − βb1 Xi
i=1
³ ´ ³ ´
= Var (Yi ) + Var βb0 + Xi2 Var βb1
³ ´ ³ ´ ³ ´
−2Cov Yi , βb0 − 2Xi Cov Yi , βb1 + 2Xi Cov βb0 , βb1
其中
³ ´ ³ ¡ ¢´
Cov Yi , βb0 = E (Yi − µY ) Y − βb1 X − µy − β1 X
" n ¡ ¢ #
X1 Xn
X Xi − X
= E [Yi − µy ] (Yi − µy ) − Pn ¡ ¢2 (Yi − µy )
i=1
n i=1 X i − X
i=1
" n à ¡ ¢ ! #
X 1 X Xi − X
= E [Yi − µy ] − ¡ ¢ (Yi − µy )
i=1
n Pn Xi − X 2
i=1
229 CHAPTER 9. 簡單線性迴歸分析
à ¡ ¢ !
1 X Xi − X
− ¡ ¢ σ2 ,
n Pn Xi − X 2
=
i=1
³ ´ ³ ´
Cov Yi , βb1 = E (Yi − µy ) βb1 − β1
" n ¡ ¢ #
X Xi − X
= E [Yi − µy ] Pn ¡ ¢2 (Yi − µy )
i=1 i=1 Xi − X
" n ¡ ¢ #
X Xi − X
= E [Yi − µy ] Pn ¡ ¢2 (Yi − µy )
i=1 i=1 Xi − X
¡ ¢
Xi − X 2
= Pn ¡ ¢2 σ
i=1 Xi − X
及
³ ´ ³ ´³ ´
Cov βb0 , βb1 = E βb0 − β0 βb1 − β1
" n ¡ ¢ #" n ¡ ¢ #
X (Yi − µy ) X n
X Xi − X (Yi − µy ) X Xi − X (Yi − µy )
= E − Pn ¡ ¢2 Pn ¡ ¢2
n
i=1 i=1 i=1 Xi − X i=1 i=1 Xi − X
" n à ¡ ¢ ! #" n ¡ ¢ #
X 1 X Xi − X X Xi − X
− ¡ ¢ (Yi − µy ) Pn ¡ ¢2 (Yi − µy )
n Pn Xi − X 2
= E
i=1 i=1 i=1 i=1 X i − X
à ¡ ¢ ! à ¡ ¢ !
X n
1 X X i − X X i − X
2
− ¡ ¢ × Pn ¡ ¢2
n Pn Xi − X 2
= σ
i=1 i=1 i=1 Xi − X
¡ ¢ ¡ ¢2
X n
X i − X X X i − X
= σ2 Pn ¡ ¢2 − ³P ¡ ¢ 2 ´2
n i=1 Xi − X n
i=1 Xi − X
i=1
Pn ¡ ¢2
2 X i=1 Xi − X
= −σ ³P ¢2 ´2
n ¡
i=1 Xi − X
X
= −σ 2 Pn ¡ ¢2
i=1 Xi − X
³ ´
所以, Var Yi − βb0 − βb1 Xi 可改寫成
³ ´ Pn
σ 2 i=1 Xi2 σ 2 Xi2
Var Yi − βb0 − βb1 Xi = σ2 + Pn ¡ ¢2 + Pn ¡ ¢2
n i=1 Xi − X i=1 Xi − X
à ¡ ¢ ! ¡ ¢
σ2 σ 2 X Xi − X 2σ 2 Xi Xi − X 2σ 2 Xi X
−2 − Pn ¡ ¢2 − Pn ¡ ¢2 − Pn ¡ ¢2
n
i=1 Xi − X i=1 Xi − X i=1 Xi − X
Pn
i=1 Xi
2 ¡ ¢ ¡ ¢
n−2 2 n + Xi2 + 2X Xi − X − 2Xi Xi − X − 2Xi X 2
=
n
σ + Pn ¡ ¢2 σ
i=1 Xi − X
9.1 最小平方法 230
Pn
Xi2 2
n−2 2 i=1
n − Xi2 − 2X + 2XXi 2
=
n
σ + Pn ¡ ¢2 σ
i=1 Xi − X
故可推得
Pn
n
X 2 Xi2
n−2 n − 2X −
i=1
X 2
j + 2XX j
E (SSE) = σ2 + P ¡ ¢ σ 2
n n 2
i=1 i=1 Xi − X
Pn ³ Pni=1 Xi2 2
´
j=1 n − 2X − Xj2 + 2XXj
= (n − 2) σ 2 + Pn ¡ ¢2 σ2
i=1 X i − X
Pn 2 Pn Pn
i=1 Xi − 2nX −
2 2
j=1 Xj + 2X j=1 Xj 2
= (n − 2) σ +
2
Pn ¡ ¢2 σ
i=1 Xi − X
Pn 2 Pn 2
i=1 Xi − 2nX −
2 2
j=1 Xj + 2nX
= (n − 2) σ +
2
Pn ¡ ¢2 σ2
i=1 Xi − X
= (n − 2) σ 2
及 µ ¶
SSE
E (MSE) = E = σ2
n−2
因此, MSE為母體變異數σ 2 之不偏估計式, 故以MSE作為母體變異數之估計值。由此可發現, 以最大概似法所求得之母
體變異數估計式並非為不偏估計式。
Pn ³ ´2 P ³ ´2
Yi − Yb 與 i=1 Yb − Y 相獨立(在此僅承認
n
由於SSTO/σ 2 ∼ χ2 (n − 1), 且卡方分配具可加性, 又 i=1
此一性質, 證明省略 ), 故可知SSE/σ 2 及SSR/σ 2 亦為卡方分配。因為E(SSE/σ 2 ) = n − 2, 故可推得SSE/σ 2 ∼
χ2 (n − 2)。因此由卡方分配之可加性可知SSR/σ 2 ∼ χ2 (1)。
例 9-1. Consider the simple linear regression model Y = β0 + β1 X + ε, with E (ε) = 0, Var (ε) = σ 2 and the
errors ε are uncorrelated.
³ ´ Pn ¡ ¢2
1. Show that Cov βb0 , βb1 = −Xσ 2 / i=1 Xi − X .
³ ´
2. Show that Cov βb1 , Y = 0
解:
由定理10-1可知
1.
à ¡ ¢ ¡ ¢ !
³ ´ X
n
X Xi − X Xn
Xi − X
Cov βb0 , βb1 = Cov Y − Pn ¡ ¢2 Yi , Pn ¡ ¢ 2 Yi
i=1 i=1 Xi − X i=1 i=1 Xi − X
231 CHAPTER 9. 簡單線性迴歸分析
à n " ¡ ¢ # ¡ ¢ !
X 1 X Xi − X X n
Xi − X
− ¡ ¢ Yi , Pn ¡ ¢ 2 Yi
n Pn Xi − X 2
= Cov
i=1 i=1 i=1 i=1 Xi − X
" ¡ ¢ # ¡ ¢
Xn
1 X Xi − X Xi − X
= σ 2
− Pn ¡ ¢2 Pn ¡ ¢2
n
i=1 i=1 Xi − X i=1 Xi − X
¡ ¢ ¡ ¢2
Xn
Xi − X Xn
X Xi − X
¢2 − σ
2 2
= σ Pn ¡ hP ¢2 i2
n ¡
i=1 n i=1 Xi − X i=1
i=1 Xi − X
Pn ¡ ¢2
2 X i=1 Xi − X σ2 X
= −σ hP i = − P ¡ ¢2
n ¡ ¢2 2 n
i=1 Xi − X i=1 Xi − X
2.
à n ¡ ¢ !
³ ´ X Xi − X X n
1
Cov βb1 , Y = Cov Pn ¡ ¢ 2 Yi , Yi
i=1 X i − X i=1
n
i=1
¡ ¢ Pn ¡ ¢
Xn
i−X
2 X 2 i=1 Xi − X
= σ Pn ¡ ¢2 = σ Pn ¡ ¢2
i=1 n i=1 Xi − X n i=1 Xi − X
= 0
√ βb1 − β1
βb1 − β1
Pn
i=1 (Xi −x)
2
σ2 /
r =q ¢2 ∼ t (n − 2)
Pn ¡
SSE/σ 2 MSE/ i=1 Xi − X
n−2
9.2 β0 與β1 之統計推論 232
故由7.2.2可求得
b1 − β1
β
1−α = P −t α2 (n − 2) < q Pn ¡ ¢2 < t 2 (n − 2)
α
MSE/ i=1 Xi − X
às s !
MSE MSE
= P −t α2 (n − 2) Pn ¡ ¢2 < βb1 − β1 < t α2 (n − 2) Pn ¡ ¢2
i=1 X i − X i=1 Xi − X
às s !
MSE MSE
= P βb1 − t α2 (n − 2) Pn ¡ ¢2 < β1 < βb1 + t α2 (n − 2) Pn ¡ ¢2
i=1 X i − X i=1 Xi − X
又由8.2可知, 當統計假設為雙尾檢定時, 即 (
H0 : β1 = k
H1 : β1 ̸= k
由型I誤差之定義可知
³ ¯ ´
¯
α = P βb1 < c1 或 βb1 > c2 ¯ β1 = k
b1 − k
β c − k
= P q
1
Pn ¡ ¢2 < q Pn ¡ ¢2
MSE/ i=1 Xi − X MSE/ i=1 Xi − X
βb1 − k c − k
+P q
2
Pn ¡ ¢2 > q Pn ¡ ¢2
MSE/ i=1 Xi − X MSE/ i=1 Xi − X
由於為雙尾檢定, 故取左右兩邊機率相等可得
c1 − k c2 − k
−t α2 (n − 2) = q Pn ¡ ¢ 及 t α2 (n − 2) = q Pn ¡ ¢
MSE/ i=1 Xi − X MSE/ i=1 Xi − X
故可求得棄卻域為
( s s )
MSE MSE
C= βb1 < k − t α2 (n − 2) Pn 或 βb1 > k + t α2 (n − 2) Pn
i=1 (xi − x) i=1 (xi − x)
當k = 0時,
q ¡ ¢2
Pn
βb1 − 0 i=1 Yi − Y 1
q = r × qP ¢2 × q
P n ¡ ¢2 n ¡ Pn ¡ ¢2
σ 2 / i=1 Xi − X i=1 Xi − X σ2 / i=1 Xi − X
233 CHAPTER 9. 簡單線性迴歸分析
s
Pn ¡ ¢2
Yi − Y
= r× i=1
σ2
及 s s
r Pn ¡ ¢2 r Pn ¡ ¢2
SSE/σ 2 (1 − r2 ) i=1 Yi − Y 1 − r2 Yi − Y
= = × i=1
n−2 (n − 2) σ 2 n−2 σ2
所以,
,r s
Pn ¡ ¢2 r s
βb1 − 0 SSE/σ 2 Yi − Y n−2 σ2
q = r× i=1
× × Pn ¡ ¢2
Pn ¡ ¢2 n−2 σ2 1 − r2
σ 2 / i=1 Xi − X i=1 Yi − Y
√
r n−2
= √
1 − r2
故可知統計量 √
r n−2
√ ∼ t (n − 2)
1 − r2
所以可推得下列結論: 檢定β1 是否為0與檢定相關係數是否為0所得結論相同, 即
( (
H0 : β1 = 0 H0 : ρ = 0
⇔
H1 : β1 ̸= 0 H1 : ρ ̸= 0
因此, 由型I誤差之定義可知
µ √ ¶
r n−2
1 − α = P −t 2 (n − 2) < √
α < t 2 (n − 2)
α
1 − r2
故當 √ √
r n−2 r n−2
√ < −t α2 (n − 2) 或 √ > t α2 (n − 2) 時,
1 − r2 1 − r2
則棄卻虛無假設H0 : ρ = 0。
1. 求銷貨額對廣告費的迴歸方程式為何?
2. 試求β1 之95%信賴區間?
4. 以顯著水準為0.05, 試檢定ρ是否為0?
9.2 β0 與β1 之統計推論 234
解:
1. Pn Pn Pn Pn
(xi − x) yi i=1 xi yi − i=1 xi i=1 yi / n
βb1 = Pi=1
n 2 = Pn P 2
i=1 (xi − x)
n
i=1 xi − (
2
i=1 xi ) /n
X
n X
n X
n X
n X
n
xi = 325, yi = 462, xi yi = 15570, x2i = 11775, yi2 = 21710
i=1 i=1 i=1 i=1 i=1
2.
X
n X
n Pn 2
2 ( yi )
SSTO = (yi − y) = yi2 − i=1
i=1 i=1
n
2
462
= 21710 −
10
= 365.6
及
" #
X
n X
n
βb12 βb12
2
SSR = (xi − x) = × x2i − nx 2
i=1 i=1
" µ ¶2 #
325
= 0.4577 × 11775 − 10 ×
2
10
= 254.01
可求得
111.59
SSE = SSTO − SSR = 365.6 − 245.01 = 111.59 及 MSE= = 13.949
10 − 2
" s s #
MSE MSE
βb1 − t0.025 (8) Pn b
2 , β1 + t0.025 (8) Pn 2
i=1 (xi − x) i=1 (xi − x)
" s s #
13.949 13.949
= 0.4577 − 2.306 × , 0.4577 + 2.306 ×
11775 − 3252 /10 11775 − 3252 /10
= [0.2104, 0.7050]
235 CHAPTER 9. 簡單線性迴歸分析
3. (
H0 : β1 = 0
H1 : β1 ̸= 0
( s s )
MSE MSE
C= βb1 < −t0.025 (8) Pn 2 = −0.2473 或 βb1 > t0.025 (8) Pn 2 = 0.2473
i=1 (xi − x) i=1 (xi − x)
4. (
H0 : ρ = 0
H1 : ρ ̸= 0
Pn
(xi − x) (yi − y) 15570 − 325×462
r = qP i=1 = q¡ ¢¡
10
¢ = 0.8336
2 Pn
n
i=1 (xi − x) i=1 (yi − x)
2
11775 − 10
3252
21710 − 4622
10
故可求得棄卻域為
½ √ √ ¾
r n−2 r n−2
C= √ < −t0.025 (8) = −2.306 或 √ > t0.025 (8) = 2.306
1 − r2 1 − r2
又 √ √
r n−2 0.8336 10 − 2
√ = √ = 4.2685 ∈ C,
1 − r2 1 − 0.83362
所以棄卻H0 : β = 0的虛無假設。
故可得 " Ã ! #
¡ ¢2
b 1 X −X
Y ∼ N β0 + β1 X, ¡ ¢ σ2
n Pn Xi − X 2
+
i=1
9.3 µy|x 之信賴區間及預測區間之估計 236
Ybi − µy|x
s µ ¶ ∼ t (n − 2)
2
1 (Xi −X )
MSE n + Pn 2
i=1 (Xi −X )
由信賴區間之定義可知
Yb − µy|x
1−α = P −t α (n − 2) < r
³ < t α2 (n − 2)
2 ¡ ¢2 .Pn ¡ ¢2 ´
MSE 1/n + X − X i=1 Xi − X
³ ´
by|x < Yb − µy|x < t α2 (n − 2) σ
= P −t α2 (n − 2) σ by|x
³ ´
= P Yb − t α2 (n − 2) σ
by|x < µy|x < Yb + t α2 (n − 2) σ
by|x ,
r ³ ¡ ¢2 .Pn ¡ ¢2 ´
其中 by|x
σ 2
= MSE 1/n + X − X i=1 X − X 。所以, 在給定X = X0 的條件下, 母體平均數, Y ,
之100 × (1 − α)%信賴區間為
" s s #
2 2
MSE (x − x) MSE MSE (x − x) MSE
βb0 + βb1 x0 − t α2 (n − 2) b b
0 0
+ Pn 2 , β0 + β1 x0 + t 2 (n − 2) + Pn
α
2
i=1 (xi − x) i=1 (xi − x)
n n
解: s s
2 2
MSE (x0 − x) MSE 13.949 (45 − 32.5) × 13.949
+ Pn 2 = + = 1.7867
11775 − 325
2
i=1 (xi − x)
n 10 10
所以在給定廣告費為45萬元的條件下, 銷貨量期望值之95%信賴區間為
[31.325 + 0.4577 × 45 − 2.306 × 1.7867, 31.325 + 0.4577 × 45 + 2.306 × 1.7867] = [47.801, 56.042]
及
³ ´ ³ ´
Var Ybn+1 − Yn+1 = Var βb0 + βb1 Xn+1 − β0 − β1 Xn+1 − εn+1
³ ´
= Var βb0 + βb1 Xn+1 + Var (εn+1 )
¡ ¢2
σ2 σ 2 Xi − X 2
= + Pn ¡ ¢2 + σ
n Xn+1 − X
i=1
故可求得
Ybn+1 − Yn+1
r ³ ∼ tn−2
Pn ¡ ¢2 .¡ ¢2 ´
MSE 1 + 1/n + i=1 Xi − X Xi − X
由信賴區間之定義可知
Ybn+1 − Yn+1
1−α = P
−t 2 (n − 2) < r
α
³ . ´ < t α2 (n − 2)
¡ ¢2 Pn ¡ ¢2
MSE 1 + 1/n + Xi − X i=1 Xi − X
³ ´
= P −t α2 (n − 2) σbYbn+1 −Yn+1 < Ybn+1 − Yn+1 < t α2 (n − 2) σbYbn+1 −Yn+1
³ ´
= P Ybn+1 − t α2 (n − 2) σbYbn+1 −Yn+1 < Yn+1 < Ybn+1 + t α2 (n − 2) σbYbn+1 −Yn+1
r ³ ¡ ¢2 . Pn ¡ ¢2 ´
其中b
σYbn+1 −Yn+1 = MSE 1 + 1/n + Xn+1 − X i=1 Xi − X 。故可求得當Xn+1 = xn+1 時, Yn+1 之100×
(1 − α)%預測區間為
v à !
u
u 2
βb0 + βb1 xn+1 − t α (n − 2) tMSE 1 + 1 + P(xn+1 − x)
n 2 ,
i=1 (xi − x)
2
n
v à !
u
u 1 (x − x)
2
βb0 + βb1 xn+1 + t α2 (n − 2) tMSE 1 + + Pn
n+1
2
i=1 (xi − x)
n
所以在給定廣告費為45萬元的條件下, 銷貨量之95%預測區間為
[31.325 + 0.4577 × 45 − 2.306 × 4.1402, 31.325 + 0.4577 × 45 + 2.306 × 4.1402] = [42.374, 61.469]
9.3 µy|x 之信賴區間及預測區間之估計 238
簡單迴歸研究中是研究獨立變數X與反應變數Y之關係, 故很自然的我們會想到一個問題就是X對Y的影響為何? 而
變數X對Y之解釋能力貢獻為何? 在前面我們以了解可利用 是否為0的檢定來探討X對Y是否有影響, 今我們可以利用更
普遍化之方法, 變異數分析(ANOVA), 來探討 且此方法對未來複迴歸分析中有相當助益。由10.1可知總變異SSTO可
分解成 SSR(可解釋變異)及SSE(不可解釋變異), 即
X
n
¡ ¢2
Yi − Y = SSR + SSE
i=1
n ³
X ´2 n ³
X ´2
= Ybi − Y + Yi − Ybi
i=1 i=1
SSR
R2 =
SSTO
故可知判定係數即為樣本相關係數的平方。最後將各項變異來源編製成下列表格
ANOVA Table
變異來源 平方和 自由度 均方和 F值
Pn “ b ”2 Pn
(Ybi −Y )2
i=1 Yi − Y
i=1 MSR
SSR 1 MSR= 1
F= MSE
Pn “ bi
”2 Pn
(Yi −Ybi )2
SSE i=1 Yi − Y n−2 MSE= i=1
n−2
Pn ` ´2
SSTO i=1 Yi − Y n−1
由於t2 = F , 因此利用上表可用來檢定下列問題
(
H0 : β1 = 0
H1 : β1 ̸= 0
239 CHAPTER 9. 簡單線性迴歸分析
棄卻域為 ½ ¾
MSR
C= F = > Fα (1, n − 2)
MSE
例 9-5. 承例10-1, 試以F檢定法檢定在95%信賴水準下β1 是否為0?
解:
ANOVA Table
變異來源 平方和 自由度 均方和 F值
迴歸 245.01 1 245.01 18.209
殘差 111.59 8 13.95
總和 365.6 9
(
H0 : β1 = 0
H1 : β1 ̸= 0
棄卻域為 ½ ¾
MSR
C= F = > Fα (1, 8) = 5.32
MSE
由於F = 18.209 ∈ C, 所以棄卻H0 : β1 = 0的虛無假設。
X
n X
n X
n X
n X
n
n = 20, x = 550, y = 1620, x2 = 16080, y 2 = 135000, xy = 45900
i=1 i=1 i=1 i=1 i=1
3. 某人握力為30, 試求抬舉重量的95%預測區間
解:
1. Pn Pn Pn
i=1 xy − i=1 x y/ n 45900 − 550 × 1620/20
βb1 = Pn P
i=1. = = 1.4136
n 2 16080 − 5502 /20
i=1 x − (
2
i=1 x) n
所以
X
n
¡ ¢
SSR = βb12
2
(xi − x) = 1.41362 × 16080 − 5502 /20 = 1908.3,
i=1
X
n
2
SSTO = (yi − y) = 135000 − 16202 /20 = 3780
i=1
9.3 µy|x 之信賴區間及預測區間之估計 240
得 Pn ¡ ¢
βb12 i=1 (xi − x) 1.41362 × 16080 − 5502 /20
2
SSR
2
R = = Pn = = 0.5049
SSTO i=1 (yi − y)
2 135000 − 16202 /20
√
由於βb > 0, 所以r = 0.5049 = 0.7106 (
H0 : ρ = 0
H1 : ρ ̸= 0
½ √ √ ¾
r n−2 r n−2
C= √ < −t0.025 (18) = −2.101 or √ > t0.025 (18) = 2.101
1 − r2 1 − r2
√
r n−2
由於 √ = 3.4925 ∈ C, 所以棄卻 H0
1 − r2
又 ¡ ¢
1 − R2 × SSTO (1 − 0.5049) × 3780
MSE = = = 103.97
n−2 18
所以棄卻域為
( s s )
b MSE MSE
C = β1 < −t0.025 (18) P n 2 = −0.693 或 βb1 > t0.025 (18) Pn 2 = 0.693
i=1 (xi − x) i=1 (xi − x)
例 9-7. Support that the simple linear regression model Y = β0 + β1 X + ε describes the following data
X 6 2 4 1 5 6 3
Y 33 10 22 6 29 30 18
241 CHAPTER 9. 簡單線性迴歸分析
2. Calculate SSE.
1.
X
7 X
7 X
7 X
7 X
7
xi = 27, x2i = 127, yi = 148, yi2 = 3774, xi yi = 691
i=1 i=1 i=1 i=1 i=1
可求得
P7
(xi − x) (yi − y) 691 − 7 (27/7) (148/7)
βb1 = i=1
P7 2 = 2 = 5.2563, βb0 = y − βb1 x = 0.8697
i=1 (xi − x) 127 − 7 (27/7)
2.
X
7 X
7
(yi − y) = 644.86, SSR = βb12
2 2
SSTO = (xi − x) = 631.51
i=1 i=1
所以
SSE = SSTO − SSR = 644.86 − 631.51 = 13.347
試求
1. Y 對D1 , D3 的迴歸估計式
2. Y 對D2 , D3 的迴歸估計式
解:
由Yb = 69 + 45D1 + 18D2 可知
所以
1. Y 對D1 , D3 的迴歸估計式為
2. Y 對D2 , D3 的迴歸估計式為
1 X Yi − Yi−1
n
βe = ,
n − 1 i=1 Xi − Xi−1
另一個為 Pn ¡ ¢¡ ¢
Xi − X Yi − Y
βb = i=1
Pn ¡ ¢2
i=1 Xi − X
e
1. 解釋估計式β的涵義
e
2. β是否為未知參數β的一致估計量
3. 哪一個估計是較為有效率? βe 或是 β?
解:
e
1. β為n − 1個斜率之算術平均數。
2.
" #
³ ´ 1 X Yi − Yi−1
n
E βe = E
n − 1 i=1 Xi − Xi−1
" n #
1 X Yi − Yi−1
= E
n−1 i=1
Xi − Xi−1
1 X EYi − EYi−1
n
=
n − 1 i=1 Xi − Xi−1
1 X α + βXi − α − βXi−1
n
=
n − 1 i=1 Xi − Xi−1
β X Xi − Xi−1
n
=
n − 1 i=1 Xi − Xi−1
= β
e
所以β亦為β之線性不偏估計式。又
à ! à n !
³ ´ 1 X Yi − Yi−1
n
1 X Yi − Yi−1
Var βe = Var = 2 Var
n − 1 i=1 Xi − Xi−1 (n − 1) i=1
Xi − Xi−1
243 CHAPTER 9. 簡單線性迴歸分析
1 X
n
Var (Yi − Yi−1 )
= 2 2
(n − 1) i=1 (Xi − Xi−1 )
1 2σ 2
= 2 Pn 2
(n − 1) i=1 (Xi − Xi−1 )
且
1 2σ 2
lim 2 Pn 2 =0
n→∞ (n − 1) i=1 (Xi − Xi−1 )
e
所以β為β的一致估計量。
b
3. 根據高斯馬可夫定理(第225頁), 以最小平方法所求得之估計式為在所有不偏估計式中具有最小變異者, 因此β為較有
效率之估計式。
解:
證明:.
Pn Pn Pn
[R (xi ) − i=1 R (xi ) /n] [R (yi ) − i=1 R (yi ) /n]
rs = pPn i=1 Pn Pn Pn
i=1 [R (xi ) − i=1 R (xi ) /n] i=1 [R (yi ) − i=1 R (yi ) /n]
Pn 2
i=1 R (xi ) R (yi ) − n [(n + 1) /2]
= rh i hP i
Pn 2 2 n 2 2
i=1 R (x i ) − n [(n + 1) /2] i=1 R (x i ) − n [(n + 1) /2]
Pn 2
i=1 R (xi ) R (yi ) − n [(n + 1) /2]
= 2
n (n + 1) (2n + 1) /6 − n [(n + 1) /2]
由於
X
n X
n
2
d2i = [R (xi ) − R (yi )]
i=1 i=1
X
n
2
X
n
2
X
n
= R (xi ) + R (yi ) − 2 R (xi ) R (yi )
i=1 i=1 i=1
2n (n + 1) (2n + 1) Xn
= −2 R (xi ) R (yi )
6 i=1
代入可得
Pn 2
i=1 R (xi ) R (yi ) − n [(n + 1) /2]
rs = 2
n (n + 1) (2n + 1) /6 − n [(n + 1) /2]
Pn 2
n (n + 1) (2n + 1) /6 − i=1 d2i /2 − n [(n + 1) /2]
= 2
n (n + 1) (2n + 1) /6 − n [(n + 1) /2]
Pn 2
i=1 di /2
= 1− 2
n (n + 1) (2n + 1) /6 − n [(n + 1) /2]
Pn
6 i=1 d2i
= 1−
n (n2 − 1)
第 10 章
多變量常態分配
10.1 多變量常態分配
定理 10.1. 若A為一p × p之對稱及正定矩陣, Z為p × 1之隨機向量, 則
Z ∞ Z ∞ · ¸
1 ⊤ p 1
··· exp − z Az dz1 · · · dzp = (2π) 2 |A| 2
−∞ −∞ 2
證明:.
若A為一對稱及正定, 則必存在一 矩陣P使得P⊤ AP = I. 令y = P⊤ z, 則
¯ ¯
¯ ∂z ¯
J = ¯¯ ¯¯ = |P|
∂y
¯ ¯ ¯ ¯
由於P⊤ AP = I及¯PT AP¯ = ¯P⊤ ¯ |A| |P| = 1, 故得 |A| 2 = |P|. 所以
−1
Z ∞ Z ∞ · ¸
1
··· exp − z⊤ Az dz1 · · · dzp
−∞ −∞ 2
Z ∞ Z ∞ · ¸
1 1
= ··· exp − y⊤ P⊤ APy × |A| 2 dy1 · · · dyp
−∞ −∞ 2
Z ∞ Z ∞ · ¸
1 ⊤ 1
= ··· exp − y y × |A| 2 dy1 · · · dyp
−∞ −∞ 2
Z ∞ Z ∞ · Pp 2
¸
−2 i=1 yi
1
= |A| ··· exp − dy1 · · · dyp
−∞ −∞ 2
p
− 12
= (2π) 2 |A|
因此
Z ∞ Z ∞ 1 · ¸
|A| 2 1 ⊤
··· p exp − z Az dz1 · · · dzp = 1
−∞ −∞ (2π) 2 2
⊤
多變量常態分配(Mutlivariate Normal Distribution): X = [X1 X2 · · · Xp ] 有多變量常態分配以X ∼ N (µ, Σ)表
示之, 其中µ為母體期望值, Σ為母體共變異數矩陣, 機率密度函數為
· ¸
1 1 ⊤ −1
f (x1 , x2 , · · · , xp ) = p 1 exp − (x − µ) Σ (x − µ) ,
(2π) 2 |Σ| 2 2
10.1 多變量常態分配 246
其中
σ11 σ12 ··· σ1p
σ21 σ22 ··· σ2p
Σ = . .. .. ..
.. .
. .
σp1 σp2 ··· σpp
性質
¡ ¢
1. MX (t) = exp t⊤ µ + 12 t⊤ Σt
3. 若Y = C⊤ X, 則Y ∼ N(C⊤ µ, C⊤ ΣC)
h i⊤
4. 若 Y = A⊤ X B⊤ X , 其中A及B分別為p × 1之矩陣, 則
Ã" # " #!
A⊤ µ A⊤ ΣA A⊤ ΣB
Y∼N ,
B⊤ µ B⊤ ΣA B⊤ ΣB
⊤ ⊤
5. 若X(1) = [X1 X2 · · · Xk ] ∼ N (µ1 , Σ11 ); X(2) = [Xk Xk+1 · · · Xp ] ∼ N (µ2 , Σ22 )
⊤
6. 在給定X(2) = [Xk Xk+1 · · · Xp ] 情況下,
⊤ ¡ ¢
X(1) = [X1 X2 · · · Xk ] ∼ N µ1 + Σ12 Σ−1 −1
22 (x2 − µ2 ) , Σ11 − Σ12 Σ22 Σ21
⊤
7. (X − µ) Σ−1 (X − µ) ∼ χ2 (p)
8. 相關係數矩陣R = D⊤ ΣD, 其中
1 r12 ··· r1p 1
σ1 0 ··· 0
r21 1 ··· r2p 0 1
··· 0
σ2
R = . .. .. .. , D = .. .. .. ..
.. . .
. . . . .
rp1 rp2 ··· 1 0 0 ··· 1
σp
證明:.
1. 由定義可知
Z ∞ Z ∞ · ¸
¡ ¢ ⊤ 1 1 ⊤ −1
M (t) = ··· exp t x p 1 exp − (x − µ) Σ (x − µ) dx1 · · · dxp
−∞ −∞ (2π) 2 |Σ| 2 2
其中
⊤
(x − µ) Σ−1 (x − µ) − 2t⊤ x
247 CHAPTER 10. 多變量常態分配
所以
M (t)
h i
Z ∞ Z ∞
⊤
exp − 21 (x − µ − Σt) Σ−1 (x − µ − Σt) +µ⊤ t+ 12 t⊤ Σt
= ··· p 1 dx1 · · · dxp
−∞ −∞ (2π) 2 |Σ| 2
h i
µ ¶Z ∞ Z ∞ ⊤
exp − 12 (x − µ − Σt) Σ−1 (x − µ − Σt)
⊤ 1 ⊤
= exp µ t+ t Σt ··· p 1 dx1 · · · dxp
2 −∞ −∞ (2π) 2 |Σ| 2
µ ¶
1
= exp µ⊤ t + t⊤ Σt
2
2.
h ³ ´i ³ ´ h ³ ´i
E exp t⊤ Σ− 2 (x − µ) = exp −t⊤ Σ− 2 µ E exp t⊤ Σ− 2 x
1 1 1
³ ´ µ ¶
1
= exp −t⊤ Σ− 2 µ exp µ⊤ Σ− 2 t + t⊤ Σ− 2 ΣΣ− 2 t
1 1 1 1
2
µ ¶
1 ⊤
= exp t t
2
所以由動差生成函數可知, Σ− 2 (x − µ) ∼ N (0, I)
1
3.
£ ¡ ¢¤
E [exp (ty)] = E exp tC⊤ x
µ ¶
⊤ 1 ⊤
= exp µ tC + tC ΣCt
2
µ 2 ⊤
¶
⊤ t C ΣC
= exp tC µ+
2
³ ´
⊤
所以, Y ∼ N C⊤ µ, C ΣC
10.1 多變量常態分配 248
h i⊤
4. 假設t = t1 t2 , 則Y之動差生成函數為
所以
" # Ã" # " #!
A⊤ X A⊤ µ A⊤ ΣA A⊤ ΣB
Y= ∼N ,
B⊤ X B⊤ µ B⊤ ΣA B⊤ ΣB
⊤ ⊤ ⊤
5. 令t1 = [t1 t2 · · · tk ] 及t2 = [tk+1 tk+2 · · · tp ] , 故得t = [t1 t2 ] 。 首先令t2 = 0, 則
£ ¡ ¢¤ £ ¤
E exp t⊤ x = exp µ⊤ t − t⊤ Σt
" " # " # " ##
h i t h i Σ Σ12 t1
1 11
= exp µ⊤ 1 µ⊤
2 − t⊤ 1 0
0 Σ21 Σ22 0
" " ##
h i t
1
= exp µ⊤ ⊤
1 t1 + t1 Σ11 t⊤
1 Σ12
0
£ ⊤ ⊤
¤
= exp µ1 t1 + t1 Σ11 t1
6. 由條件分配之定義
f (x1 , x2 , · · · , xk )
g (xk+1 , xk+2 , · · · , xp )
³ ´
⊤
1
p 1 exp − 12 (x − µ) Σ−1 (x − µ)
(2π) 2 |Σ| 2
= ³ ´
⊤
1
p−k 1 exp − 12 (x2 −µ2 ) Σ−1
22 (x2 −µ2 )
(2π) 2 |Σ22 | 2
1 · ¸
−k |Σ22 | 2 1 ⊤ 1 ⊤
= (2π) 2
1 exp − (x − µ) Σ−1 (x − µ) + (x2 −µ2 ) Σ−1
22 (x 2 −µ 2 )
|Σ| 2 2 2
249 CHAPTER 10. 多變量常態分配
由於 " #
Σ11 Σ12
Σ=
Σ21 Σ22
假設 " #
−1 W11 W12
Σ =
W21 W22
由於 " #" # " #
Σ11 Σ12 W11 W12 I11 0
ΣΣ−1 = =
Σ21 Σ22 W21 W22 0 I22
故可求得
Σ11 W11 + Σ12 W21 = I11
Σ W +Σ W
11 12 12 22 =0
Σ21 W11 + Σ22 W21
=0
Σ W +Σ W
21 12 22 22 = I22
¡ ¢−1
由第三式可求得 W21 = −Σ−1 22 Σ21 W11 , 代入第一式可得W11 = Σ11 − Σ12 Σ−1
22 Σ21
⊤
。由於W21 = W12 ,
¡ ¢
所以 W22 = Σ22 I22 + Σ21 W11 Σ21 Σ−1
−1 −1 −1 −1
22 = Σ22 + Σ22 Σ21 W11 Σ12 Σ22 。故
" #
−1 W11 −W11 Σ12 Σ−1
22
Σ = ,
−Σ−1
22 Σ21 W11 Σ−1 −1 −1
22 + Σ22 Σ21 W11 Σ12 Σ22
¡ ¢−1
其中 W11 = Σ11 − Σ12 Σ−1
22 Σ21 。又
¯ ¯
¯Σ ¯
¯ 11 Σ12 ¯
|Σ| = ¯ ¯
¯Σ21 Σ22 ¯
¯ ¯
¯Σ − Σ Σ2 Σ Σ12 ¯¯
¯ 11 12 22 21
= ¯ ¯
¯ 0 Σ22 ¯
¯ ¯
¯Σ − Σ Σ2 Σ 0 ¯¯
¯ 11 12 22 21
= ¯ ¯
¯ 0 Σ22 ¯
¯ ¯
= |Σ22 | ¯Σ11 − Σ12 Σ222 Σ21 ¯
¯ −1 ¯
= |Σ22 | ¯W11 ¯
⊤ ⊤
(x − µ) Σ−1 (x − µ) − (x2 −µ2 ) Σ−1
22 (x2 −µ2 )
⊤ ⊤
= (x1 −µ1 ) W11 (x1 −µ1 ) − (x2 −µ2 ) Σ−1
22 Σ21 W11 (x1 −µ1 )
⊤ ⊤
− (x1 −µ1 ) W11 Σ12 Σ−1 −1
22 (x2 −µ2 ) − (x2 −µ2 ) Σ22 (x2 −µ2 )
10.1 多變量常態分配 250
⊤ ¡ −1 ¢
+ (x2 −µ2 ) Σ22 + Σ−1 −1
22 Σ21 W11 Σ21 Σ22 (x2 −µ2 )
⊤ ⊤
= (x1 −µ1 ) W11 (x1 −µ1 ) − (x2 −µ2 ) Σ−1
22 Σ21 W11 (x1 −µ1 )
⊤ ⊤
− (x1 −µ1 ) W11 Σ12 Σ−1 −1 −1
22 (x2 −µ2 ) + (x2 −µ2 ) Σ22 Σ21 W11 Σ21 Σ22 (x2 −µ2 )
£ ¤⊤ £ ¤
= (x1 −µ1 ) − Σ12 Σ−1
22 (x2 −µ2 ) W11 (x1 −µ1 ) − Σ12 Σ−1
22 (x2 −µ2 )
所以
即
¡ ¢
X1 |X2 = x2 ∼ N µ1 + Σ12 Σ−1 −1
22 (x2 −µ2 ) , Σ11 − Σ12 Σ22 Σ21
P⊤ ΣP = Λ 及 P⊤ P = I,
h i
其中P = P1 P2 ··· Pp 。 令Y = P⊤ (X − µ), 則
£ ¤
E (Yi ) = E P⊤ (X − µ) = P⊤ E (X − µ) = 0
及
h i h i
⊤
Var (Yi ) = E YY⊤ = E P⊤ i (X − µ) (X − µ) Pi
h i
⊤
= E P⊤
i (X − µ) (X − µ) P i
= P⊤
i ΣPi
= λi
所以
⊤ ⊤
(X − µ) Σ−1 (X − µ) = (X − µ) PΛ−1 P⊤ (X − µ) = YT Λ−1 Y
Xp Xp µ ¶2 X p
Yi2 Yi − 0
= = √ = Zi2
i=1
λ i i=1
λ i i=1
⊤
由卡方分配之可加性可知(X − µ) Σ−1 (X − µ) ∼ χ2 (p)
8.
1
σ1 0 ··· 0 σ11 σ12 ··· σ1p 1
σ1 0 ··· 0
0 1
··· 0 σ21 σ22 ··· σ2p 0 1
··· 0
⊤ σ2 σ2
D ΣD = .. .. .. .. . .. .. .. .. .. .. ..
. .. . .
. . . . . . . .
0 0 ··· 1
σp σp1 σp2 ··· σpp 0 0 ··· 1
σp
251 CHAPTER 10. 多變量常態分配
σ1p
σ11
σ1
σ12
σ1 ··· σ1
1
σ1 0 ··· 0
σ21 σ22
···
σ2p 0 1
··· 0
σ2 σ2 σ2 σ2
= .. .. .. .. .. .. .. ..
. .
. . . . . .
σp1 σp2 σpp
σp σp ··· σp 0 0 ··· 1
σp
σ1p
σ11 σ12
···
σ1 σ1 σ1 σ2 σ1 σp
σ2p
σ21 σ22
···
=
σ2 σ1 σ2 σ2 σ2 σp
.. .. .. ..
. . . .
σp1 σp2 σpp
σp σ1 σp σ2 ··· σp σp
1 r12 ··· r1p
r21 1 ··· r2p
= . .. .. ..
.. .
. .
rp1 rp2 ··· 1
h i⊤ h i
例 10-1. X = X1 X2 X3 服從多變量常態分配且其平均數及共變異矩陣分別為µ = 6 4 2 及
16 6 0
Σ=
6 25 0
0 0 64
h i⊤
若Y1 = 2X1 + 3X2 + X3 及Y2 = 4X1 + X3 .試求Y = Y1 Y2 之機率密度函數。
解:
h i⊤
令Y = Y1 Y2 , 所以
h i X1
Y1 = 2X1 + 3X2 + X3 = 2 3 1
X2
X3
及
h i X1
Y2 = 4X1 + X3 = 4 0 1 X2
X3
10.2 及Σ之
µ及 之估計 252
由11.1性質(4)可知
6
h i
2 3 1 4
" #
2 26
µy =
=
h i 6 26
4 0 1 4
2
及
" # 16 6 0 2 4 " #
2 3 1 425 264
Σy = 6 25 0
3 0 =
4 0 1 264 320
0 0 64 1 1
因此
Ã" # " #!
26 425 264
Y∼N ,
26 264 320
其機率密度函數為
" #−1 " #
h i⊤ 425 264 y1 − 26
exp − 12 y1 − 26 y2 − 26
264 320 y2 − 26
f (y1 , y2 ) = ¯ ¯ 12 ,
¯
3 ¯ 425
¯
264 ¯
(2π) 2 ¯ ¯
¯ 264 320 ¯
−∞ < y1 < ∞, − ∞ < y2 < ∞
10.2 µ及Σ之估計
定理 10.2. 若Σ與B為一p × p的對稱正定矩陣, 則對任一正數b使得
1 £ ¡ ¢¤ 1
exp −trace Σ−1 B ≤
pb
b b
(2b) exp[−pb]
|Σ| |B|
證明:.
¡ ¢ ³ 1 ´ ³ ´
由於Σ與B均為p × p的對稱正定矩陣, 所以trace Σ−1 B = trace B 2 Σ−1 B 2 = trace PΛP⊤ = trace (Λ) =
1
Pp 1 1
i=1 λi , 其中 λi 為B ΣB 之特徵根。又
2 2
¯ 1 ¯ ¯ ¯ ¯ ¯
¯ 2 −1 12 ¯ ¯ 21 ¯ ¯¯ −1 ¯¯ ¯ 12 ¯ 1
−1 1 |B|
¯B Σ B ¯ = ¯B ¯ Σ ¯B ¯ = |B| 2 |Σ| |B| 2 =
|Σ|
253 CHAPTER 10. 多變量常態分配
可求得 ¯ ¯
¯ 12 −1 12 ¯
1 ¯B Σ B ¯
=
|Σ| |B|
因此
" ¯ ¯
¡ ¢# ¯ 12 −1 21 ¯b · Pp ¸
trace Σ−1 B ¯B Σ B ¯
1 i=1 λi
b
exp − = b
exp −
|Σ| 2 |B| 2
¯ ¯b
¯ ¯ · Pp ¸
¯PΛP⊤ ¯ λi
= b
exp − i=1
|B| 2
¯ ¯b
¯ ¯ · Pp ¸ · Pp ¸
¯ΛPP⊤ ¯ − λi |Λ|
b
i=1 λi
= b
exp i=1
= b
exp −
|B| 2 |B| 2
Qn b· Pp ¸
| i=1 λi | i=1 λi
= b
exp −
|B| 2
Qn b · Pp ¸
i=1 λi i=1 λi
= b
exp −
|B| 2
¡ ¢
由於f (x) = xb e−x/2 及f ′ (x) = bxb−1 e−x − 21 xb e−x = b − x2 xb−1 e−x , 因此對於所有的x > 0, 函數f (x)之最大
值必發生在x = 2b時, 所以
· µ −1 ¶¸ Qn b
· Pp ¸
1 Σ B i=1 λi i=1 λi
b
exp −trace = b
exp −
|Σ| 2 |B| 2
Qn b
(2b)
≤ i=1
b
exp (−bp)
|B|
1 bp
= b
(2b) exp (−bp)
|B|
故當 p
1 (2b) 1
= = ¯¯ 1 ¯¯
|Σ| |B| 2b B
£ ¡ ¢¤
時, 1
|Σ|b
exp −trace Σ−1 B 有最大值, 即等式發生於
1
Σ= B
2b
因此其概似函數(Likelihood function)為
Y
n · ¸
1 1 ⊤ −1
L (X, µ, Σ) = p 1 exp − (xi −µ) Σ (xi −µ)
i=1 (2π) |Σ|
2 2 2
" #
1X
n
1 ⊤ −1
= np n exp − (xi −µ) Σ (xi −µ)
(2π) 2 |Σ| 2 2 i=1
由於
X
n
⊤
X
n
⊤
(xi −µ) Σ−1 (xi −µ) = (xi −x + x − µ) Σ−1 (xi −x + x − µ)
i=1 i=1
X
n
⊤
X
n
⊤
= (xi −x) Σ−1 (xi −x) + (x − µ) Σ−1 (x − µ)
i=1 i=1
X
n
⊤
X
n
⊤
+ (xi −x) Σ−1 (x − µ) + (x − µ) Σ−1 (xi −x)
i=1 i=1
X
n
⊤
X
n
⊤
= (xi −x) Σ−1 (xi −x) + (x − µ) Σ−1 (x − µ)
i=1 i=1
⊤
X
n
+2 (x − µ) Σ−1 (xi −x)
i=1
X
n
⊤
X
n
⊤
= (xi −x) Σ−1 (xi −x) + (x − µ) Σ−1 (x − µ)
i=1 i=1
X
n
⊤ ⊤
= (xi −x) Σ−1 (xi −x) + n (x − µ) Σ−1 (x − µ)
i=1
所以概似函數可改寫為
" #
1X
n
1 T −1
L (X, µ, Σ) = np n exp − (xi −µ) Σ (xi −µ)
(2π) 2
|Σ| 2 2 i=1
" #
1X
n
1 ⊤ −1 1 ⊤ −1
= np n exp − (xi −x) Σ (xi −x) − n (x − µ) Σ (x − µ)
(2π) 2
|Σ| 2 2 i=1 2
⊤
由於n (x − µ) Σ−1 (x − µ) ≥ 0, 欲使得L (X, µ, Σ)有極大值, 則下次必須成立
µ=x
當µ = x時
" #
1X
n
1 ⊤ −1
L (X, µ, Σ) = np n exp − (xi −x) Σ (xi −x)
(2π) 2
|Σ| 2 2 i=1
" #
1 1X
n h i
⊤ −1
= np n exp − trace (xi −x) Σ (xi −x)
(2π) 2
|Σ| 2 2 i=1
255 CHAPTER 10. 多變量常態分配
" " ##
1 1 Xn
⊤
= np n exp − trace Σ−1 (xi −x) (xi −x)
(2π) 2
|Σ| 2 2 i=1
1 ³ n´ 2
np ³ np ´
≤ ¯P ¯ n2 2 × exp −
np
¯ n ⊤¯ 2 2
(2π) 2
¯ i=1 (xi −x) (xi −x) ¯
1 np
³ np ´
= ¯P ¯ n2 n 2 exp −
np
¯ n ⊤¯ 2
(2π) 2
¯ i=1 (xi −x) (xi −x) ¯
由定理11.2可知,
X
n Pn T
1 1 ⊤ (xi −x) (xi −x)
Σ= B= (xi −x) (xi −x) = i=1
2b 2× n
2 i=1 n
1X
n
np n ⊤
ln L (X, µ, Σ) = − ln (2π) − ln |Σ| − (xi −µ) Σ−1 (xi −µ)
2 2 2 i=1
則上式最大值的必要條件為
∂ ln L (X, µ, Σ) X −1 X
n n
= Σ (xi −µ) = Σ−1 (xi −µ) = 0
∂µ i=1 i=1
及
∂ ln L (X, µ, Σ) n 1 Xn
⊤
= − Σ−1 + Σ−1 (xi −µ) (xi −µ) Σ−1 = 0
∂Σ 2 2 i=1
由第一式可得 Pn
xi
b=
µ i=1
=x
n
將b
µ代入第二式得
Pn ⊤ Pn ⊤
b = i=1 (xi −x) (xi −x) n−1 i=1 (xi −x) (xi −x) n−1
Σ = = S,
n n n−1 n
其中x為樣本平均數向量, S為樣本變異數矩陣。又x的動差生成函數為
· µ Pn ¶¸ " à n !#
£ ¡ ⊤ ¢¤ ⊤ i=1 Xi 1X ⊤
E exp t X = E exp t = E exp t Xi
n n i=1
· µ ⊤ ¶¸n
t
= E exp X
n
· ½ ⊤ ¾¸n
t t⊤ t
= exp µ+ Σ
n n n
· ½ ¾¸n
1 ⊤ 1 ⊤
= exp t µ+ 2 t Σt
n n
10.3 矩陣不等式及應用 256
½ ¾
⊤ ⊤Σ
= exp t µ + t t
n
所以由上式可知, µ ¶
Σ
X∼ N µ,
n
此外,
X
n
⊤
X
n
¡ ¢¡ ¢⊤
(Xi −µ) (Xi −µ) = Xi −X + X − µ Xi −X + X − µ
i=1 i=1
X
n
¡ ¢¡ ¢⊤ X
n
¡ ¢¡ ¢⊤
= Xi −X Xi −X + Xi −X X−µ
i=1 i=1
X
n
¡ ¢¡ ¢⊤ Xn
¡ ¢¡ ¢⊤
+ X − µ Xi −X + X−µ X−µ
i=1 i=1
X
n
¡ ¢¡ ¢⊤ X
n
¡ ¢¡ ¢⊤
= Xi −X Xi −X + X−µ X−µ
i=1 i=1
X
n
¡ ¢¡ ¢⊤ ¡ ¢¡ ¢⊤
= Xi −X Xi −X +n X−µ X−µ
i=1
所以樣本共變異矩陣之期望值為
hP ¡ ¢¡ ¢⊤ i
n
E i=1 Xi −X Xi −X
E (S) =
n−1
hP ¡ ¢¡ ¢⊤ i
n ⊤
E i=1 (Xi −µ) (Xi −µ) − n X − µ X − µ
=
n−1
hP i h ¡ ¢¡ ¢⊤ i
n ⊤
E i=1 (X i −µ) (X i −µ) − E n X − µ X − µ
=
n−1
Pn h i
⊤
i=1 E (Xi −µ) (Xi −µ) − n × Σ/n
=
n−1
Pn
i=1 Σ − Σ
=
n−1
= Σ
由以上推導可知, X與S分別為µ及Σ之不偏估計式。
10.3 矩陣不等式及應用
定理 10.3. 若對所有x均有f (x) = ax2 + bx + c > 0, a > 0, 則b2 − 4ac ≤ 0
257 CHAPTER 10. 多變量常態分配
證明:.
f ′ (x) = 2ax + b及f ′′ (x) = 2a > 0, 故函數f (x)有極小值且極小值為
µ ¶2 µ ¶
b b b2 − 4ac
a× − +b× − +c=−
2a 2a 4a
證明:.
令a =xb, 則
⊤ ¡ ¢
(a−xb) (a−xb) = a⊤ a − 2xaT b+x2 b⊤ b ≥0
⊤
由定理11.3得(a−xb) (a−xb)大於0的必要條件為
¡ ¢2 ¡ ¢¡ ¢
2a⊤ b −4 b⊤ b a⊤ a ≤ 0
¡ ¢2 ¡ ¢¡ ¢
化簡得 a⊤ b − b⊤ b a⊤ a ≤ 0
證明:.
¡ ¢2 ¡ ¢¡ ¢
令x = B 2 a及y = B− 2 b, 由定理11.4可得 a⊤ b ≤ a⊤ Ba b⊤ B−1 b .
1 1
定理 10.6. 假設EX = µ及Cov(X) = Σ且Σ為一正定矩陣, 其特徵值λ1 > λ2 > · · · > λp , 則當a為λ1 所對應之單位
特徵向量e1 時,
a⊤ Σa
max = λ1
a̸=0 a⊤ a
當a為λp 所對應之單位特徵向量ep 時,
a⊤ Σa
min = λp
a̸=0 a⊤ a
證明:.
令y = PT a, 則
Pp Pp
a⊤ Σa a⊤ PΛP⊤ a y⊤ Λy λi yi2 λ1 i=1 yi2
= = ⊤ = Pp
i=1
2 ≤
Pp 2 = λ1
a⊤ a a⊤ PP⊤ a y y i=1 yi i=1 yi
10.3 矩陣不等式及應用 258
當a = e1 時,
eT1 eT1 e1 1
T
eT2 e2 e1 0
y = P a =
T
.. e1 = . = .. ,
..
. .
eTp eTp e1 0
所以
a⊤ Σa eT Σe1
⊤
= 1T = λ1
a a e1 e1
同理可證當a等於ep 時
a⊤ Σa
min = λp
a̸=0 a⊤ a
ei 為λi 所對應之單位特徵向量, 則
1. Cov(Y) = Λ
Pp
2. trace(Σ) = i=1 λi
√
3. rYi ,Xj = eij λi /σXi , 其中eij 表第i個單位特徵向量之第j行的元素
4. Y與X之相關係數矩陣為
" 1
#
PΛ 2 D− 2
1
I
RYX = ,
D− 2 Λ 2 P⊤
1 1
I
其中
1
0 ··· 0
σX1
1
···
0 0
D =
σX2
.. .. .. ..
. . . .
0 0 ··· 1
σXp
證明:.
259 CHAPTER 10. 多變量常態分配
¡ ¢
1. 由11.1性質(2)可知, Cov (Y) =Cov P⊤ X = P⊤ ΣP = Λ
¡ ¢ ³ ´ Pp
2. trace (Σ) = trace P⊤ ΛP = trace ΛPP⊤ = trace (Λ) = i=1 λi
3. 令
0
0
..
.
d=
1 →第j 行
0
..
.
0
所以
¡ ¢
Cov (Yi , Xj ) = Cov e⊤ ⊤ ⊤
i X, d X = ei Σd
0
e11 e21 ep1 .
..
h i e12 e21 ep1
= e⊤
i e1 ··· ei ··· ep Λ . 1
..
..
.
e1p e2p epp
1
e1j
..
h i .
= 0 ··· λi ··· 0 eij
..
.
epj
= eij λi
及 √
Cov (Yi , Xj ) eij λi eij λi
rYi ,Xj = =√ =
σYi σXj λ i σX j σXj
√
4. 由於rYi Yi = 1, rXi Xi = 1及rYi ,Xj = eij λi /σXj , 又Yi 與Yj 相互獨立, 故可推得
" #
Λ 2 PD− 2
1 1
I
D− 2 P⊤ Λ 2
1 1
R
10.3 矩陣不等式及應用 260
令
Y1 eT1 X
T
Y2 e2 X
Y = ..= . = PT X
..
.
Yp eTp X
試求Y與X之相關矩陣。
解:
首先求得Σ之特徵值及特徵向量如下
3.14810 0 0 0 0
0 1.35198 0 0 0
Λ = 0 0 0.34127 0 0
0 0 0 0.12183 0
0 0 0 0 0.03686
及
0.41032 0.56714 0.08486 0.40784 −0.58004
0.41193 0.56756 0.09014 −0.33782 0.62160
h i
P= e1 e2 e3 e4 e5 = 0.45685 −0.43421 0.34411 0.59229 0.36542
0.46840 −0.20619 −0.85905 −0.01106 −0.00371
0.48358 −0.35444 0.35819 −0.60713 −0.37897
由於σXi = 1, i = 1, 2, 3, 4, 5, 所以D = I及
0.41032 0.56714 0.08486 0.40784 −0.58004
0.41193 0.56756 0.09014 −0.33782 0.62160
1
PΛ 2 = 0.45685 −0.43421 0.34411 0.59229 0.36542
0.46840 −0.20619 −0.85905 −0.01106 −0.00371
0.48358 −0.35444 0.35819 −0.60713 −0.37897
261 CHAPTER 10. 多變量常態分配
√
3.148063 0 0 0 0
√
0 1.351978 0 0 0
√
× 0 0 0.341269 0 0
√
0 0 0 0.121834 0
√
0 0 0 0 0.036856
0.72802 0.65944 0.04957 0.14236 −0.11136
0.73088 0.65993 0.05266 −0.11792 0.11933
= 0.81058 −0.50488 0.20102 0.20674 0.07015
0.83107 −0.23975 −0.50184 −0.00386 −0.07122
0.85801 −0.41212 0.20925 −0.21192 −0.07275
所以, Y與X之相關矩陣RXY 為
1.00000 0.0000 0.0000 0.0000 0.0000 0.72802 0.65944 0.04957 0.14236 -0.11136
0.0000 1.00000 0.0000 0.0000 0.0000 0.73088 0.65993 0.05266 -0.11792 0.11933
0.0000 0.0000 1.00000 0.0000 0.0000 0.81058 -0.50488 0.20102 0.20674 0.07015
0.0000 0.0000 0.0000 1.00000 0.0000 0.83107 -0.23975 -0.50184 -0.00386 -0.07122
0.0000 0.0000 0.0000 0.0000 1.00000 0.85801 -0.41212 0.20925 -0.21192 -0.07275
0.72802 0.73088 0.81058 0.83107 0.85801 1.00000 0.93982 0.28877 0.4216 0.34119
0.65944 0.65993 -0.50488 -0.23975 -0.41212 0.94002 1.00000 0.25384 0.42315 0.38246
0.04957 0.05266 0.20102 -0.50184 0.20925 0.28862 0.25384 1.00000 0.69297 0.89671
0.14236 -0.11792 0.20674 -0.00386 -0.21192 0.42153 0.42315 0.69297 1.00000 0.70774
-0.11136 0.11933 0.07015 -0.07122 -0.07275 0.34107 0.38246 0.89671 0.70774 1.00000
10.3 矩陣不等式及應用 262
機率分配表
10.3 矩陣不等式及應用 264
標準常態分配表; P (Z < z)
α
d.f 0.25 0.1 0.05 0.025 0.01 0.005
1 1.000 3.078 6.314 12.706 31.821 63.657
2 0.816 1.886 2.920 4.303 6.965 9.925
3 0.765 1.638 2.353 3.182 4.541 5.841
4 0.741 1.533 2.132 2.776 3.747 4.604
5 0.727 1.476 2.015 2.571 3.365 4.032
6 0.718 1.440 1.943 2.447 3.143 3.707
7 0.711 1.415 1.895 2.365 2.998 3.499
8 0.706 1.397 1.860 2.306 2.896 3.355
9 0.703 1.383 1.833 2.262 2.821 3.250
10 0.700 1.372 1.812 2.228 2.764 3.169
11 0.697 1.363 1.796 2.201 2.718 3.106
12 0.695 1.356 1.782 2.179 2.681 3.055
13 0.694 1.350 1.771 2.160 2.650 3.012
14 0.692 1.345 1.761 2.145 2.624 2.977
15 0.691 1.341 1.753 2.131 2.602 2.947
16 0.690 1.337 1.746 2.120 2.583 2.921
17 0.689 1.333 1.740 2.110 2.567 2.898
18 0.688 1.330 1.734 2.101 2.552 2.878
19 0.688 1.328 1.729 2.093 2.539 2.861
20 0.687 1.325 1.725 2.086 2.528 2.845
21 0.686 1.323 1.721 2.080 2.518 2.831
22 0.686 1.321 1.717 2.074 2.508 2.819
23 0.685 1.319 1.714 2.069 2.500 2.807
24 0.685 1.318 1.711 2.064 2.492 2.797
25 0.684 1.316 1.708 2.060 2.485 2.787
26 0.684 1.315 1.706 2.056 2.479 2.779
27 0.684 1.314 1.703 2.052 2.473 2.771
28 0.683 1.313 1.701 2.048 2.467 2.763
29 0.683 1.311 1.699 2.045 2.462 2.756
30 0.683 1.310 1.697 2.042 2.457 2.750
40 0.681 1.303 1.684 2.021 2.423 2.704
60 0.679 1.296 1.671 2.000 2.390 2.660
120 0.677 1.289 1.658 1.980 2.358 2.617
∞ 0.674 1.282 1.645 1.960 2.326 2.576
10.3 矩陣不等式及應用 266
α
d.f 0.99 0.95 0.9 0.1 0.05 0.025 0.01 0.005
1 0.00 0.00 0.02 2.71 3.84 5.02 6.63 7.88
2 0.02 0.10 0.21 4.61 5.99 7.38 9.21 10.60
3 0.11 0.35 0.58 6.25 7.81 9.35 11.34 12.84
4 0.30 0.71 1.06 7.78 9.49 11.14 13.28 14.86
5 0.55 1.15 1.61 9.24 11.07 12.83 15.09 16.75
6 0.87 1.64 2.20 10.64 12.59 14.45 16.81 18.55
7 1.24 2.17 2.83 12.02 14.07 16.01 18.48 20.28
8 1.65 2.73 3.49 13.36 15.51 17.53 20.09 21.95
9 2.09 3.33 4.17 14.68 16.92 19.02 21.67 23.59
10 2.56 3.94 4.87 15.99 18.31 20.48 23.21 25.19
11 3.05 4.57 5.58 17.28 19.68 21.92 24.72 26.76
12 3.57 5.23 6.30 18.55 21.03 23.34 26.22 28.30
13 4.11 5.89 7.04 19.81 22.36 24.74 27.69 29.82
14 4.66 6.57 7.79 21.06 23.68 26.12 29.14 31.32
15 5.23 7.26 8.55 22.31 25.00 27.49 30.58 32.80
16 5.81 7.96 9.31 23.54 26.30 28.85 32.00 34.27
17 6.41 8.67 10.09 24.77 27.59 30.19 33.41 35.72
18 7.01 9.39 10.86 25.99 28.87 31.53 34.81 37.16
19 7.63 10.12 11.65 27.20 30.14 32.85 36.19 38.58
20 8.26 10.85 12.44 28.41 31.41 34.17 37.57 40.00
21 8.90 11.59 13.24 29.62 32.67 35.48 38.93 41.40
22 9.54 12.34 14.04 30.81 33.92 36.78 40.29 42.80
23 10.20 13.09 14.85 32.01 35.17 38.08 41.64 44.18
24 10.86 13.85 15.66 33.20 36.42 39.36 42.98 45.56
25 11.52 14.61 16.47 34.38 37.65 40.65 44.31 46.93
26 12.20 15.38 17.29 35.56 38.89 41.92 45.64 48.29
27 12.88 16.15 18.11 36.74 40.11 43.19 46.96 49.64
28 13.56 16.93 18.94 37.92 41.34 44.46 48.28 50.99
29 14.26 17.71 19.77 39.09 42.56 45.72 49.59 52.34
30 14.95 18.49 20.60 40.26 43.77 46.98 50.89 53.67
40 22.16 26.51 29.05 51.81 55.76 59.34 63.69 66.77
50 29.71 34.76 37.69 63.17 67.50 71.42 76.15 79.49
60 37.48 43.19 46.46 74.40 79.08 83.30 88.38 91.95
70 45.44 51.74 55.33 85.53 90.53 95.02 100.43 104.21
80 53.54 60.39 64.28 96.58 101.88 106.63 112.33 116.32
90 61.75 69.13 73.29 107.57 113.15 118.14 124.12 128.30
100 70.06 77.93 82.36 118.50 124.34 129.56 135.81 140.17
版權宣告
本講義若為非商業使用,作者戴忠淵放棄版權, 歡迎拷貝散播。由於匆促,錯誤難免,竭誠歡迎
各位先進提供意見與指正 。
戴忠淵
樹德科技大學企業管理系
June 28, 2009
chungyuandye@gmail.com