Professional Documents
Culture Documents
html) 1
1 確率論の基礎
(教科書の第 2 章から入ります.
)まずは確率論の基礎(枠組み)から考えて行こう.
例 1: コインを一回だけ投げる.
例 2: コインを2回投げる.
(この場合,2回続けて投げたものを一回の「実験」と考える.
)
例 3: さいころを一回だけ投げる.
例 4: さいころを2回投げる.
例 5: 52枚あるトランプから一枚取り出す.
このような例では,まず,上の「実験」の結果は何通りかある.一回「実験」をやった場合にその結果が何にな
るかは分からないが —— だからこそ「確率論」がでてくる ——,少なくとも可能な結果の全体はわかっている.
そこで,以下の定義を行おう.
以下では有限な標本空間,および有限からのアナロジーで考えられる場合のみを考察する3 .
さて,我々は根元事象のみに興味があるわけではない.たとえば例2で,
「一回目に表が出ること」を知りたかっ
たり,例3で「さいころで偶数の目が出ること」を知りたかったり,例5で「ハートが出ること(数字は問わない)」
を知りたかったりする.このような問いに答えるため,事象と言う概念を導入する.
定義 1.1.2 事象とは実験の結果が持っている性質のこと.数学的に厳密に言うと,事象とは単に標本空間の部
分集合,つまり「根元事象の集まり」のことである.なお,事象には空集合(起こり得ないこと),および標
本空間全体も含めて考える.
「部分集合」と言うと大げさだが,普通に我々の言っている「出来事」に相当していることを,下の例で納得さ
れたい.
1 教科書の 2.1 節,a) の 1)
2 「実験」と言っているが,
「観測」などと思った方が良い場合も含める
3 有限でない場合はいろいろとややこしい(=数学的に面白い)ことが起こるが,すべて略
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 2
事象を標本空間の部分集合として定義するのは,以下の事象の演算ともあっている.まず,2つの事象 E, F に
対して,その和事象を集合としての和集合 E ∪ F として,またその積事象を集合としての交わり E ∩ F として定
義する(事象の場合,E ∩ F を EF と略記することが多い).日常言語に直せば,E ∪ F とは E または F のどち
らかが起こること,E ∩ F = EF とは E と F の両方が起こることを意味する.更に,E c を S\E (E の補集合)
をして定義し,E の 余事象と言う.これは日常言語では「事象 E が起こらないこと」に相当する.
なお,A ∩ B = ∅ の時,
「A と B は互いに背反」という.
1.2 数学における確率4
今までは単に確率をやる舞台を設定したにすぎない.これからいよいよ,
「確率」を割り振っていこう.
数学ではある意味で「天下りに」確率を定める.本当のところを言うと,確率の定め方そのものは数学の仕事で
はなく,実験の行い方に即して物理学・化学・心理学.
..などに基づいて決めるべきものだ.しかし,通常は確率
を定めるところから始めることになる.
ただし,ここでどのような pj を選ぶか,は個々の問題に応じてうまく決めてやる必要がある.
∑
N
0 ≤ pj ≤ 1, pj = 1 (1.2.1)
j=1
4 教科書の 2.1 節,a の 2) と c の一部
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 3
∑
m
(E の確率)= pj (1.2.2)
j=1
それで,このルールを満たすものを全て確率と認めるのである.
(しつこいが,どのように pj を選ぶか,は個々の
問題に応じてうまく決める.
)
さて,上のように決めた「それぞれの事象の確率」はどんな性質を満たしているだろうか?上では根元事象から
確率を決めたが,そうでない場合 —— つまり,根元事象の和事象である色々な事象の確率から決めた方が楽な場
合 —— も(後でたくさん)出てくる.そのために,
(根元事象から出発しない場合にもなりたつ)抽象的な確率の
性質を公理としてまとめておく.
上の性質を満たしている P なら何でも確率と認めてしまおう,と言うわけ.しつこいけども,実際にどのような
P を採用するかは考えている具体的問題によって,適当に決める.
命題 1.2.2 確率について,以下が成り立つ(ベン図を書いて意味を確認しよう).
根元事象から考えるよりも,他の事象から考えた方が確率を割り振りやすい例として,2枚のイカサマコインを
投げる場合を考えよう.2 枚のコインがあり,1枚目は表が p,裏が 1 − p の確率で出る.2枚目は表が q ,裏が
1 − q の確率で出る,としよう.
このとき標本空間は {(H, H), (H, T ), (T, H), (T, T )} である.さて,この4つの根元事象にどのように確率を割
るふるべきか,だが:1枚目と2枚目の出方は無関係と思うのが良いだろう(数学的には「独立」という;後述).
すると,
P [1枚目が表] = p, P [2枚目が表] = q (1.2.6)
ととるのが良いのでは?これは根元事象の言葉では
と言うことになるね.後,基本的性質から
も言えているわけだ.でもこれだけでは4つの根元事象の確率は決まらない.実際,
と書くと,上のは
a + b = p, a + c = q, c + d = 1 − p, b+d=1−q (1.2.10)
となって,不定方程式になる.でも,この場合はやはり余分な仮定をおくのが良いだろう.1枚目と2枚目が「独
立」なのなら,
と考えるのがよいだろう.その他も同様に考えると,
となる.
1.3 数の数え方の復習(高校の復習)
(始めに)以下のようなことは頭から覚え込むのではなく,自分で納得して理解するようにすべし.まず記号を
導入する.
n ( )
∑ n k n−k
命題 1.3.2 (二項定理,高校でやったかな) 1 ≤ n では,(x + y) = x y . n
k
k=0
となることがわかる.
1.4 条件付き確率5
前回は確率を考える舞台(標本空間)とその上の確率の満たすべき性質,を導入した.これだけでは簡単すぎて
何をやりたいのか混乱した人もいるだろうから,もう少し自明でないものに進むことにする.ここでは「条件付き
確率」の概念を導入する.
P [E ∩ F ]
P [ E |F ] := (1.4.2)
P [F ]
例 2.A: 袋の中に赤玉が10個,白玉が3個,黒玉が4個入っている.目をつぶって1つ取り出すとき:
1. 白が出る確率は?
2. 「出た玉は赤ではない」ことがわかった場合,取り出した玉が白である確率は?
5 教科書 2.1 節の b
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 6
1
例 2.B: 男と女の生まれる確率はずつとする.Aさんちには子供が二人いる.
(まあ,探偵がこの家のことをい
2
ろいろと調べていると思って下さい.)
1. 二人とも男の子である確率は?
2. 「少なくとも一人が男の子だとわかっている」場合,二人とも男の子である確率は?
1.5 ベイズの公式と推定6
ここでは条件付き期待値の,今までとは少し違った解釈を考えよう.これまでの解釈では P [F |E] は 「E が起
こったという条件の下で F が起こる確率」だったが,新しい解釈として 「E が起こったという情報を知った後で
F の確率をどのように設定する(見積もる)のがよいか」を示す式とも考えられる.この節では,このような解釈
に基づく推論を考える.
まずは,この節の議論の元になる公式を述べよう.
P [F ∩ E] P [E |F ] P [F ]
P [F | E] = = (1.5.1)
P [E] P [E |F ] P [F ] + P [E |F c ] P [F c ]
が成立する.事象が 3 つ以上の場合に一般化すると,事象 Fi (i = 1, 2, . . . , k )が互いに排反(Fi ∩ Fj = ∅ for
∪
k
i ̸= j ),かつ Fi = S を満たすときは,
i=1
が成立する.
上の式は単に条件付き確率の定義
P [F ∩ E]
P [F |E] = (1.5.3)
P [E]
と (1.4.3) の一般化
∑
k
P [E] = P [E |Fi ] P [Fi ] (1.5.4)
i=1
残念ながら,時間の関係から,ベイズの公式を用いた面白い問題については詳しく述べることはできない.以
下に過去の講義で用いた例題をいくつか挙げるにとどめる.
まずは条件付き確率を使った全確率の計算
である.過去の経験から,僕の物理の講義に受かる確率は,
• 物理 I, II の既習者では 0.9(= p1 ),
• 物理 I のみの既習者では 0.6(= p2 ),
• 未修者では 0.3(= p0 )
つづいてベイズ型の推定について
言うまでもないことであるが,上のような問いかけは余りにも安易である.単位が取れる — より正確には講
義内容が身につく — かどうかは多分に本人のやる気や努力によるわけで,高校時代にどれくらいやったかで
単純に推し量ることはできない.この問では現実的でないくらいの非常な単純化を行っていることには注意さ
れたい.
(将来,実際にこのような手法を用いる際にはくれぐれも単純化のしすぎに注意!)
上の2問が典型的な問題である.以下では数学的には同じ構造であるが応用としては異なった場面を述べる.
問 1.5.4 (再録)かなり稀な病気の血液テストを考える.このテストの誤差の入り方は,
• この病気にかかっている人をテストすると (1 − p) の確率で「病気だ」と正しく判定するが,残りの p の確
率で見逃してしまう
• 健康な人をテストすると (1 − q) の確率で「健康だ」と正しく判定するが,残りの q では(健康なのに)「病
気だ」と言ってしまう
1. 取り出したコインを一回投げたところ,表が出た.このコインが i 番目のコインである確率はいくらか?
(i = 0, 1, 2, . . . , k )
2. 取り出したコインを更に投げ続け,合計 n 回投げた.結果は全て表だった.このコインが i 番目のコインで
ある確率はいくらか?(i = 0, 1, 2, . . . , k )
3. 取り出したコインを更にもう一回(つまり通算で (n + 1) 回目)投げる事にした.このとき,やはり表が出る
確率はいくらか?
4. 上の小問 2, 3 の答はそれほど簡単にならなかったかも知れない.そこでこれらの確率が k → ∞ の極限でど
うなるか,求めてみよう.結果は直感と合うだろうか?
(注)この問では,コインは最初に一枚取り出したら,同じ物を使い続ける.コインを何回か投げるとき,一回ご
との結果は独立だとする.また,コインについている印は大変小さいので,取り出したコインがどれかは見ただけ
ではわからないものとする.
(そうでないと,小問 2, 3 が面白くない.
)
1. まず,計算を始める前に,直感的に答を推定してみよう.
2. では,講義での説明に基づき,
「正しく」計算してみよう.
3. 2 の結果は直感とあっているか?例えば,p1 = 0.2, p2 = 0.4, p3 = 0.6 として,射撃手 1 が当てた確率はいく
らになっているか?(勿論,1, 2 の答が一緒になった人は立派なものである.僕にはこの結果は意外だったけ
どね.
)
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 9
2 確率変数と期待値
中心極限定理に入る準備として,
「確率変数」についての基本事項をまとめておこう.
2.1 確率変数(離散版)7
今まではランダムな事象を考えてきた(例:このクラスの学生から一人選んだら男であった,とか).事象はそ
れが起こるか起こらないかの2通りしかない.しかし,実際には選ばれた標本の数値的な性質を問題にすることも
多い(例:選んだ学生の身長はいくらか).
このような問題では(我々の注目する)実験の結果が数値で表されている.つまり,実験の結果としてランダム
な数値が出てくるわけだ.そこで,このようにランダムに値がきまる数値のことを確率変数と呼ぶ(ちょっとえー
かげん).
確率変数には「離散的な確率変数」と「連続な確率変数」がある.まずは簡単な「離散的」なものから考える.
「離散的な確率変数」とはとびとびの(有限個の)値しかとらないもので8 ,例は以下の通り.
2.2 期待値と分散(離散版)9
では,確率変数が与えられたとき,この確率変数の分布をどのように特徴づけたらよいか,考えていこう.もち
ろん,完全に特徴づけるには,P [X = xi ] を(すべての xi について)与えないといけない.これは大変すぎるし,
そもそも,このようにすべてを知ったとして,分布の特徴がつかめるとは限らない.そうではなくて,もっと少な
い情報量で分布の特徴を捉えることを考えたいのだ.
と与えられているとする.このとき,X の期待値を
∑
n
E[X] := 〈X〉 := xi pi (2.2.2)
i=1
により定義する.その平方根
√
σ := Var[X] (これによると Var[X] = σ 2 となる)
を X の標準偏差と呼ぶ.
期待値とは,要するに平均値(ただし,pi の重みを用いた加重平均)のことであり,確率変数の分布の「中心」
を表す(どのような意味で中心かは要注意).
分散とは平均からのズレ(の2乗)の平均だから,分散の平方根(標準偏差)が分布の「拡がり」を表す.
として定義すると,
P [F ] = E[ I[F ] ] = 〈I[F ]〉 (2.2.5)
2.3 確率変数(連続版)10
「連続的な確率変数」とは文字通り,連続な値をとりうる確率変数だ.例を見るのが良いだろう.
例 2.3.B: Y はこのクラスの学生を一人選んだ場合の学生の身長である(ただし,身長はいくらでも細かく測る
ものとする).
例 2.3.C: Z は学研都市の駅で,福岡方面の地下鉄に乗る場合の待ち時間(ただし,時間を計る場合にいくらで
も細かく測定するものとする)である.
例 2.3.A では,X のとりうる値は連続無限個あり,これらの確率は同じと仮定しているから,X が特定の値(例:
X = 12 )をとる確率はゼロだ.
(ゼロでなかったら,全確率が無限大になってしまう!)
このように,連続な確率変数を記述するには,離散的な確率変数のような P [X = xi ] を与えるやり方は使えな
い.仕方がないので, P [X = xi ] に相当するものとして,
∫ b
P [a ≤ X ≤ b] = f (x)dx (2.3.1)
a
とするにより定義する.また,X の分散を
[( )2 ] [ ] 〈 〉 〈( )2 〉
2
Var[X] := E X − E[X] = E X 2 − E[X]2 = X 2 − 〈X〉 = X − 〈X〉 (2.3.3)
により定義する.その平方根
√
σ := Var[X] (これによると Var[X] = σ 2 となる)
を X の標準偏差と呼ぶ.
2.4 多変数の確率変数11
さて,確率変数が 2 つ以上ある場合を考えよう.まずは離散的な場合から始める.今,確率変数 X が値 x1 , x2 , . . . , xn
をとり,確率変数 Y が値 y1 , y2 , . . . , ym をとるとする.これらがそれぞれの値をとる確率は
P [X = xi かつ Y = yj ] = pij (2.4.1)
であるとしよう.
このとき,Y の値は気にしないで,X のみの分布に着目すると,
∑
m ∑
m
P [X = xi ] = P [X = xi かつ Y = yj ] = pij (2.4.2)
j=1 j=1
∑
n ∑
n
P [Y = yj ] = P [X = xi かつ Y = yj ] = pij (2.4.3)
i=1 i=1
で与えられる.
期待値の重要な性質はその線形性である.大事なので,命題の形にまとめておく.
(線形性というと大げさだが,
要するに以下の命題にある関係式がなりたつということだ.
)
11 教科書 2.3 節
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 12
また,X と Y の共分散を
Cov(X, Y ) := 〈(X − 〈X〉)(Y − 〈Y 〉)〉 (2.4.7)
と定義すると,
Var[X + Y ] = Var[X] + Var[Y ] + 2Cov(X, Y ), (2.4.8)
もなりたつ.
註: これらの結果は X, Y の分布が独立でなくても,いつでも成り立つ.
∑
M
であるが, pij = P [X = xi かつ Y は何でも良い] = P [X = xi ] であるので,
j=1
∑ ∑
N (∑
M ) ∑N
pij xi = xi pij = xi P [X = xi ] = E[X] (2.4.10)
ij i=1 j=1 i=1
が成り立つ.同様に
∑
pij yj = E[Y ] (2.4.11)
ij
∑
N ∑
N
E[aX] = P [X = xi ](axi ) = a P [X = xi ] xi = a E[X]. (2.4.12)
i=1 i=1
また,Var[aX] については
E[(aX)2 ] = E[a2 X 2 ] = a2 E[X 2 ] (2.4.13)
であることと線形性から
( )2 ( )2 ( )2
Var[aX] = E[(aX)2 ] − E[aX] = a2 E[X 2 ] − aE[X] = a2 E[X 2 ] − a2 E[X] = a2 Var[X]. (2.4.14)
(2.4.8) も同様に証明できる.
P [X ∈ A かつ Y ∈ B] = P [X ∈ A] P [Y ∈ B] (2.4.15)
が成り立つ.
のどちらが良い(苦情が少ない)だろうか.待ち時間の期待値や分散を考えてみよう.
で与えられる.つまり,X の分布密度は ∫ ∞
f1 (x) = dy f (x, y)
−∞
である.
連続版の確率変数に対しても,期待値の線形性などの命題 2.4.1 はなりたつが,くりかえさない.
3 つ以上の確率変数がある場合も,同様に議論できるが,一言だけ注意を.確率変数 X, Y, . . . , Z が独立であると
は,これらの確率変数の分布が,それぞれの確率変数の周辺分布の積に分解することをいう.つまり,離散の場合
に書けば,
P [X = xi , Y = yj , . . . , Z = zk ] = P [X = Xi ] P [Y = yj ] . . . P [Z = zk ] (2.4.17)
となることをいう.
最後に,n 個の確率変数の和の期待値などについてまとめておく.まず,期待値の線形性から
と,分散も和に分解できる.特に,n 個の確率変数の分散がすべて等しいなら,
となる.するとこの場合,標準偏差については,
√ √ √
Var[X1 + X2 + · · · + Xn ] = n × Var[X1 ] (2.4.22)
√
となる.n 個の和であるのに,標準偏差は n 倍であることに注意しよう.
以前に, 「標準偏差は分布のバラツキの度合いを表す」事を注意した.上の結果によると,n この和の分布のバラ
√
ツキは n 倍ではなく, n 倍になる訳だ.この事実はこれから非常に重要になって来る.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 14
2.5 チェビシェフの不等式とその仲間12
今までにも,
「標準偏差は確率変数のばらつきの目安を与える」と言ったが,ここではもう少し定量的な議論を行
う.ここでも確率空間 (S, P ) 上の確率変数 X を考える.
まず,A ∈ R について
P [a ≤ X ≤ b] = 〈I[a ≤ X ≤ b]〉 (2.5.1)
〈X〉
P [X ≥ a] ≤ (2.5.2)
a
が成立.
(勿論,右辺の期待値が存在しないときは右辺には意味がないけど.
)
これらの不等式は勿論,右辺の期待値が存在しなければ意味がないが,存在する場合には(特に a → ∞ につい
て)強力なものになる.実際の応用については後述.
(証明の概略)これらの不等式は (2.5.1) を用いると簡単に証明される.マルコフの不等式なら
チェビシェフの不等式なら
〈 〉 〈 〉 〈 〉
Var[X] = |X − µ|2 ≥ |X − µ|2 , I[X ≥ a] ≥ a2 I[X ≥ a] = a2 〈I[X ≥ a]〉 = a2 P [X ≥ a]. (2.5.5)
(以下はおまけ)調子に乗って似たような不等式を作ることもできる.例えば,
〈|X − µ|n 〉
P [|X − µ| ≥ a] ≤ (a > 0, n は任意の正の整数) (2.5.6)
an
同様に,任意の a, b > 0 に対して 〉 〈
eb|X−µ|
P [|X − µ| ≥ a] ≤ . (2.5.7)
eab
また,マルコフの不等式の仲間として,
(X が非負の値しかとらないとき)
〈 bX 〉
e
P [X ≥ a] ≤ ab (2.5.8)
e
など.
2.6 正規分布について13
正規分布とは一般に(µ を実数,σ は正の数として)
∫ b [ 1(x − µ) ]
1 2
P [a ≤ X ≤ b] = √ exp − dx (2.6.1)
a 2π σ 2 σ
12 教科書には該当部分はない
13 教科書の 2.4 節
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 15
特に,µ = 0, σ = 1 の正規分布を「標準正規分布」とよぶ.通常
∫
e−y /2
x 2
Φ(x) := √ dy (2.6.2)
−∞ 2π
∫ ∞
e−y /2
2
さて,積分の変数変換を用いると,一般の正規分布の分布確率を標準正規分布の分布確率から求めることができ
る.つまり,X が N (µ, σ 2 ) に従うときに,新しい確率変数
X −µ
Z := (2.6.3)
σ
を定義すると Z が標準正規分布になることが容易にわかる.もちろん,この場合 X と Z のズレを考慮して
[a − µ b − µ]
P [a ≤ X ≤ b] = P ≤Z≤ (2.6.4)
σ σ
とやる必要はあるが.
ともかく,このようなわけで,いろいろある正規分布は,標準正規分布になおして計算できる.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 16
3 大数の法則と中心極限定理
さていよいよ,推定や検定の基本となる「大数の法則」
「中心極限定理」について学ぶ.ここでは以下のような典
型的な問題を考える.
1
問 3.A:マトモ(表と裏が 2 の確率で出る)な硬貨を 10000 回投げたとしよう.表は何回くらい出るだろうか?も
ちろん,答は 0 回から 10000 回まで,どれでもアリだけど,このうちのどの答が一番ありそうだろうか?また,そ
のありそうな答えになる確率はどうだろう?
この節では上のような問題を主に考える.上では硬貨の例を取り上げたが,もっと一般に「独立な」実験の結果
を扱う.次の第 5 章以降では,このような問題の逆に相当する,以下の問題を考える.
3.1 大数の法則14
問 3.A を考える.我々は直感的に「表は 5000 回」と言いたくなるが,既に断ったように,5000 回きちんと出る
とは言えない.言えるのはあくまで「○○回以上が表になる確率はこのくらい小さい」
「出る回数は 5000 回を中心
にこのくらいでばらつく」などという確率評価である.
少しだけ抽象的になるが,定理の形で書いておく.まず,考える対象(独立な確率変数の和)を導入する.考え
∑
n
るのは X1 , X2 , X3 , . . . という確率変数の列で,特にその和 Sn := Xi を考える.硬貨を投げる例では,Xi は i
i=1
回目に投げた硬貨の結果(表なら Xi = 1,裏なら Xi = 0 と決める)で,この場合 Sn は「硬貨を n 回投げたとき
に表の出た回数」を表す.
更にここで,確率変数 X1 , X2 , . . . は「独立」かつ「同分布」だと仮定する.
P [ X = xi かつ Y = yj ] = P [X = xi ] P [Y = yj ] (確率が積になる)
ことを言う.
確率変数 X1 , X2 , . . . が 同分布であるとは,Xi がとりうる値とその確率が i によらず同じであること
を言う.
14 教科書 2.5 節の a
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 17
∑
n
Theorem 3.1.1 (大数の弱法則) 独立・同分布な確率変数の列 X1 , X2 , . . . と Sn := Xi を考える.Xi の
i=1
期待値を µ,Xi の分散を Var[X1 ] と書くと,
[S ]
n
Var[X1 ] < ∞ ならば lim P ̸= µ = 0 (3.1.1)
n→∞ n
が成り立つ(上のはちょっとえーかげんな書き方).より正確にはどんな正の数 ϵ > 0 に対しても
[ ¯S ¯ ] Var[X ]
P ¯ − µ¯ > ϵ ≤
n 1
(3.1.2)
n n ϵ2
が成り立つ.
(対数の弱法則の証明の “説明”)
Sn Sn
先週やったチェビシェフの不等式を確率変数 n に応用するだけなのだが,それには n の期待値と分散を計算
しないといけない.そこで,確率変数 X1 , X2 , . . . の和である Sn について,その期待値や分散がどうなるか,考え
てみよう.重要なので命題の形にまとめると:
また,X, Y が独立である場合には以下が成り立つ:
これを認めて対数の弱法則を証明しよう.上の線形性から
∑
n [S ]
n
E[Sn ] = E[Xi ] = nµ, E =µ (3.1.6)
i=1
n
および
∑
n [S ] 1 1
n
Var[Sn ] = Var[Xi ] = nVar[X1 ], Var = 2 Var[Sn ] = Var[X1 ] (3.1.7)
i=1
n n n
を得る.よってチェビシェフの不等式に代入して
[ ¯S ¯ ] 1 [ S ] Var[X ]
P ¯ − µ¯ > ϵ ≤ 2 VarVar
n n 1
= (3.1.8)
n ϵ n n ϵ2
(大数の弱法則の証明の説明終わり)
∑
M
であるが, pij = P [X = xi かつ Y は何でも良い] = P [X = xi ] であるので,
j=1
∑ ∑
N (∑
M ) ∑N
pij xi = xi pij = xi P [X = xi ] = E[X] (3.1.10)
ij i=1 j=1 i=1
が成り立つ.同様に
∑
pij yj = E[Y ] (3.1.11)
ij
∑
N ∑
N
E[aX] = P [X = xi ](axi ) = a P [X = xi ] xi = a E[X]. (3.1.12)
i=1 i=1
(3.1.5) の証明はスペースの都合で略.
硬貨投げの例に戻って考えよう.この場合,E[Xi ] = 12 , Var[Xi ] = 1
4 であるので,大数の弱法則から
[ ¯S 1¯ ] 1
P ¯ − ¯>ϵ ≤
n
(3.1.14)
n 2 4n ϵ2
が得られる.
(練習問題)
• Xi の期待値と分散,標準偏差を求めよ.
∑n
Sn
• Sn := Xi とするとき, の期待値と標準偏差を求めよ.
i=1
n
Sn
• 大数の弱法則を用いて,n → ∞ の時に がどのような値になりそうか,議論せよ.
n
問題 3.1.4 (少しムズイかも:次節へのつなぎ)3つの小問からなるテストがある.それぞれの小問は4つの選択
肢から1つの正解を選ぶ選択式である.全く勉強していない学生達が当てずっぽうでテスト問題に答えることを考
える.
(上の問題では学生は互いに答案を見せあったりしないものとする — これは数学の言葉で何の条件を満たさせる
ためかわかるかな?)
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 19
3.2 正規分布と中心極限定理15
前節では大数の法則をやった.これは要約すると,
定理 3.2.1 Xi (i = 1, 2, . . .)を独立,かつ同分布な確率変数とし,その平均と,標準偏差をそれぞれ
√
µ := E[Xi ], σ := Var[Xi ] (3.2.1)
とする.このとき,
∑
N
1 ∑
N
( ) SN − 〈SN 〉
SN := Xi , ZN := √ Xi − µ = √ (3.2.2)
i=1
σ N i=1
σ N
を定義すると,任意の a < b に対して
[ ] ∫ b
e−x /2
2
lim P a ≤ ZN ≤ b = √ dx (3.2.3)
N →∞ a 2π
が成り立つ.
本来ならばここで中心極限定理の証明をすべきだが,これはこの講義のレベルを遙かに超えている.代わりに実
例を挙げ,中心極限定理は証明無しに認めてもらうことにする.
二項分布
中心極限定理の一番簡単な例として,前回と同じく,コインを何回も投げることを考えよう.
(ただし,一回投
げたときに表の出る確率は p とする. )i 回目に表が出れば 1,裏が出れば 0 となる確率変数を Xi と書くと,
1
∑N
SN = N i=1 Xi は N 回のうちで表が出た回数である.N 回のうち,丁度 m 回だけ表になる確率は
( ) ( )
[ ] N m N N!
P SN = m = p (1 − p)N −m , := N Cm := (3.2.4)
m m m! (N − m)!
と計算できる.上の分布を(パラメーターが p の)「二項分布」と言う.
(ここで上の導出を説明).
さて,上の二項分布について平均と分散を計算してみよう.定義通りに行うと(q := 1 − p),
15 教科書 2.5 節の b
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 20
であるので,中心極限定理に出てくる ZN は
SN − N p
ZN := √ (3.2.6)
pqN
となるはずである.実際に N → ∞ に従って ZN が正規分布に近づいていく様子は次ページに載せてある.
(標語
的には「二項分布は N が大きいときに正規分布に近づく」と言える.
)
中心極限定理の使い方について.
問 3.1.3. これはやるだけ,ね.
1
Xi は 1 から 6 までの値を確率 6 ずつでとるから,
1 7 〉 1〈 91
〈Xi 〉 = × (1 + 2 + 3 + 4 + 5 + 6) = , (Xi )2 = × (12 + 22 + 32 + 42 + 52 + 62 ) = , (3.2.7)
6 2 6 6
√
91 ( 7 )2 35 35
Var[Xi ] = − = , σ= (3.2.8)
6 2 12 12
で,Xi が独立であるから
〈 〉 [S ]
Sn 7 n 1 1 35
= 〈X1 〉 = , Var = Var[X1 ] = (3.2.9)
n 2 n n n 12
大数の弱法則から [¯ S ] 35
7¯ 1
P ¯ − ¯>ϵ ≤
n
× (3.2.10)
n 2 12 ϵ2 n
である.つまり, Snn は 7
2 に近づく.
問 3.1.4. これは二項分布になる.4項目から1つを当てずっぽうで選択する,のだから,小問の一つ一つに正解す
1
る確率は 4 と考えられる.各小問の結果が独立であると仮定すると,正解の数が i である確率は(i = 0, 1, 2, 3)
( )( ) ( )
3 1 i 3 3−i
P [X = i] = (3.2.11)
i 4 4
である.これから定義通りに計算して,
3 9 3
〈X〉 = , Var[X] = , σ= (3.2.12)
4 16 4
X の独立性から,
3 9
〈SN 〉 = N 〈X〉 = N, Var[SN ] = N Var[X] = N. (3.2.13)
4 16
3
大数の弱法則から平均の正解数は 4.
であるから,中心極限定理にでてくる ZN は
SN − N 2SN − N
ZN = √ 2 = √ (3.2.15)
1 N
4N
[¯ ¯ √N ] ∫ 50N
√
[ SN ] dz
≤ 0.51 = P ¯ZN ¯ ≤ e−z /2 √
2
P 0.49 ≤ ≈ √ (3.2.17)
N 50 − 50
N 2π
√
N
となるわけだ.
(ヤヤコシイが,積分の上下は 50 .
)N に具体的な数を入れると,
∫ 1/5
dz
e−z
2
N = 100 なら /2
√ ≈ 0.1585, (3.2.18)
−1/5 2π
∫ √10/5
dz
e−z
2
N = 1000 なら √
/2
√ ≈ 0.4729, (3.2.19)
− 10/5 2π
∫ 2
dz
e−z
2
N = 10000 なら /2
√ ≈ 0.9545, (3.2.20)
−2 2π
(最後の積分の値は数値的に出したもので,皆さんに対しては要求しない.
)
問 3.2.3. 今度は
∫ √
N
50 dz
e−z
2
√
/2
√ ≥ 0.95 (3.2.21)
− 50
N 2π
となるような N を求めればよい.この積分は手計算ではできないから,この前のプリントにあった Φ で書き直し,
表を使うしかない.定義から ∫ x
dz
e−z
2
Φ(x) = /2
√ (3.2.22)
−∞ 2π
であった.(3.2.21) の積分を上の Φ で表すには,一般に(講義で説明)
∫ b ∫ b ∫ a
−z 2 /2 dz −z 2 /2 dz dz
e−z
2
e √ = e √ − /2
√ = Φ(b) − Φ(a) (3.2.23)
a 2π −∞ 2π −∞ 2π
を使う.結局,
∫ ( √N ) √ √ )
√
N
50
−z 2 /2 dz N N
√ e √ =Φ − {1 − Φ( )} = 2Φ( −1 (3.2.25)
− N
50
2π 50 50 50
となる.よって,(3.2.21) の条件は
( √N ) ( √N ) 1
2Φ − 1 ≥ 0.95 ⇐⇒ 1−Φ ≤ 0.025 = (3.2.26)
50 50 40
となる.前回のプリントの表を見ると,こうなるには
√
N
≥ 1.960 =⇒ N ≥ (50 × 1.960)2 = 9604 (3.2.27)
50
となる.まあ,余り細かいことを言っても仕方ないので,N ≥ 9600 ぐらい,と言うのが答え.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 22
4 推定と検定(おおざっぱに)
漸くこれで統計に入る準備が整った.この講義のもう一つのテーマである,
「推定と検定」に入ろう.
4.1 考える問題
以下の問題群を考えてみる.
正直この問には確実には答えることが出来ない.マトモなコインを投げても,たまたま全部おもてになることもあ
るから,確実にイカサマだとは結論できない.でも,常識的に考えて,ほとんど間違いなくイカサマだと思うよね.
どのくらいの確率でイカサマだと言えるか(言えないか),を考えるのが「仮説検定」の問題である.
イカサマかどうか,の定性的な問だけでなく,どのくらいイカサマか,を問うのが上の問題である.この場合,p
の値をぴったりこれくらい,と言うことは出来ないだろう.出来るのはせいぜい,
「p は大体○○以上,××以下と
考えられる」と言う感じの,p の存在範囲(存在区間)を与える事である.これが「区間推定」の問題である.
以下ではこのような2つの問題を主に考える.もちろん,もっと複雑な状況を考えもするが,基本的なところは
これで尽きている.
4.2 仮説検定
まずは上の問 4.1 を考える.再掲するとこんな問題だった:
この問題を解くため,以下のように考えてみる.このコインがマトモかどうかを問題にしているのだから,マト
モだと仮定して 10 回表になる確率を計算し,その結果が大きいか小さいかでマトモかどうかを推定するのである.
具体的に計算すると,まともなコインを 10 回投げて 10 回とも表になる確率は,言うまでもなく
( 1 )10
≈ 9.77 × 10−4 ≈ 10−3 (4.2.1)
2
である.これは非常に小さい!でも問 5.1 では,こんなに小さい確率で起こるはずの事象が起こったと主張してい
る.この場合,以下の2通りの可能性があり,どちらかを排除することはできない:
a. コインはマトモなのだが,10−3 と言うような,小さな確率でしか起こらない事象が,たまたま起こってしまっ
たのだ.
b. いやいや,コインはそもそもかなりいびつで,表が出やすくできていた.そのために 10 回とも表になった
のだ.
しつこいが,確実にどちらかとは言い切れない.どちらも起こり得て排除できないことは,いくら強調してもしす
ぎることはない.ただし,前者の確率は非常に小さいので,a の立場をとるのは心情的にもかなり困難である.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 23
と考えるのだ.
ここで少し言葉を導入すると共に,上でやったことを整理しよう.
• 上での本音は「このコインはイカサマだ」を主張することだった.この本音の主張を対立仮説と言う.
• しかし,上ではこの対立仮説そのものは扱わず,その否定命題16 の「このコインはマトモだ」に基づいていろ
いろと計算した.その結果,
「コインはマトモ」の仮説がおかしいと結論した.このように対立仮説の否定命
題(結果的に「その仮説はおかしい」と結論したいもの)を帰無仮説と言う.こう呼ぶのは上で見たとおり,
結果的に「この仮説はおかしい」と否定される(無に帰する)はずの命題だから.
• 帰無仮説を疑う際に使ったのは「(この帰無仮説で計算すると)起こった事象の確率がこんなに小さくなる.
でも,実際にこの事象が起こっている.だから,元の帰無仮説は許せない」という考えだった.この場合,
「ど
のくらい小さい確率の事象は起こるはずがないと判断するか」の境目を決めておく必要があり,この境目の値
を危険率(または有意水準)と言う.危険率は通常,α で表す.
通常,危険率は 0.05 または 0.01 くらいにとる.つまり,確率 5% または 1% くらいの事象は「あり得ない,
起こるはずがない」と判断し,その確率計算の元になった仮説を疑いにかかるのである.
• 言うまでもなく,危険率をどうとるかは,仮説検定を行う前に決めておくべきである.検定の結果を見て,
「い
やいや,危険率が高すぎたからもうちょっと下げよう」などとやるのは,自分の導きたい結論に(無意識のう
ちにでも)誘導している可能性が大だから,やってはいけない.
仮説検定についての,非常に重要な注意:
上の例では「コインはマトモ」という仮説が最終的に否定された17 ので,めでたしめでたしだった.つまり,こ
の場合,帰無仮説が否定(無に帰する)されたので,対立仮説が復活し,
「このコインはイカサマ」と結論できたわ
けである18 .では,帰無仮説が否定できない場合はどうなるのだろうか?
例として,
「コインを 10 回投げると,6 回が表,4 回が裏であった」場合に,やはりイカサマかどうか考えてみよ
う.今までのように,
「コインはマトモ」を帰無仮説として計算してみると, 「6 回が表,4 回が裏」の確率は
( )( ) ( )
10 1 6 1 4 210
= 10 ≈ 0.2051 (4.2.2)
6 2 2 2
16 ここは,論理学の意味での厳密な否定命題になっていない場合もある.でもまあ大体否定命題と思って良い.時間があれば後述
17 非常にしつこいけども,
「否定された」とは言っても,これは「否定するのが確率的に自然である」という意味である.実際には「コインは
マトモ」なのに,間違ってこれを否定してしまっている可能性は,わずかではあるが,存在する
18 しつこいけども,もう一回.結論できたとは言っても,
「イカサマの可能性が高い」という結論である.確実にイカサマとは言い切れないの
は何度も強調した通りだ
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 24
しつこいけど,もう一つ注意.
上でもくり返し強調したように,帰無仮説を否定した場合(上の「10 回とも表ならマトモではない」)でも,この
結論が間違っている可能性はある.まともな硬貨だって,9.77 × 10−4 の確率では「10 回とも表」が出るわけだか
ら,これだけの確率で間違って「イカサマ」の烙印を押してしまうわけだ.上での「危険率」と言う呼び名は,正
にこれを指している.つまり,
「帰無仮説が正しいのにも関わらず否定してしまう」確率の目安が危険率なのだ.
少し用語の説明
以上の仮説検定では,以下の 2 種類の過った判断をする可能性がある:
• まず,
「本当は帰無仮説が正しいのに,帰無仮説が間違って棄却されてしまう誤り」を第一種の過誤という.危
険率はこの「第一種の過誤」が起こる確率である.コインの例で言えば,コインが本当は fair であるのに,た
またま 10 回続けて表になってしまい,
「fair ではない」と濡れ衣を着せてしまう場合が第一種の過誤にあたる.
• 次に,
「本当は帰無仮説は間違っているのに,実験結果がそれを否定するほど強くないために,帰無仮説を棄
却できなかった」場合もある.これを第二種の過誤という.コインの例では,
「このコインは表が出やすいよ
うに作ってあるのだが,10 回投げたら 5 回表になった」
(従って,コインをイカサマと見抜けなかった)よう
な場合が第二種の過誤にあたる.
いくつかの例題
4.2.1 片側検定,両側検定
上の例題の解答から始めよう.
問 4.3 の場合,対立仮説(本音)は「コインはイカサマ」,帰無仮説は「コインはマトモ」であるが,この「イ
カサマ」の意味が問題だ.想定しているのは「表が沢山出たから,このコインは表が出やすく作ってあるのでは?」
と言うような場合である.つまり,この場合の対立仮説は単に「イカサマ」と言うよりは,
「表が出やすい」または
「裏が出やすい」のどちらかと思った方が良い — この意味で対立仮説は厳密には帰無仮説の否定にはなっていない.
これは問 4.4 で問題になる.
帰無仮説の「コインはマトモ」を仮定して計算すると,N 回のうちで N 回とも表になる確率は 2−N である.こ
れが 0.05 より小さくなるのは N ≥ 5 の時で,この場合は危険率 5% で「イカサマ」と結論できる.同様に,N ≥ 7
なら危険率 1% で「イカサマ」と結論できる.
上で「9 回表」の確率だけを考えず,
「9 回以上表」とした理由については,コインを 10000 回(または一億回)投
げることを考えると納得しやすい.この場合,投げた回数が非常に多いため,それぞれ特定の回数だけ表が出る確
率は非常に小さくなる.例えば,10000 回投げた場合に 5000 回表,の確率は 0.00798 くらいであって,1% より小
さい.ちょっと考えると「コインはマトモ」を棄却してしまいたくなるが,投げた回数の丁度半分しか表が出てい
ないのだから,このコインをイカサマと判断するのはおかしい.この場合,問題になるのは個々の確率の値ではな
く,結果(表の回数)がこの区間に入っていればおかしい(イカサマ)と言う区間(棄却域)の設定である.
問 4.3 も同じ問題であるが,この場合,全部表だったので,問題が表面化することはなかった.
言葉:
上の問のように,対立仮説がある区間の片側に出てくるような場合を片側検定と言う.両側に出る場合を両側検
定と言う.後者の例としては対立仮説が左右対称になっている場合,たとえば工場の製品が規格にあっているかど
うかの検定などが挙げられる.
4.2.2 中心極限定理との連携
などとなるような n を求めたいわけだ.
さて,中心極限定理を使おう.コインがマトモだとすると(σ = 1/2),
2 ( N ) n − 5000
ZN = √ n− = (4.2.7)
N 2 50
4.3 区間推定
1
では問 4.2 に進もう.ここでも基本的な考え方は同じである.p = 2 だとしたらあり得ないほど確率が小さくなっ
たのは上で見た.ので,別の p の値をいろいろ設定し,
「10 回とも表」の確率が危険率を超えるような p の範囲を
求めればよい.答は当然,危険率の設定によるわけだが,ともかくまず,いろいろな p の値に対して,
「10 回とも
表」の確率を計算してみよう.
危険率 1% では p ≥ 0.6309574
になることがわかる.同様に,
危険率 5% では p ≥ 0.7411345
となることもわかる.
これが区間推定の基本的な考え方である.要するに,起こった事象(問の場合は「10 回とも表」)が「あり得る
事象」になるような(つまり,その事象の確率が危険率を超えるような)パラメータの範囲を求めればよい.
(コイ
ンの例をもっと簡単に解く方法はあとで詳しく説明する.ここでは基本的な考えをわかればよい.
)
4.4 より実用的な区間推定
問 4.4′ . あるコインを 400 回投げたら,220 回表,180 回裏が出た.このコインが表を出す確率 p はど
のくらいと考えるのが妥当か?
1 ∑
N
X̄N = Xj (4.4.1)
N j=1
を標本平均という.また,
1 ∑( )2
N
V̄N = Xj − X̄N (4.4.2)
N − 1 j=1
を不偏分散という.これらは N が正の整数なら
〈 〉 〈 〉
X̄N = 〈X1 〉 = µ, V̄N = Var[X1 ] = σ 2 (4.4.3)
ということであった(ただし,µ と σ は今のところ未知).上の等号はあくまで極限でしか成立が保証されていな
いが,ここで大胆に,極限をとる前でも等号がなりたつとむりやり思ってみよう:
∫
e−z /2
b 2
の関係があることがわかる.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 28
1−α= √ dz (4.4.8)
a 2π
となるような a, b で与えられる.このような a, b は a = −b にとるのが自然であるから,実際には,
∫
e−z /2
b 2
1−α= √ dz (4.4.9)
−b 2π
となる正の数 b を一つ決めると,|ZN | < b でなければならない,ということになる.これを X̄N と µ の言葉に直
すと √
N ¯¯ ¯ ¯ bσ
X̄N − µ¯ < b つまり |X̄N − µ¯ < √ (4.4.10)
σ N
となる.もし,我々が何らかの理由で σ を知っているなら,上式から直ちに µ の推定範囲が定まる.
実際には,σ はわからないことが多い.この場合には,次節の t-分布を用いることが多いが,N が大きければ,
以下のようにも議論できる.すなわち,対数の強法則によれば,V̄N は N → ∞ で σ 2 に収束するのである.よって,
√
上の式の σ を V̄N でおきかえてしまっても良いかもしれない.こうすると,µ の推定範囲として以下を得る.
√
¯ V̄N
|X̄N − µ¯ < b (4.4.11)
N
4.5 更に進んだ話題
問 5.5.福岡の高校一年生(男子)の平均身長を求めたい.全員を計るのは大変なので,天神で 100 人
を捕まえて計ったところ,平均が 170 cm だった.福岡の高校一年生(男子)の平均身長はどのくらい
と考えられるか?
前に宣言したように,この問はそのままでは解けない.というのは元になる分布(高校生の身長の分布)の分散
がわからないからである.ここを無理矢理,不変分散で置き換えてしまう方法を前節では紹介した.
この節ではもう少し良い方法 — t-分布 — を紹介する.
1 ∑
N
ZN := √ (Xi − µ) (4.5.1)
σ N i=1
(元々の Xi が独立・同分布で,何かの正規分布に従うならば),YN は
を考える.すると非常に都合の良いことに,
自由度 (N − 1) の t-分布 と呼ばれる分布に従うことがわかる.t-分布が具体的にどんな分布かは教科書や参考書を
見てもらうことにして,ここでは t-分布の利点だけを強調しておく.
(4.5.1) を見ると,右辺には未知の量が2つ(µ と σ )入っている.高校生の問題では µ を求めたかったのだが,
σ (高校生全体の標準偏差)がわからない限り手が出せない.ところがところが(!)(4.5.2) の YN の表式の右辺
には,未知の量は µ 一つしか出ていない!σ の代わりに V̄N という量が出ているが,これは X̄N 同様,標本(100
人の高校生)から計算できる量である.
つまり,t-分布のウリは,σ がわからなくても何とかなる,ところにあるわけだ.実際の応用では個々の Xi は正
規分布に従わない場合がほとんどだが,そこは中心極限定理と同じノリで,N が大きければ YN が t-分布に従うと
みなしても良いわけだ.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 29
5 推定と検定(各論)
前節で推定,検定のおおざっぱなところを述べたので,この節では,個々の状況に応じて,実際にどのように使っ
て行くかをまとめて行く.
5.1 1 標本問題(自由度大)
(この節は教科書の 3.2 節に相当する.
)
まず,一番簡単な実例として,一標本問題を考える.ただし,中心極限定理を使いたいので,大標本の(=標本
の大きさが大きい)場合を考える.
(概要)標本の大きさが大きい場合を考える.この場合,母分散を標本分散で近似して良いので,話がかなり簡
単になる.母分散も推定する方法は後で述べる.
(状況の例)非常に大きな母集団(例:日本人の 20 歳男子の全体)がある.そこから n 人を取り出して身長を
測った.この測定結果から,日本人 20 歳男子の全体の身長の平均を知りたい.
(用語)
(更に用語)標本平均や標本分散などは,以下のように定義する.標本の大きさ n の標本を考える.測定してい
る量(今の例なら身長)のデータが n 個あるから,それを xj (j = 1, 2, . . . , n)とする.このとき
1∑
n
1∑
n √
µ̄ = 標本平均 := xj , V̄ = 標本分散 := (xj − µ̄)2 , σ̄ = 標本標準偏差 := V̄ (5.1.1)
n j=1 n j=1
(解法)中心極限定理と大数の法則を近似的に使いまくる.
µ̄ の分布がどうなるかを考えてみると,大数の法則と中心極限定理より,平均値 µ,分散は σ 2 /n の正規分布にな
∑n
る(少なくとも n が大きい場合)はずである —— 分散を n で割っている理由は, j=1 Xj の分散は nσ 2 である
ので,それを n で割った µ̄ の分散は nσ 2 /n2 になるからである.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 30
の範囲にあると思って良いだろう.これを元の変数に直すと,
¯√ µ̄ − µ ¯¯ 1.96 × σ̄
¯
|Z ′ | < 1.96 =⇒ ¯ n× ¯ < 1.96 =⇒ |µ − µ̄| < √ (5.1.4)
σ̄ n
やっていることは先の小節と全く同じである.
先の小節と同じ状況(n 人の身長を測った)を考え,
「母平均 µ は 175cm である」などという仮説が正しいかど
うかの検定を考えてみよう.175cm を一般に µ0 と書くことにすると,検定したいのは
H0 : µ = µ0 である (5.1.5)
という仮説(帰無仮説)である.
(有意水準が 5%の場合を考える.
)この仮説が正しいとするならば,
µ̄ − µ0 √ µ̄ − µ0
Z ′ := √ = n× (5.1.6)
σ̄/ n σ̄
は標準正規分布と思って良いはずだ.そこで,対立仮説を適切にとって,検定を行う.
(a) 両側検定,つまり対立仮説が H1 : µ ̸= µ0 の場合は Z ′ が 0 から両側に遠くはなれていて,その離れ具合が確
率 0.05 以下なら,H0 を棄却する.具体的には
1.96 × σ̄
|Z ′ | > 1.96 つまり |µ0 − µ̄| > √ (5.1.7)
n
5.1.3 比率の推定(二項分布を仮定)
(解法)コイン投げの例で考える(工場の例でも全く同じ.適宜,読み替えて下さい).最も単純には, n 回中
m 回の表なので,p は以下の
m
p̄ := (5.1.10)
n
くらいだろう,と考えたい.問題は,真の p の値が,上の p̄ の周りにどのくらいふらついて分布しているのか,と
いうことだ.以下のように考える.
n 回中の表の回数 X は二項分布に従う確率変数で,その確率分布は
( )
n m
P [X = m] = p (1 − p)n−m (5.1.11)
m
∑n
で与えられるはずだ.ところが,この「j 回目に表なら 1, 裏なら 0」という確率変数を Xj とすると,X = j=1 Xj
と書ける.更に Xj は独立同分布なので,n が十分に大きいなら中心極限定理により
X − pn
Z=√ (5.1.12)
np(1 − p)
は標準正規分布と思って良い.
(元々が二項分布なので,パラメーターは一個 p だけ.従って,分散も p の関数とし
て決まっているのがミソ.
)
従って,信頼区間 95% で議論するなら,
|m − pn|
|Z| < 1.96 つまり √ < 1.96 (5.1.13)
np(1 − p)
となるような p の範囲が求めるもの,ということになる.
(今は m は n 回投げたあとの結果として得られているの
で,上の不等式の未知数は p だけである.よって,原理的に上のは p について解ける.
)これをもう少しわかりやす
く書いておくと,
|p̄ − p| 1.96
√ < √ (5.1.14)
p(1 − p) n
となる.n が大きくなるに連れて,右辺がゼロに行く事,従って左辺もゼロに行く必要があるから, p の存在範囲
√
が p̄ の周りに絞られて行く事がわかる(存在範囲の幅は右辺から n のオーダーである).
ただ,上の不等式を解くのは大変なので,分散については,標本のデータで置き換える事をよくやる.すなわち,
上の式を
1.96 √
|p̄ − p| < √ × p(1 − p) (5.1.15)
n
√ √
と書いてみると, p(1 − p) ≤ 1/2 であって,これは大して大きくない.しかも,1/ n のお陰で右辺はもともと
小さい.だから,右辺の p はその第零近似の p̄ で置き換えても,そんなに違いはないだろう(n が十分に大きけれ
ばこれは正当化できる).ということで,
√
p̄(1 − p̄)
|p − p̄| < 1.96 × (5.1.16)
n
としてしまうのが一般的である.
5.1.4 比率の検定(二項分布を仮定)
考え方は平均に関する場合と同じである.H0 が正しいのであれば,
X − np0 p̄ − p0 √
Z=√ =√ × n (5.1.17)
np0 (1 − p0 ) p0 (1 − p0 )
は(n が大きい時に)標準正規分布に従うはずである.従って,
5.1.5 適合度の検定(大標本)
5.2 2 標本問題(自由度大)
(この節は教科書の 3.3 節(の一部)に相当する.
)
この節で考えるのは,
「2 標本問題」と呼ばれるものである.でもこれは本当は「二母集団問題」と言った方が良
いように思う(理由はすぐ後に).
「比率の差の推測」が一番わかりやすいと思うので,それからやります.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 33
5.2.1 比率の差の推定(二項分布を仮定)
このような結果を整理するには,以下のような 2 × 2 分割表を用いるのが便利である.データの整理のためにも,
まずは分割表を書く事をお勧めする.
良い 悪い 合計
母集団 1 n1g n1b n1 = n1g + n1b
母集団 2 n2g n2b n2 = n2g + n2b
合計 mg = n1g + n2g mb = n1b + n2b n = n1 + n2
(解法)データから得られる pj の第零近似としては
njg
p̄j := (j = 1, 2) (5.2.1)
nj
があるが,大標本では中心極限定理から,これは(j = 1, 2 のそれぞれに対して)正規分布
( p (1 − p ) )
j j
N pj , (5.2.2)
nj
ことが行われる. (このような厳しい試験に通っていない自称「治療法」は信用しない方が無難であろう.)また,ある種の人体実験であるから,
非常に慎重に進める必要がある.この講義ではそのようなややこしい事はすべて無視して,統計をどう使うかだけをお話しする
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 34
という事になる.
実は 1 標本問題と違って,上の式は p1 − p2 だけの式にはなってくれないので,これだけでは情報不足である.仕
方ないので,普通は分母の pj を p̄j で置き換える(ここは前節でやった近似と全く同じノリである — 平均はちゃ
んと推測したいが,分散は近似値で誤摩化す).結果として
¯ ¯
¯ (p̄1 − p̄2 ) − (p1 − p2 ) ¯
√ < 1.96 (5.2.6)
p̄1 (1 − p̄1 ) p̄2 (1 − p̄2 )
+
n1 n2
つまり √
p̄1 (1 − p̄1 ) p̄2 (1 − p̄2 )
(p1 − p2 ) = (p̄1 − p̄2 ) ± 1.96 × + (5.2.7)
n1 n2
というのが,p1 − p2 の 95% 信頼区間になる20 .特にこの信頼区間にゼロが入っておれば,両者に差があるとは言
い切れない,と判断するのが無難であろう.
(これまで何回もくり返して来たように,だからといって「差がない」
という結論にもならない.
)
5.2.2 比率の差の検定(二項分布を仮定)
5.2.3 平均の差
(この節は教科書 3.3a)
この場合もやる事はほとんど同じである.時間の関係で触れられないかもしれないので,講義ノートには時間が
できたら書きます.
5.3 母集団が正規分布のとき(小標本でも)
さて,今までの節で見て来たのは,大標本(標本の大きさが大きい)場合であった.この場合,母集団の分布が何
であれ,大標本であることが原因して,標本平均や標本分散がまあまあ,良い分布で近似できることが使えた.そ
の結果,
(時には分散の方は近似を粗く誤摩化してでも)平均についてはそこそこ良い結果を得る事ができた.
ところが,世の中には大標本の問題だけがあるわけではない.いやむしろ,標本の大きさが小さい事の方が多い
(薬の治験だって,200 人,500 人と集められないこともある).そんな場合にも何か言える事はないのだろうか?
それがこの節のテーマである.
ただし,小標本でものを言うには,母集団の分布について,かなりの仮定が必要である.なぜなら,小標本の場
合に成り立つ普遍的な極限定理などがないので,小標本のデータからもとを推測するのは(何らかの付加的仮定抜
きでは)不可能だからである.
そこで母集団について何らかの仮定をする事になるが,一番考えやすく,たくさんの情報が得られるのは母集団
が正規分布に従うときである.ので,この節では母集団が正規分布に従うときに限って,小標本のデータから何が
いえるかを考えて行く.
5.3.1 正規分布のいくつかの性質
一部は既に正規分布を学んだところで述べたが,大事な性質をまとめておこう.
1 ( y )n/2−1
f (y) = e−y/2 (5.3.1)
2Γ(n/2) 2
の分布を,自由度 k の t-分布という.実際に計算するとその分布密度は
(k + 1)
Γ ( x2 )−(k+1)/2
2
f (x) = √ (k) 1 + (5.3.3)
k
πk Γ
2
で与えられることがわかる.なお,P [|T | > C] = α となる C を tk (α) で表す.実際の値は分布表から求めら
れる.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 36
σ̄ 2 V̄
χ2 := 2
= (ここで V = σ 2 は母集団の分散) (5.3.5)
σ V
は自由度 (n − 1) の χ2 -分布に従う.
これらの性質は,具体的に計算する事で確かめられる.
なお,教科書では敢えて使っていないが,データを扱う際には,標本分散だけでなく不偏分散と呼ばれる以下の
量を用いることがある:
1 ∑
n
V̄不偏 := (xj − µ̄)2 (5.3.6)
n − 1 j=1
(通常の標本分散と異なり,(n − 1) で割っている).これを用いると,上の T は
√ √
(µ̄ − µ) n
T := n − 1 = (µ̄ − µ) (5.3.7)
σ̄ V̄不偏
とも書ける(両方の表式が等しい事は定義からすぐに確かめられる).同様に,上の χ2 は
σ̄ 2 V̄ V
χ2 := = = (n − 1) 不偏 (5.3.8)
σ2 V V
とも書ける.
5.3.2 1 標本問題の平均の推定・検定
では,上の知識をつかって,一標本問題を考えて行こう.
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 37
|µ̄ − µ0 |
|T | > tn−1 (0.05), つまり √ > tn−1 (0.05) ならば H0 を棄却 (5.3.12)
σ̄/ n − 1
する.
(対立仮説が H1 : µ > µ0 の時)この場合は片側検定である.
(片側 5% ということは両側に直せば 10% なので)
µ̄ − µ0
T > tn−1 (0.10), つまり √ > tn−1 (0.10) ならば H0 を棄却 (5.3.13)
σ̄/ n − 1
する.
(対立仮説が H1 : µ < µ0 の時)この場合は片側検定で,上の正負逆バージョンであるから,
µ̄ − µ0
T < −tn−1 (0.10), つまり √ < −tn−1 (0.10) ならば H0 を棄却 (5.3.14)
σ̄/ n − 1
する.
上の何れの場合も,棄却できない場合は「何も言えない」という結論になるのはいままでと同じ.なお,このよ
うな検定を t-検定という.
5.3.3 1 標本問題の分散の推定・検定
この内容は教科書には無いようだが,話を完結させるために述べておく.
では,上の知識をつかって,一標本問題を考えて行こう.
(問題 1′ )母集団は正規分布に従う事はわかっているが,その平均 µ と分散 σ が未知である.この時に,n 個か
らなる標本をとると,その標本平均は µ̄,標本標準偏差は σ̄ であった.これから母集団の分散を推測せよ.
(解法)この問題は先の小節とほとんど同じだが,平均でなく分散を調べてほしい,というところが異なる.こ
れは当然,χ2 -分布を使って解くべきだ.5.3.1 節のまとめによると
σ̄ 2 V̄
χ2 := = (5.3.15)
σ2 V
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 38
分散の検定も同様に行う.基本的なアイディアはこれまでと同じ,また χ2 -分布を使う所は上の推定と同じなの
で,詳細は省略する.
5.3.4 2 標本問題
(問題)母集団が二つある.ともに正規母集団に従うが,その平均や分散はわかっていない.ただし,分散は二
つの母集団で等しいと仮定する.つまり,二つの母集団は N (µ1 , σ 2 ) と N (µ2 , σ 2 ) に従い,µ1 , µ2 , σ 2 が未知数であ
る場合を考える.
さて,このときに母集団 1 から n1 個の標本をとったら,その標本平均が µ̄1 ,標本標準偏差が σ̄1 であったとしよ
う.また,母集団 2 から n2 個の標本をとると,その標本平均が µ̄2 ,標本標準偏差が σ̄2 であったとしよう.このと
きに,母集団平均の差 µ1 − µ2 を推測したい.
(解法)ノリは1標本問題とほとんど同じであるが,うまく t-分布に従う統計量を作る(見つける)のがキーで
ある.
仮定から,µ̄1 の分布は N (µ1 , σ 2 /n1 ) に従うはずである.同様に,µ̄2 の分布は N (µ2 , σ 2 /n2 ) に従うはずである.
従って,正規分布の足し算,引き算の性質を思い出すと,µ̄1 − mu
¯ 2 は N (µ1 − µ2 , σ 2 /n1 + σ 2 /n2 ) に従うはずだ.
これから,標準正規分布に従う量として
6 回帰分析の初歩
最後に,
(工学部なら実験解析等で散々使ってるはずの)回帰分析に簡単に触れる.
6.1 単回帰
(問題 1)ある物質の電気抵抗を測りたい.オームの法則から,電圧と電流には V = IR の比例関係があるはず
である.電圧をいろいろ変えて測定したところ,全部で n 個の電圧電流のデータ (V1 , I1 ), (V2 , I2 ), . . . , (Vn , In ) が取
れた.このデータから抵抗 R を決めよ(できるだけ信頼できる値を出せ).
(問題 1′ )電流と電圧に限らず,二つの物理量 (x, y) の間に線型な関係(一次関数の関係)y = ax + b(a, b は定
数)があると期待されている.実際に n 個のデータが (x1 , y1 ), (x2 , y2 ), . . . , (xn , yn ) と得られた場合,これらから定
数 a, b をできるだけうまく定めよ.
(問題 1 は b = 0 の特殊な場合であった.
)
このような状況は皆さん,中学(小学校?)から何回も遭遇した事と思う.
(電流と電圧に限らず,塩の溶解度と
温度の関係だか,いろいろ.
)このような実験の場合,大抵グラフ用紙に測定値を書き込んで,それらの点を「うま
く結ぶように」直線を引け,と習ったと思うが,それをもうちょっときちんとやろうということである.
(もちろん,
大学での実験では既に「最小二乗法」などを用いる事を習っているだろうが,その理論的根拠を確認しておきたい
ということ.
)
さて,実は上の問い,重要な仮定を書いていなかった.その仮定とは
n 個のデータのそれぞれの誤差は,同じ正規分布にしたがって分布するだろう
という事である.より正確に言うと.
n 個の x1 , x2 , . . . , xn は,それぞれ真の値からバラツくはず(測定誤差)だが,そのバラツキは,n 個の
データが同じ正規分布(平均はゼロ)N (0, σx2 ) にしたがって分布するだろう.また,n 個の y1 , y2 , . . . , yn
も,それぞれ真の値からバラツくはず(測定誤差)だが,そのバラツキは,n 個のデータが同じ正規分
布 N (0, σy2 ) にしたがって分布するだろう.ただし,σx , σy の値はよくわからない.
ということである.
以下,このような状況で,どのように a, b を決めるべきかを考える.
まず,本来,測定誤差がなければ,n 個のデータは線型の関係を厳密に満たすはずであった:
しかし,実際には測定誤差があるため,上の関係式は近似的にしかなりたたない.そのずれを ϵj と書いてみよう:
ϵj = yj − (axj + b) (6.1.2)
を考えたくなる.これは係数 a, b を用いて書き直すと
ϵ′j = yj − (a′ xj + b′ ) = yj − (axj + b) − (a′ − a)xj − (b′ − b) = ϵj − (a′ − a)xj − (b′ − b) (6.1.4)
数理統計学 (電情+医)/2 (原; http://www2.math.kyushu-u.ac.jp/˜hara/lectures/lectures-j.html) 40
である.
一方,間違った係数を使った場合の誤差は ϵ′j だから,その二乗の期待値は
〈∑ 〉 ∑n 〈 〉 ∑n 〈 〉
n
( ′ )2 ( ′ )2 { ′ ′
}2
ϵj = ϵj = ϵj − (a − a)xj − (b − b) (6.1.6)
j=1 j=1 j=1
となる.ここで xj が実は誤差を含んでいて確定しない量なのだが,近似的にその値を真の値で置き換えて考えると
(真の値を x0j と書く),
n 〈
∑ 〉 ∑n 〈 〉 ∑
( )2 { ′ }2 n
{ ′ }2
= ϵj + (a − a)xj + (b′ − b) = nσ 2 + (a − a)xj + (b′ − b) (6.1.7)
j=1 j=1 j=1
は xj の標本分散,x, y の標本共分散である.