第 III 部

深層学習の研究
本書のこのパートでは,現在研究コミュニティで追及されている,より野心的で先進的な深
層学習のアプローチについて説明する.

本書の以前のパートでは,教師あり学習の問題を解決する方法を示した.教師あり学習と
は,十分な写像の事例が与えられた下で,あるベクトルから別のベクトルへの写像を学習する
方法であった.

解決したい問題全てが,このカテゴリに入るわけではない.新しい事例を生成したり,ある
点がどれくらい尤もらしいか判断したり,欠損値を処理したり,ラベルがない大量の事例や関
連するタスクの事例を利用したい場合がある.産業応用に対する現在の最先端の欠点は,学
習アルゴリズムに対して大量の教師ありデータが必要ということである.本書のこのパート
では,既存のモデルがうまく働くのに必要なラベル付きデータ量を削減し,より広い範囲のタ
スクに適用可能な思索的なアプローチをいくつか検討する,この目標を達成するには,通常,
何らかの形の教師なし学習または半教師あり学習が必要である.

教師なし学習問題に取り組むために,多くの深層学習アルゴリズムが設計されているが,そ
のいずれも,幅広い種類のタスクにおける教師あり学習問題を大きく解決したのと同レベル
に,教師なし学習問題を真に解決していない.本書のこのパートでは,教師なし学習の既存ア
プローチと,どのようにすればこの分野を発展させられるかついての一般的な考えをいくつ
か説明する.

教師なし学習の難しさの中心的な原因は,モデル化された確率変数の高次元性にある.こ
れによって,統計的な課題と計算上の課題という,2 つの異なる課題がもたらされる.統計的
な課題は汎化と関係する.つまり区別したい状態の数は,次元数と共に指数関数的に増加す
るので,取りうる(または制限のある計算資源で使える)事例数よりもはるかに大きくなって
しまう.高次元分布に関する計算上の課題は,学習モデルを学習もしくは使用するための多
くのアルゴリズム(特に明示的な確率関数を推定するアルゴリズム)が,次元数に対して指数
関数的に増加する計算を必要とするために生じる.

確率モデルでは,この計算上の課題は,扱いづらい推論の実行したり,分布を正規化したり
する必要があるために生じる.

• 扱いづらい推論:推論は,主に19章で議論する.a,b 及び c における同時分布を捉え
るモデルに関して,他の変数 b が与えられた下でのある変数 a の確率値を推測する問
題を考える.そのような条件付き確率を計算するためには,変数 c の値を足し合わせ
るだけではく,a と c の値を足し合わせた正規化定数も計算する必要がある.
• 扱いづらい正規化定数(分配関数):分配関数については,主に18章で説明する.確率

464
変数の定数の正規化は,推論(上記)だけでなく,学習においても生じる,多くの確率
モデルには,そのような正規化定数が含まれる.残念ながら,そういったモデルを学習
するには,多くの場合,モデルパラメータに関して分配関数の対数の勾配を計算する
必要がある.その計算は,一般的に分配関数そのものを計算するのと同じくらい困難
である.マルコフ連鎖モンテカルロ(MCMC)法 (17章) は,しばしば分配関数を扱う
(分配関数の計算もしくは勾配の計算)ために使われる.残念ながら,MCMC 法はモ
デル分布のモードが多数でよく分離されている場合,特に高次元空間において,劣って
しまう (17.5節).

こういった難しい計算に立ち向かう方法の 1 つは近似することであり,本書の第 3 部で議
論されるように,多くのアプローチが提案されている.同様に本パートで議論されるもう 1
つの興味深い方法は,こういった扱いづらい計算を設計によって完全に回避することである.
したがって,そういった計算を必要としない方法は非常に魅力的である.その動機があって,
近年いくつかの生成モデルが提案されている.生成モデリングについての幅広い様々な現代
的手法は20章で議論する.

III部は,深層学習の分野にもたらされた広い視点を理解して,真の人工知能に向けて分野
を推し進めたいような研究者にとって,最も重要である.

465

Sign up to vote on this title
UsefulNot useful