xii

表記

本節では,本書全体を通して使われる表記を簡潔に説明する.対応する数学的概念につい
てよく知らないものがある場合,これらの概念のほとんどを 2 章から 4 章で説明するので,そ
ちらを参照されたい.

数値と配列

a スカラー (整数または実数)

a ベクトル

A 行列

A テンソル

In n 行 n 列の単位行列

I 文脈で示された次元の単位行列

e(i) i 番目の要素が 1 である標準基底ベクトル
[0, . . . , 0, 1, 0, . . . , 0]

diag(a) 対角要素が a で与えられる対角行列

a スカラーの確率変数

a ベクトル値の確率変数

A 行列値の確率変数
第 0. 表記

集合とグラフ

A 集合

R 実数の集合

{0, 1} 0 と 1 からなる集合

{0, 1, . . . , n} 0 から n までの全ての整数からなる集合

[a, b] a と b を含む実区間

(a, b] a は含まず b は含む実区間

A\B 差集合,すなわち,B に属さない A の要素からなる集合

G グラフ

P aG (xi ) G における xi の親

インデックス

ai ベクトル a の i 番目の要素で,i は 1 から始まる

a−i i 番目の要素以外のベクトル a の全要素

Ai,j 行列 A の i 行 j 列の要素

Ai,: 行列 A の行 i

A:,i 行列 A の列 i

Ai,j,k 3-Da のテンソル A の要素 (i, j, k)

A:,:,i 3-D のテンソルの 2-D 配列のスライス

ai 確率ベクトル a の i 番目の要素

a 訳注:ここでの D とはテンソルの階数(rank)に相当する.ただし本書でのテンソルは,実装における配列を
意識しており,D も単に配列の軸の個数(すなわちインデックスの個数)という意味で用いられているので,
階数とは訳さずにそのまま D とした.ベクトルの次元(dimension)とは異なるので注意されたい.

xiii
第 0. 表記

線形代数の演算

A⊤ 行列 A の転置行列

A+ A のムーア・ペンローズ擬似逆行列

A⊙B A と B の要素ごとの(アダマール)積

det(A) A の行列式

微積分
dy
y の x に関する微分a
dx
∂y
y の x に関する偏微分
∂x
∇x y y の x に関する勾配

∇X y y の X に関する行列の微分

∇X y y の X に関する微分を含むテンソル
∂f
f : Rn → Rm のヤコビ行列 J ∈ Rm×n
∂x
∇2x f (x) or H(f )(x) 入力点 x における f のヘッセ行列
!
f (x)dx x の全定義域における定積分
!
f (x)dx 集合 S における x に関する定積分
S

a 訳注:原文では derivative であり,正確には導関数である.ただし,本書では導関数と微分(differential)な
どを使い分けていないため,主に微分と訳すことにした.

xiv
第 0. 表記

確率と情報理論

a⊥b 確率変数 a と b は独立である

a⊥b | c a と b は c が与えられた下で独立である

P (a) 離散変数における確率分布

p(a) 連続変数における確率分布,あるいは型が指定されてい
ない変数における確率分布

a∼P 確率変数 a の分布は P である

Ex∼P [f (x)] or Ef (x) P (x) に関する f (x) の期待値

Var(f (x)) P (x) の下での f (x) の分散

Cov(f (x), g(x)) P (x) の下での f (x) と g(x) の共分散

H(x) 確率変数 x のシャノンエントロピー

DKL (P ∥Q) P と Q のカルバック・ライブラーダイバージェンス

N (x; µ, Σ) 平均 µ,共分散 Σ のときの x におけるガウス分布

xv
第 0. 表記

関数

f :A→B 定義域が A で値域が B の関数 f

f ◦g 関数 f と g の合成

f (x; θ) θ をパラメータとする x の関数(本文中では、表記を減
らすため,f (x) と書いて引数 θ を省略することもある)

log x x の自然対数
1
σ(x) ロジスティックシグモイド,
1 + exp(−x)
ζ(x) ソフトプラス,log(1 + exp(x))

||x||p x の Lp ノルム

||x|| x の L2 ノルム

x+ x の正の部分,すなわち,max(0, x)  

1condition condition が真の場合は 1,そうでない場合は 0
引数がスカラーの関数 f を使い,それを f (x),f (X),f (X) のようにベクトル,行列,テ
ンソルに適用する場合がある.これは,f を配列の要素ごとに適用することを意味する.例え
ば,C = σ(X) の場合,i,j 及び k の有効な値すべてに対して Ci,j,k = σ(Xi,j,k ) となる.

データ集合と確率分布

pdata データ生成分布

p̂data 訓練集合によって定義される経験分布

X 訓練集合

x(i) データ集合の i 番目の事例(入力)

y (i) or y (i) 教師あり学習において,x(i) に関連付けられた目標

X 列 Xi,: に入力事例 x(i) を持つ m × n 行列

xvi

Sign up to vote on this title
UsefulNot useful