Preferred Networks Blog Implicit biasによる正則化効果

本記事は，2019年度インターン生だった東京大学 D1 の中島蒼さんによる寄稿です．中島さんはインターンシップにおいて，畳み込みニューラルネットワークの学習について研究を行いました．この記事は，インターンシップ中に文献調査していたimplicit bias に関するレビューとなっています． NN の学習はなぜうまくいくのか 畳み込みニューラルネットワーク（Convolutional NN; CNN）は画像処理など様々な分野に応用され，大きな成功を納めています．すなわち，様々なデータについて，訓練データから学習したニューラルネットワーク（Neural Network; NN）を用いて未知のデータについての予測や分類が行われています．このようにNN の学習が上手くいく，すなわち未知データに良く汎化することは経験的には分かっていますが，理論的な説明はまだ完全には成功していません． NN に限らず学習一般において，訓練データだけから未知なデータについて予測をするのは本来原理的に不可能です．未知のデータに対しては，何が起こってもおかしくないからです．それにも関わらず学習が上手くいくのは，未知のデータに関しても何らかの仮定ができ（帰納バイアス; inductive bias），その仮定を利用することで既知のデータから帰納的に推論が行えるためです．例えば，「データの生成過程は単純であり，学習されたモデルが単純なら未知のデータについても予測できる」と仮定し，過学習を抑制し単純なモデルが学習されるようにする正則化が良く行われてきました．NN の学習が上手くいく背景にも，このような正則化が働いていると考えられます． しかしながら，現実に使われている NN はパラメタ数がデータより非常に多く，一見すると自由度が高すぎて過学習が起きやすいモデルに思えます．それにも関わらず，なぜ NN の学習は上手くいくのでしょうか？実はパラメタ数が多くなっても，学習された NN は過学習を起こしにくいことが実験的に示唆されています．例えば，Neyshabur ら [1] による実験では，NN のパラメタ数が増えても未知のデータに対する予測精度は保たれていて，過学習が防げていることが分かります．Zhang ら [2] による別の実験でも，\(l_2\)-正則化などの明示的な正則化がなくても学習後のNN の性能は良いことが示されています．これらの結果は，パラメタ数が多く明示的に正則化が行われない状況でも，何らかの形で過学習が抑制される正則化がかかっていることを示唆しています． この暗黙的な正則化（implicit bias）の正体は何なのでしょうか？Neyshabur ら [1] は最適化アルゴリズムの性質によるものだという仮説を提示しました．例えば，確率的勾配降下法 (Stochastic Gradient Descent; SGD) は連続的にパラメタを更新していくアルゴリズムなため，初期値からあまり離れることができません．そのため，初期値が非常に小さい場合は，学習されたパラメタのノルムが小さくなると期待されます（図１）．この小ノルム性が正則化として機能し，未知のデータに対する汎化性能に効いているのだというのが彼らの仮説です．Zhang ら [2] も同様に SGD に起因する小ノルム性に基づいた議論を行っています． Neyshabur ら [1] の議論は，行列補完という問題で，小ノルム性が良い解につながるという既存の知見に着想を得ています．行列補完は，行列 \(X \in \mathbb{R}^{n \times n}\) の成分の線形和がいくつか分かっているときに，すべての成分を求める問題です．具体的には，行列 \(A^{(\lambda)} \in \mathbb{R}^{n \times n}\) \(\lambda = 1,2,\dots, m\) と線形和 \(o^{(\lambda)} := \sum_{i,j = 1}^n A_{i,j}^{(\lambda)} X_{i,j} \) が与えられたとき，行列 \(X\) を推定する問題になります．行列補完は，線形 NN による回帰を具体例として含んでいて，NN の学習を単純化した問題とも捉えられます．線形話の個数 \(m\) が \(X\) の要素数 \(n^2\) より少ない場合，線形和の条件を満たす \(X\) は複数存在するため，元々の \(X\) を決定することは原理的には不可能です．しかし，\(X\) が低ランクであると分かっている場合には，トレースノルムを最小にする手法が上手くいくことが知られています．すなわち，線形和に関する条件を満たす \(X\) のうちで，トレースノルムを最小にするものを求めることで，元々の \(X\) を良く復元できることが知られています [3]．ここで，行列 \(X\) のトレースノルムは，\(X\) の特異値が \(\{\sigma_i\}_{i=1,2,\dots,n}\) であるとき，以下の式で定義されます． \[ \|X\|_{\mathrm{trace}} = \sum_{i=1}^n \sigma_i\]. Implicit bias [...]