>>551
つづき

通常のニューラルネットは，積分
表現の離散化を通じて理論解できる。積分表現理論は 90 年代に起きた第二
次ブームにおいて，浅いニューラルネットの表現能力を調べる過程で成
立した。残念ながら，深層ニューラルネットの積分表現理論は今日まで
ほとんど調べられていない。中間層が二層以上ある場合には，単に積分
核が入れ子になるだけで，中間層同士の関係をうまく定式化できないた
めである。

本論研究の結果は二つに分けられる：浅いニューラルネットの積分表現
理論と，深層ニューラルネットの積分表現理論である。浅いニューラル
ネットの理論では，ReLU と呼ばれる活性化関数に対応するように積分
表現理論を拡張し，ニューラルネットと Radon 変換およびウェーブレッ
ト変換との関係を詳らかにし，さらに積分表現を離散化してニューラル
ネットを学習する方法を提案した。
深層ニューラルネットの理論では，デノイジング・オートエンコーダー
（denoising autoencoder; DAE）と呼ばれるクラスに対して，DAE を?送
写像とみなす方法で，積分表現を構成した。また，?送写像の極限を調
べることで，無限層ニューラルネットに相当する連続 DAE の性質を明ら
かにした。DAE はデータ分布のエントロピーを減らす方向に入力データ
を再配置する?送作用があり，この作用は層を深くした方が顕著になる
ことが分かった。従って，浅い DAE と深層 DAE とでは抽出される特徴
量が異なることから，DAE においては積極的に深層化すべきであると言
える。本論研究の結果を深層学習のアルゴリズムに反映する方法の開発は，
今後の重要な課題である。

つづく