>>553
つづき

第 5 章では浅いニューラルネットの積分表現理論を展開する。まず，深
層学習において，ReLU と呼ばれる非有界な活性化関数が用いられる背景
を簡単に説明する。これにより，深層ニューラルネットの積分表現理論
を展開するためには ReLU を含む超関数によるリッジレット解析が必要
であることが分かる。本論章の前半では，超関数によるリッジレット変換
が存在すること，および適当な条件の下で再構成公式（逆変換）が成り
立つことを理論的に示す。後半では，リッジレット変換の具体例を解析
的に計算し，さらに再構成公式の数値例を計算することで，理論の実効
性を確率認する。

第6章では深層ニューラルネットの積分表現理論を展開する。まず，DAE
が?場した背景と，DAE の学習アルゴリズムを簡単に説明し，Alain and
Bengio の変分計算によって学習アルゴリズムの?留?が?に求まること
を示す。続いて，得られた DAE が?送写像とみなせることを説明する。
本論章の前半では，浅い DAE による?送の性質を調べる。後半では，三つ
の深層 DAE（積層 DAE，合成 DAE，連続 DAE）を導入し，深層 DAE に
よる?送現象を軸として深層DAEの積分表現理論を展開する。積層DAE
は深層学習の一種であるプレトレーニングで現れる形式だが，解析が難
しい。合成 DAE は浅い DAE の合成写像であり，これ自体も?送写像な
ので解析は比較的容易である。連続 DAE は合成 DAE の連続極限であり，
無限層のニューラルネットに相当する。本論章の主結果は二つある。まず，
連続 DAE による?送に伴って変形されたデータ分布（押出測度）が，逆
向きの拡散方程式に従うことを示す。つまり，連続 DAE はデータ分布の
エントロピーを減らすようにデータ?を再配置する連続力学系である。次
に，積層 DAE と合成 DAE の等価性を示す。つまり，積層 DAE から得ら
れる特徴量は，ある線形写像によって適当な合成 DAE から得られた特徴
量に変換できる。二つの主結果の系として，合成 DAE と積層 DAE はい
ずれも，層を重ねるに連れて連続 DAE と?似の振舞いをするようになる
ことが分かる。最後に，深層 DAE の積分表現は，層毎の積分表現を合成
したものとして得る。

つづく