ReLU関数

どんな関数も近似できるらしいぞ

れる

らる

りる

ルル

そりゃそうだろ

定数関数でも任意の関数近似できるが

まずは、任意の関数を定数関数0でもって近似するところからだ。

LU分解

フーリエ展開みたいなことができる？

波の重ね合わせ

万能近似定理（Universal Approximation Theorem）とは、1つの隠れ層を持つ単純なニューラルネットワークが、適切な活性化関数を用いることで、任意の連続関数を任意の精度で近似できることを示した数学的定理です。
主な内容
・基本構造: 1層の隠れ層（十分な数のユニット）を持つフィードフォワード型ネットワークが対象。
・保証の内容: 複雑な非線形関数であっても、理論上は望みの精度（誤差の範囲内）で再現可能。
・活性化関数の役割: シグモイド関数やReLU関数などの非線形関数が必要。
重要なポイント
・表現力と学習の区別: 「そのようなネットワークが存在する（表現できる）」ことを保証するものであり、「勾配降下法などで実際にそのパラメータを効率よく学習できる」ことまで保証するものではありません。
・層の深さ: 隠れ層が1層でも幅を十分に大きくすれば近似可能ですが、深層学習（ディープラーニング）では多層にすることで効率よく表現できるケースが好まれます

ニューラルネットワークにおけるUniversal Approximation Theorem(普遍性定理)について
qiita.com/cfiken/items/e2047d9b27e6ef2a132b

ReLUをつかえば任意の幅の台を持つ関数で、台の中央で値１をとり、中央から台の両端それぞれに向かって線形に値が減少する、
いわゆるピラミッド型の単位区分１次関数を作れる。
ある有限区間内での任意の連続関数を近似するのに、刻み幅ｈで区間を分割して、分点における値をつかって
単位区分１次関数の線形結合で近似すると、元の連続関数の値が区分１次関数で近似されることになる。
刻み幅を任意に狭めていけば、値の近似はますます良くなる。