Теорема Цибенко

Теорема Цибенко, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенко (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір $\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } ,$ і $\mathbf {\theta }$ , де

$\mathbf {w} _{i}$ — ваги між вхідними нейронами і нейронами прихованого шару
$\mathbf {\alpha }$ — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
$\mathbf {\theta }$ — коефцієнт «упередженості» для нейронів прихованого шару.

Формальне викладення[ред. • ред. код]

Нехай $\varphi$ будь-яка непрервна сигмоїдна функція, наприклад, $\varphi (\xi )=1/(1+e^{-\xi })$ . Тоді, якщо дана будь-яка неперервна функція дійсних змінних $f$ на $[0,1]^{n}$ (або будь яка інша компактна підмножина $R^{n}$ ) і $\epsilon >0$ , тоді існують вектори $\mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha }$ і $\mathbf {\theta }$ та параметризована функція $G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\rightarrow R$ така що

$|G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(\mathbf {x} )|<|\epsilon |$ для всіх $\mathbf {x} \in [0,1]^{n}$

де

$G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{i}\varphi (\mathbf {w} _{i}^{T}\mathbf {x} +\theta _{i})$

і $\mathbf {w} _{i}\in R^{n},\alpha _{i},\theta _{i}\in R,\mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots \mathbf {w} _{N}),\mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),$ і $\mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N})$ .