Теорема Цибенко

Теорема Цибенко, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенко (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір $\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha},$ і $\mathbf{\theta}$ , де

$\mathbf{w}_i$ — ваги між вхідними нейронами і нейронами прихованого шару
$\mathbf{\alpha}$ — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
$\mathbf{\theta}$ — коефцієнт «упередженості» для нейронів прихованого шару.

Формальне викладення [ред.]

Нехай $\varphi$ будь-яка непрервна сигмоїдна функція, наприклад, $\varphi(\xi) = 1/(1+e^{-\xi})$ . Тоді, якщо дана будь-яка неперервна функція дійсних змінних $f$ на $[0,1]^n$ (або будь яка інша компактна підмножина $R^n$ ) і $\epsilon > 0$ , тоді існують вектори $\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}$ і $\mathbf{\theta}$ та параметризована функція $G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R$ така що

$|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(\mathbf{x})| < |\epsilon|$ для всіх $\mathbf{x} \in [0,1]^n$

де

$G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_i\varphi(\mathbf{w}_i^T\mathbf{x} + \theta_i)$

і $\mathbf{w}_i \in R^n, \alpha_i, \theta_i \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),$ і $\mathbf{\theta} = (\theta_1, \theta_2, \dots , \theta_N)$ .