Теорема Цибенко

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Теорема Цибенко, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенко (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір \mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha}, і \mathbf{\theta}, де

  • \mathbf{w}_i — ваги між вхідними нейронами і нейронами прихованого шару
  • \mathbf{\alpha} — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
  • \mathbf{\theta} — коефцієнт «упередженості» для нейронів прихованого шару.

Формальне викладення[ред.ред. код]

Нехай \varphi будь-яка непрервна сигмоїдна функція, наприклад, \varphi(\xi) = 1/(1+e^{-\xi}). Тоді, якщо дана будь-яка неперервна функція дійсних змінних f на [0,1]^n (або будь яка інша компактна підмножина R^n) і \epsilon > 0, тоді існують вектори \mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha} і \mathbf{\theta} та параметризована функція G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R така що

|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(\mathbf{x})| < |\epsilon| для всіх \mathbf{x} \in [0,1]^n

де

G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_i\varphi(\mathbf{w}_i^T\mathbf{x} + \theta_i)

і \mathbf{w}_i \in R^n, \alpha_i, \theta_i \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N), і \mathbf{\theta} = (\theta_1, \theta_2, \dots , \theta_N).

Посилання[ред.ред. код]

Див. також[ред.ред. код]