Сигмоїда

Сигмоїда

Сигмоїда - це неперервно диференційована монотонна нелінійна S-подібна функція, яка часто застосовується для "згладжування" значень деякої величини.

Часто під сигмоїдою розуміють логістичну криву

$\sigma(x) = \frac{1}{1 + e^{-x}}$

Родина функцій класу сигмоїд

У родину функцій класу сигмоїд також входять такі функції як арктангенс, гіперболічний тангенс та інші.

Функція Фермі (Експоненційна сигмоїда): $f(s)= \frac{1}{1+e^{-2 \alpha s}}$

Раціональна сигмоїда: $f(s)= \frac{s}{|s|+ \alpha}$

Гіперболічний тангенс: $f(s)= th \frac{s}{\alpha} = \frac{ e^{ \frac{s}{\alpha} } - e^{ - \frac{s}{\alpha}} } {e^{ \frac{s}{\alpha} } + e^{ - \frac{s}{\alpha}}}$

Застосування

Сигмоїда застосовується в нейронних мережах для того, щоб ввести деяку нелінійність в роботу мережі, але при цьому не дуже сильно змінити результат її роботи.

Одна з причин через яку сигмоїда використовується в нейронних мережах - це простий вираз її похідної через саму функцію (що дозволило істотно скоротити обчислювальну складність методу зворотного поширення помилки, зробивши його придатним на практиці):

$\sigma'(x) = \sigma(x) \cdot (1 - \sigma(x))$

Не менш важливою причиною введення нелінійності є математично доведена можливість отримати як завгодно точне наближення будь-якої неперервної функції багатьох змінних, використовуючи операції додавання та множення на число, суперпозицію функцій, лінійні функції, а також одну довільну неперервну нелінійну функцію однієї змінної.

Див. також

• Штучна нейронна мережа
• Перцептрон