Swish функція

Swish функція це математична функція, що описується виразом:

$\operatorname {swish} (x):=x\times \operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.$

де β є константою або параметром, який залежить від типу моделі.

Похідна функції $f'(x)=f(x)+\sigma (x)(1-f(x))$.

Застосування

Застосовується в якості функції активації штучного нейрона. У 2017 році, провівши аналіз даних ImageNet, дослідники з Google стверджували, що використання функції swish як функції активації в штучних нейронних мережах покращує продуктивність порівняно з функціями ReLU та сигмоподібної форми. Вважається, що однією з причин покращення є те, що функція swish допомагає полегшити проблему зникаючого градієнта під час зворотного поширення.

Див. також

• Передавальна функція штучного нейрона