Перегляд вихідного коду сторінки Передавальна функція штучного нейрона

{{Не плутати|Передавальна функція}}
'''Функція активації''', '''передавальна функція''' або '''функція збудження''' ({{lang-en|activation function}}<ref name="KeLin-Du-2014"/><ref name="Keller-2016"/><ref name="Tarassenko-1998"/><ref name="Anthony-2001"/><ref name="Nielsen-NN-DL"/>, також ''excitation function, squashing function, transfer function''<ref name="Stegemann-Buenfeld-1999"/>) [[штучний нейрон|штучного нейрона]]&nbsp;— залежність вихідного сигналу [[штучний нейрон|штучного нейрона]] від вхідного.

Зазвичай передавальна функція <math>\phi{(x)}</math> відображає дійсні числа на інтервал <math>{(-1,1)}</math> або <math>{(0, 1)}</math><ref name="KeLin-Du-2014"/>.

Більшість видів нейронних мереж для функції активації використовують [[сигмоїда|сигмоїди]]<ref name="Keller-2016"/>. [[ADALINE]] і [[Самоорганізаційна Карта Кохонена|самоорганізаційні карти]] використовують [[лінійна функція|лінійні]] функції активації, а [[радіально базисні мережі]] використовують [[Радіальна базисна функція|радіальні базисні функції]]<ref name="KeLin-Du-2014"/>.

Математично доведено, що тришаровий [[Багатошаровий перцептрон Розенблатта|перцептрон]] з використанням [[сигмоїда|сигмоїдної]] функції активації може [[апроксимація|апроксимувати]] будь-яку неперервну функцію з довільною точністю ([[Теорема Цибенка]])<ref name="KeLin-Du-2014"/>.

[[Метод зворотного поширення помилки]] вимагає, щоб функція активації була [[неперервна функція|неперервною]], [[нелінійна функція|нелінійною]], [[Монотонна функція|монотонно зростаючою]], і [[диференційовна функція|диференційовною]]<ref name="KeLin-Du-2014"/>.

В задачі {{нп|Multiclass classification|багатокласової}} [[Задача класифікації|класифікації]] нейрони останнього шару зазвичай використовують ''[[softmax]]'' як функцію активації<ref name="Tarassenko-1998"/>.

У [[хемометрика|хемометриці]] — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).<ref>Глосарій термінів з хімії // Й.&nbsp;Опейда, О.&nbsp;Швайка. Ін-т фізико-органічної хімії та вуглехімії ім. Л.&nbsp;М.&nbsp;Литвиненка НАН України, Донецький національний університет.&nbsp;— Донецьк: Вебер, 2008.&nbsp;— 758&nbsp;с.&nbsp;— ISBN 978-966-335-206-0</ref>

== Порівняння передавальних функцій ==
Деякі бажані властивості передавальної функції включають:

* Нелінійна&nbsp;— коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій.<ref>{{cite book|title=[[Mathematics of Control, Signals, and Systems]]|last=Cybenko|first=G.V.|publisher=Springer International|year=2006|editor-last=van Schuppen|editor-first=Jan H.|pp=303–314|chapter=Approximation by Superpositions of a Sigmoidal function|chapter-url={{google books |plainurl=y |id=4RtVAAAAMAAJ|page=303}}}}</ref> Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі.
* Неперервна диференційовність&nbsp;— ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція [[Функція Гевісайда|двійковий крок]] не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті.<ref>{{cite book|url={{google books |plainurl=y |id=0tFmf_UKl7oC}}|title=Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms|last=Snyman|first=Jan|date=3 березня 2005|publisher=Springer Science & Business Media|isbn=978-0-387-24348-1}}</ref>
* Область визначення.
* Монотонність.
* Гладка функція з монотонною похідною.
* Наближення до [[Тотожне відображення|тотожної функції]] <math>f(x)=x</math> в початку координат.

У наступній таблиці порівнюються деякі передавальні функції від однієї змінної {{mvar|x}} з попереднього шару:
{| class="wikitable sortable"
|-
! Назва
! Графік
! Рівняння
! [[Похідна]] (по ''x'')
! [[Проміжок#Типи проміжків у нотації теорії множин|Область]]
! [[Гладка функція|Порядок гладкості]]
! [[Монотонна функція|Монотонність]]
! Монотонність похідної
! Наближення до [[Тотожне відображення|Тотожної функції]] в початку координат
|-
| [[Тотожне відображення|Тотожна]]
| [[Файл:Activation identity.svg]]
| <math>f(x)=x</math>
| <math>f'(x)=1</math>
| <math>(-\infty,\infty)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| [[Функція Гевісайда|Двійковий крок]]
| [[Файл:Activation binary step.svg]]
| <math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	0 & \text{for } x \ne 0\\
	? & \text{for } x = 0\end{cases}</math>
| <math>\{0,1\}</math>
| <math>C^{-1}</math>
| {{Yes}}
| {{No}}
| {{No}}
|-
| [[Логістична рівність|Логістична]] (a.k.a. [[Сигмоїда|Сігмоїда]] або М'який крок)
| [[Файл:Activation logistic.svg]]
| <math>f(x)=\sigma(x)=\frac{1}{1+e^{-x}}</math>{{ref|logistic1}}
| <math>f'(x)=f(x)(1-f(x))</math>
| <math>(0,1)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{No}}
| {{No}}
|-
| [[Гіперболічні функції#Визначення|TanH]]
| [[Файл:Activation tanh.svg]]
| <math>f(x)=\tanh(x)=\frac{(e^{x} - e^{-x})}{(e^{x} + e^{-x})}</math>
| <math>f'(x)=1-f(x)^2</math>
| <math>(-1,1)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{No}}
| {{Yes}}
|-
| [[Обернені тригонометричні функції|ArcTan]]
| [[Файл:Activation arctan.svg]]
| <math>f(x)=\tan^{-1}(x)</math>
| <math>f'(x)=\frac{1}{x^2+1}</math>
| <math>\left(-\frac{\pi}{2},\frac{\pi}{2}\right)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{No}}
| {{Yes}}
|-
| Softsign<ref>{{Cite web|url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|title=Quadratic polynomials learn better image features". Technical Report 1337|last=Bergstra|first=James|last2=Desjardins|first2=Guillaume|date=2009|website=Département d’Informatique et de Recherche Opérationnelle, Université de Montréal|archive-url=https://web.archive.org/web/20180925121919/http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|archive-date=25 вересня 2018|dead-url=yes|access-date=|last3=Lamblin|first3=Pascal|last4=Bengio|first4=Yoshua}}</ref><ref>{{Citation|contribution-url=http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf|contribution=Understanding the difficulty of training deep feedforward neural networks|last=Glorot|first=Xavier|last2=Bengio|first2=Yoshua|date=2010|title=International Conference on Artificial Intelligence and Statistics (AISTATS’10)|publisher=Society for Artificial Intelligence and Statistics|archive-url=https://web.archive.org/web/20170401163145/http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf|archive-date=2017-04-01|dead-url=|access-date=}}</ref>
| [[Файл:Activation softsign.png]]
| <math>f(x)=\frac{x}{1+|x|}</math>
| <math>f'(x)=\frac{1}{(1+|x|)^2}</math>
| <math>(-1,1)</math>
| <math>C^1</math>
| {{Yes}}
| {{No}}
| {{Yes}}
|-
| Inverse square root unit (ISRU)<ref name="isrlu">{{Cite arxiv|last=Carlile|first=Brad|last2=Delamarter|first2=Guy|last3=Kinney|first3=Paul|last4=Marti|first4=Akiko|last5=Whitney|first5=Brian|date=2017-11-09|title=Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)|eprint=1710.09967 |class=cs.LG}}</ref>
| 
| <math>f(x) = \frac{x}{\sqrt{1 + \alpha x^2}} </math>
| <math>f'(x) = \left(\frac{1}{\sqrt{1 + \alpha x^2}}\right)^3 </math>
| <math>\left(-\frac{1}{\sqrt{\alpha}},\frac{1}{\sqrt{\alpha}}\right)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{No}}
| {{Yes}}
|-
| [[Випрямляч (нейронні мережі)|Випрямлена лінійна]] (Rectified linear unit, ReLU)<ref>{{Citation|last=Nair|first=Vinod|last2=Hinton|first2=Geoffrey E.|date=2010|contribution=Rectified Linear Units Improve Restricted Boltzmann Machines|contribution-url=http://dl.acm.org/citation.cfm?id=3104322.3104425|title=27th International Conference on International Conference on Machine Learning|series=ICML'10|location=USA|publisher=Omnipress|pages=807–814|isbn=9781605589077}}</ref>
| [[Файл:Activation rectified linear.svg]]
| <math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>[0,\infty)</math>
| <math>C^0</math>
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| Leaky rectified linear unit (Leaky ReLU)<ref>{{cite journal|last1=Maas|first1=Andrew L.|last2=Hannun|first2=Awni Y.|last3=Ng|first3=Andrew Y.|title=Rectifier nonlinearities improve neural network acoustic models|journal=Proc. ICML|date=June 2013|volume=30|issue=1|url=https://pdfs.semanticscholar.org/367f/2c63a6f6a10b3b64b8729d601e69337ee3cc.pdf|accessdate=2 січня 2017|archive-date=3 січня 2017|archive-url=https://web.archive.org/web/20170103002955/https://pdfs.semanticscholar.org/367f/2c63a6f6a10b3b64b8729d601e69337ee3cc.pdf}}</ref>
| [[Файл:Activation prelu.svg]]
| <math>f(x) = \begin{cases}
	0.01x & \text{for } x < 0\\
	x     & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	0.01 & \text{for } x < 0\\
	1    & \text{for } x \geqslant 0\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| Parameteric rectified linear unit (PReLU)<ref>{{Cite arxiv|last=He|first=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2015-02-06|title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification|eprint=1502.01852 |class=cs.CV}}</ref>
| [[Файл:Activation prelu.svg]]
| <math>f(\alpha,x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(\alpha,x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>(-\infty,\infty)</math>{{ref|alpha}}
| <math>C^0</math>
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>\alpha \geqslant 0</math>}}
| {{Yes}}
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>\alpha = 1</math>}}
|-
| Randomized leaky rectified linear unit (RReLU)<ref>{{Cite arxiv|last=Xu|first=Bing|last2=Wang|first2=Naiyan|last3=Chen|first3=Tianqi|last4=Li|first4=Mu|date=2015-05-04|title=Empirical Evaluation of Rectified Activations in Convolutional Network|eprint=1505.00853 |class=cs.LG}}</ref>
| [[Файл:Activation prelu.svg]]
| <math>f(\alpha, x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>{{ref|alpha_random}}
| <math>f'(\alpha, x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| Exponential linear unit (ELU)<ref>{{Cite arxiv|last=Clevert|first=Djork-Arné|last2=Unterthiner|first2=Thomas|last3=Hochreiter|first3=Sepp|date=2015-11-23|title=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)|eprint=1511.07289 |class=cs.LG}}</ref>
| [[Файл:Activation elu.svg]]
| <math>f(\alpha,x) = \begin{cases}
	\alpha(e^x - 1) & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(\alpha,x) = \begin{cases}
	f(\alpha,x) + \alpha & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>(-\alpha,\infty)</math>
| <math>\begin{cases}
C_ 1
& \text{when }
\alpha=1
\\
C_0 & \text{otherwise }
\end{cases}
</math>
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>\alpha \geqslant 0</math>}}
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>0 \leqslant \alpha \leqslant 1</math>}}
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>\alpha = 1</math>}}
|-
| Scaled exponential linear unit (SELU)<ref>{{Cite arxiv|last=Klambauer|first=Günter|last2=Unterthiner|first2=Thomas|last3=Mayr|first3=Andreas|last4=Hochreiter|first4=Sepp|date=2017-06-08|title=Self-Normalizing Neural Networks|eprint=1706.02515 |class=cs.LG}}</ref>
|  <!-- [[Файл:Activation selu.png]] -->
| <math>f(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x - 1) & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>
з <math>\lambda = 1.0507</math> та <math>\alpha = 1.67326</math>
| <math>f'(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x) & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>(-\lambda\alpha,\infty)</math>
| <math>C^0</math>
| {{Yes}}
| {{No}}
| {{No}}
|-
| S-shaped rectified linear activation unit (SReLU)<ref>{{Cite arxiv|last=Jin|first=Xiaojie|last2=Xu|first2=Chunyan|last3=Feng|first3=Jiashi|last4=Wei|first4=Yunchao|last5=Xiong|first5=Junjun|last6=Yan|first6=Shuicheng|date=2015-12-22|title=Deep Learning with S-shaped Rectified Linear Activation Units|eprint=1512.07030|class=cs.CV}}</ref>
|
| <math>f_{t_l,a_l,t_r,a_r}(x) = \begin{cases}
	t_l + a_l (x - t_l) & \text{for } x \leqslant t_l\\
	x & \text{for } t_l < x < t_r\\
	t_r + a_r (x - t_r) & \text{for } x \geqslant t_r\end{cases}</math><br/><math>t_l, a_l, t_r, a_r</math> are parameters.
| <math>f'_{t_l,a_l,t_r,a_r}(x) = \begin{cases}
	a_l & \text{for } x \leqslant t_l\\
	1   & \text{for } t_l < x < t_r\\
	a_r & \text{for } x \geqslant t_r\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
| {{No}}
| {{No}}
| {{No}}
|-
| Inverse square root linear unit (ISRLU)<ref name="isrlu" />
| 
| <math>f(x) = \begin{cases}
	\frac{x}{\sqrt{1 + \alpha x^2}} & \text{for } x < 0\\
	x & \text{for } x \geqslant 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	\left(\frac{1}{\sqrt{1 + \alpha x^2}}\right)^3 & \text{for } x < 0\\
	1 & \text{for } x \geqslant 0\end{cases}</math>
| <math>\left(-\frac{1}{\sqrt{\alpha}},\infty\right)</math>
| <math>C^2</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| Adaptive piecewise linear (APL)<ref>{{cite arxiv|author1=Forest Agostinelli|author2=Matthew Hoffman|author3=Peter Sadowski|author4=Pierre Baldi|title=Learning Activation Functions to Improve Deep Neural Networks|eprint=1412.6830|date=21 грудня 2014|class=cs.NE}}</ref>
|
| <math>f(x) = \max(0,x) + \sum_{s=1}^{S}a_i^s \max(0, -x + b_i^s)</math>
| <math>f'(x) = H(x) - \sum_{s=1}^{S}a_i^s H(-x + b_i^s)</math>{{ref|heaviside}}
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
| {{No}}
| {{No}}
| {{No}}
|-
| SoftPlus<ref>{{Cite web|url=http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf|title=Deep sparse rectifier neural networks|last=Glorot|first=Xavier|last2=Bordes|first2=Antoine|date=2011|work=International Conference on Artificial Intelligence and Statistics|archive-url=|archive-date=|dead-url=|access-date=|last3=Bengio|first3=Yoshua}}</ref>
| [[Файл:Activation softplus.svg]]
| <math>f(x)=\ln(1+e^x)</math>
| <math>f'(x)=\frac{1}{1+e^{-x}}</math>
| <math>(0,\infty)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{No}}
|-
| Bent identity
| [[Файл:Activation bent identity.svg]]
| <math>f(x)=\frac{\sqrt{x^2 + 1} - 1}{2} + x</math>
| <math>f'(x)=\frac{x}{2\sqrt{x^2 + 1}} + 1</math>
| <math>(-\infty,\infty)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| [[Swish функція|Sigmoid-weighted linear unit (SiLU)]]<ref>[https://arxiv.org/abs/1702.03118 Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning]</ref> (a.k.a. Swish<ref>[https://arxiv.org/abs/1710.05941 Searching for Activation Functions]</ref>)
|
| <math>f(x)=x\cdot\sigma(x)</math>{{ref|logistic2}}
| <math>f'(x)=f(x)+\sigma(x)(1-f(x))</math>{{ref|logistic3}}
| <math>[\approx-0.28,\infty)</math>
| <math>C^\infty</math>
| {{No}}
| {{No}}
| {{No}}
|-
| SoftExponential<ref>{{cite journal|last=Godfrey|first=Luke B.|last2=Gashler|first2=Michael S.|date=2016-02-03|title=A continuum among logarithmic, linear, and exponential functions, and its potential to improve generalization in neural networks|arxiv=1602.01321 |volume=1602|pages=481–486|via=|work=7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management: KDIR|bibcode=2016arXiv160201321G}}</ref>
| [[Файл:Activation soft exponential.svg]]
| <math>f(\alpha,x) = \begin{cases}
	-\frac{\ln(1-\alpha (x + \alpha))}{\alpha} & \text{for } \alpha < 0\\
	x & \text{for } \alpha = 0\\
        \frac{e^{\alpha x} - 1}{\alpha} + \alpha & \text{for } \alpha > 0\end{cases}</math>
| <math>f'(\alpha,x) = \begin{cases}
	\frac{1}{1-\alpha (\alpha + x)} & \text{for } \alpha < 0\\
	e^{\alpha x} & \text{for } \alpha \geqslant 0\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Depends|Так [[Тоді й лише тоді|↔]] <math>\alpha = 0</math>}}
|-
| [[Синусоїда]]<ref>{{cite arxiv|last=Gashler|first=Michael S.|last2=Ashmore|first2=Stephen C.|date=2014-05-09|title=Training Deep Fourier Neural Networks To Fit Time-Series Data|eprint=1405.2262|class=cs.NE}}</ref>
| [[Файл:Activation sinusoid.svg]]
| <math>f(x)=\sin(x)</math>
| <math>f'(x)=\cos(x)</math>
| <math>[-1,1]</math>
| <math>C^\infty</math>
| {{No}}
| {{No}}
| {{Yes}}
|-
| [[Функція sinc|Sinc]]
| [[Файл:Activation sinc.svg]]
| <math>f(x)=\begin{cases}
        1 & \text{for } x = 0\\
	\frac{\sin(x)}{x} & \text{for } x \ne 0\end{cases}</math>
| <math>f'(x)=\begin{cases}
	0 & \text{for } x = 0\\
	\frac{\cos(x)}{x} - \frac{\sin(x)}{x^2} & \text{for } x \ne 0\end{cases}</math>
| <math>[\approx-.217234,1]</math>
| <math>C^\infty</math>
| {{No}}
| {{No}}
| {{No}}
|-
| [[Функція Гауса|Гауссіан]]
| [[Файл:Activation gaussian.svg]]
| <math>f(x)=e^{-x^2}</math>
| <math>f'(x)=-2xe^{-x^2}</math>
| <math>(0,1]</math>
| <math>C^\infty</math>
| {{No}}
| {{No}}
| {{No}}
|}
: {{note|heaviside}}Тут, {{mvar|H}} це [[функція Гевісайда]].
: {{note|alpha_random}}{{mvar|&alpha;}} є стохастичною змінною вибраною з [[Неперервний рівномірний розподіл|нормального розподілу]] під час навчання і зафіксована як очікуване значення розподілу до часу тестування.
: {{note|logistic1}}{{note|logistic2}}{{note|logistic3}}Тут, <math>\sigma</math>&nbsp;— [[Логістична рівність|логістична функція]].
: {{note|alpa}} <math>\alpha > 0</math> виконується для всього інтервалу.

Наступна таблиця містить передавальні функції від декількох змінних:

{| class="wikitable sortable"
|-
! Назва
! Рівняння
! [[Похідна|Похідна(ні)]]
! [[Проміжок#Типи проміжків у нотації теорії множин|Область]]
! [[Гладка функція|Порядок гладкості]]
|-
| [[Softmax функція|Softmax]]
| <math>f_i(\vec{x}) = \frac{e^{x_i}}{\sum_{j=1}^J e^{x_j}}</math> &nbsp;&nbsp; for {{mvar|i}} = 1, …, {{mvar|J}}
| <math>\frac{\partial f_i(\vec{x})}{\partial x_j} = f_i(\vec{x})(\delta_{ij} - f_j(\vec{x}))</math>{{ref|kronecker_delta}}
| <math>(0,1)</math>
| <math>C^\infty</math>
|-
| Maxout<ref>{{Cite journal|last=Goodfellow|first=Ian J.|last2=Warde-Farley|first2=David|last3=Mirza|first3=Mehdi|last4=Courville|first4=Aaron|last5=Bengio|first5=Yoshua|date=2013-02-18|title=Maxout Networks|journal=JMLR WCP |volume=28|issue=3|pages=1319–1327|arxiv=1302.4389 |bibcode=2013arXiv1302.4389G}}</ref>
| <math>f(\vec{x}) = \max_i x_i</math>
| <math>\frac{\partial f}{\partial x_j} = \begin{cases}
        1 & \text{for } j = \underset{i}{\operatorname{argmax}} \,  x_i\\
	0 & \text{for } j \ne\underset{i}{\operatorname{argmax}} \,   x_i\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
|}
{{note|kronecker_delta}} Тут, <math>\delta_{ij}</math>&nbsp;— [[символ Кронекера]].

== Див. також ==
* [[Функція втрат]]

== Примітки ==
{{reflist|refs=
<ref name="Anthony-2001">{{cite journal|last=Anthony|first=Martin|year=2001|title=1. Artificial Neural Networks|pages=1–8|doi=10.1137/1.9780898718539}}</ref>

<ref name="KeLin-Du-2014">Ke-Lin Du, Swamy M. N. S., Neural Networks and Statistical Learning, Springer-Verlag London, 2014 {{doi|10.1007/978-1-4471-5571-3}}</ref>

<ref name="Tarassenko-1998">Lionel Tarassenko, 2 - Mathematical background for neural computing, In Guide to Neural Computing Applications, Butterworth-Heinemann, New York, 1998, Pages 5-35, ISBN 9780340705896, http://doi.org/10.1016/B978-034070589-6/50002-6.</ref>

<ref name="Keller-2016">James Keller, Derong Liu, and David Fogel: Fundamentals of computational intelligence: neural networks, fuzzy systems, and evolutionary computation: John Wiley and Sons, 2016, 378 pp, ISBN 978-1-110-21434-2</ref>

<ref name="Stegemann-Buenfeld-1999">{{cite journal|last=Stegemann|first=J. A.|coauthors=N. R. Buenfeld|year=2014|title=A Glossary of Basic Neural Network Terminology for Regression Problems|journal=Neural Computing & Applications|volume=8|issue=4|pages=290–296|issn=0941-0643|doi=10.1007/s005210050034}}</ref>

<ref name="Nielsen-NN-DL">[http://neuralnetworksanddeeplearning.com/chap1.html#perceptrons Michael Nielsen. Neural Networks and Deep Learning.]</ref>
}}

{{Диференційовні обчислення}}

[[Категорія:Нейронні мережі]]