Перегляд вихідного коду сторінки Глибоке навчання

{{Short description|Галузь машинного навчання}}
[[Файл:Deep_Learning.jpg|альт=Подання зображень на кількох шарах абстракції в глибокому навчанні|міні|Подання зображень на кількох шарах абстракції в глибокому навчанні<ref>{{Cite journal|last1=Schulz|first1=Hannes|last2=Behnke|first2=Sven|date=1 листопада 2012|title=Deep Learning|journal=KI - Künstliche Intelligenz|language=en|volume=26|issue=4|pages=357–363|doi=10.1007/s13218-012-0198-z|s2cid=220523562|issn=1610-1987|url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0}}</ref>]]
{{Машинне навчання|Штучна нейронна мережа}}
{{Штучний інтелект (бічна панель)|Підходи}}

'''Глибо́ке навча́ння'''<ref name="ХомаБенч2019" /><ref name="ДорошЦаплюк2021" /><ref name="БродкевичРемесло2018" /> ({{lang-en|deep learning}}, також іноді '''глиби́нне навча́ння''')&nbsp;— це підмножина методів [[Машинне навчання|машинного навчання]] на основі [[Штучна нейронна мережа|штучних нейронних мережах]] із [[Навчання подань|навчанням подань]]. Прикметник «глибоке» ({{lang-en|"deep"}}) вказує на використання декількох шарів у мережі. Використовувані методи навчання можуть бути [[Кероване навчання|керованими]], [[Напівкероване навчання|напівкерованими]], та [[Некероване навчання|некерованими]].<ref name="NatureBengio">{{cite journal |last1=LeCun |first1= Yann|last2=Bengio |first2=Yoshua | last3=Hinton | first3= Geoffrey|s2cid=3074096 |year=2015 |title=Deep Learning |journal=Nature |volume=521 |issue=7553 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442|bibcode=2015Natur.521..436L|language=en }}</ref>

Архітектури глибокого навчання, такі як [[#Глибокі нейронні мережі|глибокі нейронні мережі]], [[Глибока мережа переконань|глибокі мережі переконань]], [[рекурентні нейронні мережі]], [[згорткові нейронні мережі]] та [[Трансформер (архітектура глибокого навчання)|трансформери]], застосовували в таких галузях як [[комп'ютерне бачення]], [[розпізнавання мовлення]], [[обробка природної мови]], [[машинний переклад]], [[біоінформатика]], [[конструювання ліків]], {{нп|аналіз медичних зображень|||Medical image analysis}}, [[кліматологія]], перевірка матеріалів і програми [[Ігри на спеціальній дошці|настільних ігор]], де вони дали результати, порівня́нні, а в деяких випадках і кращі за продуктивність людських експертів.<ref name=":9">{{Cite book |doi=10.1109/cvpr.2012.6248110 |isbn=978-1-4673-1228-8|arxiv=1202.2745|chapter=Multi-column deep neural networks for image classification|title=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|year=2012|last1=Ciresan|first1=D.|last2=Meier|first2=U.|last3=Schmidhuber|first3=J.|s2cid=2161592|language=en}}</ref><ref name="krizhevsky2012">{{cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada|access-date=2017-05-24|archive-date=2017-01-10|archive-url=https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|url-status=live|language=en}}</ref><ref>{{cite web |title=Google's AlphaGo AI wins three-match series against the world's best Go player |url=https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |website=TechCrunch |date=25 травня 2017 |access-date=17 червня 2018 |archive-date=17 червня 2018 |archive-url=https://web.archive.org/web/20180617065807/https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |url-status=live |language=en }}</ref>

[[Штучна нейронна мережа|Штучні нейронні мережі]] (ШНМ) було натхненно обробкою інформації та розподіленими комунікаційними вузлами в [[Біологічна система|біологічних системах]]. ШНМ мають різноманітні відмінності від біологічного мозку. Зокрема, штучні нейронні мережі зазвичай статичні та символьні, тоді як біологічний мозок більшості живих організмів динамічний (пластичний) та аналоговий.<ref>{{Cite journal|last1=Marblestone|first1=Adam H.|last2=Wayne|first2=Greg|last3=Kording|first3=Konrad P.|s2cid=1994856|date=2016|title=Toward an Integration of Deep Learning and Neuroscience |journal=Frontiers in Computational Neuroscience |volume=10|pages=94|doi=10.3389/fncom.2016.00094 |pmc=5021692|pmid=27683554|bibcode=2016arXiv160603813M|arxiv=1606.03813|doi-access=free|language=en}}</ref><ref>{{cite arXiv|last1=Bengio|first1=Yoshua|last2=Lee|first2=Dong-Hyun|last3=Bornschein|first3=Jorg|last4=Mesnard|first4=Thomas|last5=Lin|first5=Zhouhan|date=13 лютого 2015|title=Towards Biologically Plausible Deep Learning|eprint=1502.04156|class=cs.LG|language=en}}</ref> ШНМ загалом розглядають як низькоякісні моделі функціювання мозку.<ref>{{Cite web |date=2 листопада 2022 |title=Study urges caution when comparing neural networks to the brain |url=https://news.mit.edu/2022/neural-networks-brain-function-1102 |access-date=6 грудня 2023 |website=MIT News {{!}} Massachusetts Institute of Technology |language=en}}</ref>

{{TOC limit|3}}

== Визначення ==

Глибоке навчання&nbsp;— це клас [[алгоритм]]ів [[Машинне навчання|машинного навчання]], який<ref name="BOOK2014">{{cite journal|last2=Yu|first2=D.|year=2014|title=Deep Learning: Methods and Applications|url=http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|journal=Foundations and Trends in Signal Processing|volume=7|issue=3–4|pages=1–199|doi=10.1561/2000000039|last1=Deng|first1=L.|access-date=2014-10-18|archive-date=2016-03-14|archive-url=https://web.archive.org/web/20160314152112/http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|url-status=live|language=en}}</ref>{{rp|page=199–200 }} використовує декілька шарів, щоби поступово виділяти з сирого входу ознаки щоразу вищих рівнів. Наприклад, при [[Цифрова обробка зображень|обробці зображень]] нижчі шари можуть встановлювати контури, тоді як вищі шари можуть встановлювати поняття, доречні для людини, такі як цифри, літери чи обличчя.

Якщо поглянути на глибоке навчання під іншим кутом, то глибоке навчання позначує «комп'ютерне моделювання» або «автоматизацію» процесів навчання людиною від джерела (наприклад, зображення собак) до об'єкта навчання (собак). Тому мають сенс поняття, сформульовані як «глибше» ({{lang-en|"deeper"}}) та «найглибше» ({{lang-en|"deepest"}}) навчання.<ref>{{cite book |last1=Zhang |first1=W. J. |last2=Yang |first2=G. |last3=Ji |first3=C. |last4=Gupta |first4=M. M. |title=2018 World Automation Congress (WAC) |chapter=On Definition of Deep Learning |date=2018 |pages=1–5 |doi=10.23919/WAC.2018.8430387 |isbn=978-1-5323-7791-4 |s2cid=51971897 |language=en }}</ref> Найглибше навчання позначує повністю автоматичне навчання від джерела до кінцевого об'єкта навчання. Глибше навчання відтак позначує змішаний процес навчання: процес навчання людиною від джерела до навченого напівоб'єкта, за яким слідує комп'ютерний процес навчання від навченого людиною напівоб'єкта до кінцевого об'єкта навчання.

== Огляд ==

Більшість сучасних моделей глибокого навчання ґрунтуються на багатошарових [[Штучна нейронна мережа|штучних нейронних мережах]], таких як [[згорткові нейронні мережі]] та [[Трансформер (архітектура глибокого навчання)|трансформери]], хоча до них також можуть належати {{нп|Пропозиційна формула|пропозиційні формули||Propositional formula}} та латентні змінні, організовані пошарово в глибоких [[Породжувальна модель|породжувальних моделях]], такі як вузли в [[Глибока мережа переконань|глибоких мережах переконань]] чи глибоких [[Машина Больцмана|машинах Больцмана]].<ref name="BENGIODEEP">{{cite journal|last=Bengio|first=Yoshua|year=2009|title=Learning Deep Architectures for AI|url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf|journal=Foundations and Trends in Machine Learning|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|citeseerx=10.1.1.701.9550|s2cid=207178999 |access-date=3 вересня 2015|archive-url=https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf|archive-date=4 березня 2016|url-status=dead|language=en}}</ref>

У глибокому навчанні кожен рівень вчиться перетворювати свої вхідні дані на дещо абстрактніше й складніше [[Подання знань|подання]]. У застосунку для розпізнавання зображень сирий вхід може бути [[Матриця (математика)|матрицею]] пікселів; перший шар подання може абстрагуватися від пікселів і кодувати контури; другий шар може складати та кодувати їхнє розташування; третій шар може кодувати ніс та очі; а четвертий шар може розпізнавати, що зображення містить обличчя. Важливо, що процес глибокого навчання може ''самостійно'' вчитися, які ознаки оптимально розмістити на якому рівні. Це не звільняє від необхідності ручного настроювання; наприклад, різна кількість та розміри шарів можуть забезпечувати різні ступені абстракції.<ref name="BENGIO2012">{{cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|arxiv=1206.5538|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.|s2cid=393948|language=en}}</ref><ref>{{cite journal|last1=LeCun|first1=Yann|last2=Bengio|first2=Yoshua|last3=Hinton|first3=Geoffrey|s2cid=3074096|title=Deep learning|journal=Nature|date=28 травня 2015|volume=521|issue=7553|pages=436–444|doi=10.1038/nature14539|pmid=26017442|bibcode=2015Natur.521..436L|language=en}}</ref>

Слово «глибоке» у «глибокому навчанні» позначує кількість шарів, крізь які перетворюються дані. Точніше, системи глибокого навчання мають значну глибину ''шляху розподілу внеску'' (ШРВ, {{lang-en|credit assignment path, CAP}}). ШРВ&nbsp;— це ланцюг перетворень від входу до виходу. ШРВ описують потенційно причинно-наслідкові зв'язки між входом та виходом. Для [[Нейронна мережа прямого поширення|нейронної мережі прямого поширення]] глибина ШРВ дорівнює глибині мережі й є кількістю прихованих шарів плюс один (оскільки шар виходу також параметризовано). Для [[Рекурентна нейронна мережа|рекурентних нейронних мереж]], у яких сигнал може поширюватися крізь шар понад один раз, глибина ШРВ потенційно необмежена.<ref name="SCHIDHUB" /> Немає універсально узгодженого порогу глибини, який відділяє неглибоке навчання ({{lang-en|shallow learning}}) від глибокого, але більшість дослідників сходяться на думці, що глибоке навчання використовує глибину ШРВ вище 2. Було показано, що ШРВ глибини 2 це універсальний наближувач у тому сенсі, що він може моделювати будь-яку функцію.<ref>{{Cite book|url=https://books.google.com/books?id=9CqQDwAAQBAJ&pg=PA15|title=Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities|last=Shigeki|first=Sugiyama|date=12 квітня 2019|publisher=IGI Global|isbn=978-1-5225-8218-2|language=en}}</ref> Поза цим, більше шарів не додають нічого до здатності мережі наближувати функції. Глибокі моделі (ШРВ > 2) здатні виділяти кращі ознаки, ніж неглибокі моделі, й отже, додаткові шари допомагають ефективно навчатися ознак.

Архітектури глибокого навчання можливо конструювати пошарово [[Жадібний алгоритм|жадібним]] методом.<ref name="BENGIO2007">{{cite conference | first1=Yoshua | last1=Bengio | first2=Pascal | last2=Lamblin | first3=Dan | last3=Popovici | first4=Hugo | last4=Larochelle | title=Greedy layer-wise training of deep networks | year=2007 | url=http://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf | conference=Advances in neural information processing systems | pages=153–160 | access-date=2019-10-06 | archive-date=2019-10-20 | archive-url=https://web.archive.org/web/20191020195638/http://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf | url-status=live | language=en }}</ref> Глибоке навчання допомагає розплутувати ці абстракції й обирати, які ознаки покращують продуктивність.<ref name="BENGIO2012" />

Для завдань [[Кероване навчання|керованого навчання]] методи глибокого навчання уможливлюють усування [[конструювання ознак]], переводячи дані до компактних проміжних подань, подібних до [[Метод головних компонент|головних компонент]], і виводять багатошарові структури, які усувають надмірність у поданні.

Алгоритми глибокого навчання можливо застосовувати до завдань некерованого навчання. Це важлива перевага, оскільки немічені дані численніші за мічені. Прикладами глибоких структур, які можливо тренувати некерованим чином, є [[Глибока мережа переконань|глибокі мережі переконань]].<ref name="BENGIO2012" /><ref name="SCHOLARDBNS">{{cite journal | last1 = Hinton | first1 = G.E. | year = 2009| title = Deep belief networks | journal = Scholarpedia | volume = 4 | issue = 5| page = 5947 | doi=10.4249/scholarpedia.5947| bibcode = 2009SchpJ...4.5947H| doi-access = free| language = en }}</ref>

Моделі машинного навчання тепер вправні у виявлянні складних шаблонів у даних фінансових ринків. Завдяки перевагам штучного інтелекту інвестори все частіше використовують методики глибокого навчання для прогнозування та аналізу тенденцій на фондових та валютних ринках.<ref>{{Cite journal |last1=Sahu |first1=Santosh Kumar |last2=Mokhade |first2=Anil |last3=Bokde |first3=Neeraj Dhanraj |date=січень 2023 |title=An Overview of Machine Learning, Deep Learning, and Reinforcement Learning-Based Techniques in Quantitative Finance: Recent Progress and Challenges |journal=Applied Sciences |language=en |volume=13 |issue=3 |pages=1956 |doi=10.3390/app13031956 |issn=2076-3417 |doi-access=free }}</ref>

== Інтерпретації ==

Глибокі нейронні мережі зазвичай інтерпретують у термінах [[Теорема про універсальне наближення|теореми про універсальне наближення]]<ref name="cyb">{{cite journal | last1 = Cybenko | year = 1989 | title = Approximations by superpositions of sigmoidal functions | url = http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf | journal = {{нп|Mathematics of Control, Signals, and Systems}} | volume = 2 | issue = 4 | pages = 303–314 | doi = 10.1007/bf02551274 | s2cid = 3958369 | url-status = dead | archive-url = https://web.archive.org/web/20151010204407/http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf | archive-date = 10 October 2015 | author-link1 = Джордж Цибенко | language = en }}</ref><ref name="horn">{{cite journal | last1 = Hornik | first1 = Kurt | year = 1991 | title = Approximation Capabilities of Multilayer Feedforward Networks | url = https://archive.org/details/sim_neural-networks_1991_4_2/page/251 | journal = Neural Networks | volume = 4 | issue = 2| pages = 251–257 | doi=10.1016/0893-6080(91)90009-t| s2cid = 7343126| language = en }}</ref><ref name="Haykin, Simon 1998">{{cite book|first=Simon S. |last=Haykin|title=Neural Networks: A Comprehensive Foundation|url={{google books |plainurl=y |id=bX4pAQAAMAAJ}}|year=1999|publisher=Prentice Hall|isbn=978-0-13-273350-2|language=en}}</ref><ref name="Hassoun, M. 1995 p. 48">{{cite book|first=Mohamad H. |last=Hassoun|title=Fundamentals of Artificial Neural Networks|url={{google books |plainurl=y |id=Otk32Y3QkxQC|page=48}}|year=1995|publisher=MIT Press|isbn=978-0-262-08239-6|page=48|language=en}}</ref><ref name="ZhouLu">Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). [http://papers.nips.cc/paper/7203-the-expressive-power-of-neural-networks-a-view-from-the-width The Expressive Power of Neural Networks: A View from the Width] {{Webarchive|url=https://web.archive.org/web/20190213005539/http://papers.nips.cc/paper/7203-the-expressive-power-of-neural-networks-a-view-from-the-width |date=2019-02-13 }}. Neural Information Processing Systems, 6231-6239. {{ref-en}}</ref> або [[Баєсове висновування|ймовірнісного висновування]].<ref>{{cite journal |last1=Orhan |first1=A. E. |last2=Ma |first2=W. J. |date=2017 |title=Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback |journal=Nature Communications |volume=8 |issue=1 |pages=138 | pmid=28743932 | doi=10.1038/s41467-017-00181-8|pmc=5527101 |bibcode=2017NatCo...8..138O | doi-access=free | language=en}}</ref><ref name="BOOK2014" /><ref name="BENGIO2012" /><ref name="SCHIDHUB">{{cite journal|last=Schmidhuber|first=J.|s2cid=11715509|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637|language=en}}</ref><ref name="MURPHY">{{cite book|first=Kevin P. |last=Murphy|title=Machine Learning: A Probabilistic Perspective|url={{google books |plainurl=y |id=NZP6AQAAQBAJ}}|date=24 серпня 2012|publisher=MIT Press|isbn=978-0-262-01802-9|language=en}}</ref>

Класична теорема про універсальне наближення стосується здатності [[Нейронна мережа прямого поширення|нейронної мережі прямого поширення]] з одним прихованим шаром скінченного розміру наближувати [[Неперервна функція|неперервні функції]].<ref name="cyb" /><ref name="horn" /><ref name="Haykin, Simon 1998" /><ref name="Hassoun, M. 1995 p. 48" /> 1989 року [[Джордж Цибенко]] опублікував перше її доведення для [[Сигмоїда|сигмоїдних]] передавальних функцій,<ref name="cyb" /> а 1991 року {{нп|Курт Горнік|3=de|4=Kurt Hornik}} узагальнив його для багатошарових архітектур прямого поширення.<ref name="horn" /> Нещодавня робота також показала, що універсальне наближення також виконується для необмежених передавальних функцій, таких як [[випрямлений лінійний вузол]] ({{lang-en|rectified linear unit}}) {{нп|Куніхіко Фукусіма|Куніхіко Фукусіми||Kunihiko Fukushima}}.<ref name="Fukushima1969" /><ref name="sonoda17">{{cite journal | last1 = Sonoda | first1 = Sho | last2=Murata | first2=Noboru | s2cid = 12149203 | year = 2017 | title = Neural network with unbounded activation functions is universal approximator | journal = Applied and Computational Harmonic Analysis | volume = 43 | issue = 2 | pages = 233–268 | doi = 10.1016/j.acha.2015.12.005| arxiv = 1505.03654| language = en }}</ref>

Теорема про універсальне наближення для [[Глибока нейронна мережа|глибоких нейронних мереж]] розглядає пропускну спроможність мереж з обмеженою шириною, дозволяючи зростати глибині. Лу зі співавт.<ref name="ZhouLu" /> довели, що якщо ширина [[Глибока нейронна мережа|глибокої нейронної мережі]] з передавальною функцією ''[[ReLU]]'' строго більша за розмірність входу, то ця мережа може наближувати будь-яку [[Інтегровна за Лебегом функція|функцію, інтегровну за Лебегом]]; якщо її ширина менша або дорівнює розмірності входу, то [[глибока нейронна мережа]] не є універсальним наближувачем.

[[Імовірність|Імовірнісна]] інтерпретація<ref name="MURPHY" /> походить з галузі [[Машинне навчання|машинного навчання]]. Вона відводить провідне місце висновуванню,<ref name="BOOK2014" /><ref name="BENGIODEEP" /><ref name="BENGIO2012" /><ref name="SCHIDHUB" /><ref name="SCHOLARDBNS"/><ref name="MURPHY" /> а також таким поняттям [[Оптимізація (математика)|оптимізації]] як [[тренування]] та [[Іспит|випробування]], пов'язаним із допасовуванням та [[Узагальнення|узагальнюванням]] відповідно. Конкретніше, ймовірнісна інтерпретація розглядає нелінійність передавальної функції як [[Кумулятивна функція розподілу ймовірності|кумулятивну функцію розподілу]].<ref name="MURPHY" /> Імовірнісна інтерпретація призвела до запровадження [[Виключення (нейронні мережі)|виключення]] ({{lang-en|dropout}}) як [[Регуляризація (математика)|регуляризатора]] в нейронних мережах. Імовірнісну інтерпретацію було запроваджено дослідниками включно з [[Джон Гопфілд|Гопфілдом]], {{нп|Бернард Уїдроу|Уїдроу||Bernard Widrow}} та {{нп|Кумпаті Нарендра|Нарендрою||Kumpati S. Narendra}}, й популяризовано в оглядах, таких як від {{нп|Крістофер Бішоп|Бішопа||Christopher Bishop}}.<ref name="prml">{{cite book|title=Pattern Recognition and Machine Learning|author=Bishop, Christopher M.|year=2006|publisher=Springer|url=http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf|isbn=978-0-387-31073-2|access-date=2017-08-06|archive-date=2017-01-11|archive-url=https://web.archive.org/web/20170111005101/http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf|url-status=live|language=en}}</ref>

== Історія ==

Існує два типи нейронних мереж: [[Нейронна мережа прямого поширення|нейронні мережі прямого поширення]] (НМПП, {{lang-en|feedforward neural network, FNN}}) та [[Рекурентна нейронна мережа|рекурентні нейронні мережі]] (РНМ, {{lang-en|recurrent neural network, RNN}}). РНМ мають цикли у структурі зв'язності, а НМПП&nbsp;— ні. У 1920-х роках {{нп|Вільгельм Ленц|||Wilhelm Lenz}} та {{нп|Ернст Ізінг|||Ernst Ising}} створили та проаналізували [[модель Ізінга]],<ref name="brush67">{{cite journal |doi=10.1103/RevModPhys.39.883|title=History of the Lenz-Ising Model|year=1967|last1=Brush|first1=Stephen G.|journal=Reviews of Modern Physics|volume=39|issue=4|pages=883–893|bibcode=1967RvMP...39..883B|language=en}}</ref> яка, по суті, є архітектурою РНМ, що не навчається, і складається з нейроноподібних порогових елементів. 1972 року {{нп|Шунічі Амарі|||Shun'ichi Amari}} зробив цю архітектуру адаптивною.<ref name="Amari1972">{{cite journal |last1=Amari |first1=Shun-Ichi |title=Learning patterns and pattern sequences by self-organizing nets of threshold elements|journal= IEEE Transactions |date=1972 |volume=C |issue=21 |pages=1197–1206 |language=en }}</ref><ref name="DLhistory">{{cite arXiv |eprint=2212.11279 |class=cs.NE |first=Jürgen |last=Schmidhuber |author-link=Юрген Шмідхубер |title=Annotated History of Modern AI and Deep Learning |language=en |date=2022}}</ref> Його навчання РНМ популяризував [[Джон Гопфілд]] 1982 року.<ref name="Hopfield1982">{{cite journal |last1=Hopfield |first1=J. J. |title=Neural networks and physical systems with emergent collective computational abilities |journal= Proceedings of the National Academy of Sciences|date=1982 |volume=79 |issue=8 |pages=2554–2558 |doi=10.1073/pnas.79.8.2554 |pmid=6953413 |pmc=346238 |bibcode=1982PNAS...79.2554H |doi-access=free |language=en }}</ref> РНМ стали центральними для [[розпізнавання мовлення]] та {{нп|Обробка мови|обробки мови||Language processing}}.

Чарльз Тапперт пише, що [[Френк Розенблат]] розробив та дослідив усі основні складові сучасних систем глибокого навчання,<ref name="Who Is the Father of Deep Learning?">{{cite book |chapter-url=https://ieeexplore.ieee.org/document/9070967 |chapter=Who Is the Father of Deep Learning? |publisher=IEEE |doi=10.1109/CSCI49370.2019.00067 |accessdate=31 травня 2021|title=2019 International Conference on Computational Science and Computational Intelligence (CSCI) |year=2019 |last1=Tappert |first1=Charles C. |pages=343–348 |isbn=978-1-7281-5584-5 |s2cid=216043128 |language=en }}</ref> посилаючись на книгу Розенблата 1962 року,<ref name="rosenblatt1962">{{cite book|last=Rosenblatt|first=Frank|author-link=Френк Розенблат|title=Principles of Neurodynamics|year=1962|publisher=Spartan, New York|language=en}}</ref> якою було запроваджено [[багатошаровий перцептрон]] (БШП) із 3 шарами: шаром входу, прихованим шаром із випадковими вагами, що не навчалися, та шаром виходу. Він також запропонував варіанти, включно з версією з чотирьохшаровими перцептронами, де останні два шари мають ваги, що навчаються (й отже, справжній багатошаровий перцептрон).<ref name="rosenblatt1962" />{{rp|section 16}} Крім того, термін глибоке навчання запропонувала 1986 року {{нп|Ріна Дехтер|||Rina Dechter}},<ref name="dechter1986" /> хоча історія його появи, схоже, набагато складніша.<ref>{{Cite journal |last=Fradkov |first=Alexander L. |date=2020-01-01 |title=Early History of Machine Learning |journal=IFAC-PapersOnLine |language=en |series=21st IFAC World Congress |volume=53 |issue=2 |pages=1385–1390 |doi=10.1016/j.ifacol.2020.12.1888 |s2cid=235081987 |issn=2405-8963|doi-access=free }}</ref>

Перший загальний, робочий алгоритм навчання для глибоких багатошарових [[перцептрон]]ів прямого поширення керованим навчанням опублікували 1967 року [[Івахненко Олексій Григорович|Олексій Івахненко]] та [[Лапа Валентин Григорович|Валентин Лапа]].<ref name="ivak1965">{{cite book|first1=A. G. |last1=Ivakhnenko |author-link1=Івахненко Олексій Григорович |first2=V. G. |last2=Lapa |title=Cybernetics and Forecasting Techniques|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|year=1967|publisher=American Elsevier Publishing Co.|isbn=978-0-444-00020-0|language=en}}</ref> У статті 1971 року описано глибоку мережу з восьми шарів, треновану [[Метод групового урахування аргументів|методом групового урахування аргументів]].<ref name="ivak1971">{{Cite journal|last=Ivakhnenko|first=Alexey|author-link1=Івахненко Олексій Григорович|date=1971|title=Polynomial theory of complex systems|url=http://gmdh.net/articles/history/polynomial.pdf|journal=IEEE Transactions on Systems, Man, and Cybernetics|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=SMC-1|issue=4|access-date=2019-11-05|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf|url-status=live|language=en}}</ref>

Перший [[багатошаровий перцептрон]] глибокого навчання, тренований [[Стохастичний градієнтний спуск|стохастичним градієнтним спуском]],<ref name="robbins1951">{{Cite journal | last1 = Robbins | first1 = H. | author-link = Герберт Роббінс| last2 = Monro | first2 = S. | doi = 10.1214/aoms/1177729586 | title = A Stochastic Approximation Method | url = https://archive.org/details/sim_annals-of-mathematical-statistics_1951-09_22_3/page/400 | journal = The Annals of Mathematical Statistics | volume = 22 | issue = 3 | pages = 400 | year = 1951 | doi-access = free | language = en }}</ref> опублікував 1967 року {{нп|Шунічі Амарі|||Shun'ichi Amari}}.<ref name="Amari1967">{{cite journal |last1=Amari |first1=Shun'ichi |author-link=Шунічі Амарі|title=A theory of adaptive pattern classifier|journal= IEEE Transactions |date=1967 |volume=EC |issue=16 |pages=279–307 |language=en}}</ref><ref name="DLhistory"/> У комп'ютерних експериментах, проведених учнем Амарі, Сайто, п'ятишаровий [[Багатошаровий перцептрон|БШП]] із двома змінними шарами навчився [[Подання знань|внутрішніх подань]] для класифікування нелінійно роздільних класів образів.<ref name="DLhistory" /> 1987 року Метью Бренд повідомив, що широкі 12-шарові нелінійні перцептрони можливо повністю наскрізно тренувати відтворювати логічні функції нетривіальної глибини ланцюга за допомогою градієнтного спуску на невеликих пакетах випадкових вибірок входів/виходів, але зробив висновок, що час тренування на тогочасному обладнанні (домегафлопних комп'ютерах) зробив цю методику непрактичною, та запропонував використовувати незмінні випадкові ранні шари як хеш входу для єдиного змінюваного рівня.<ref name="Brand1988">Matthew Brand (1988) Machine and Brain Learning.  University of Chicago Tutorial Studies Bachelor's Thesis, 1988.  Reported at the Summer Linguistics Institute, Stanford University, 1987 {{ref-en}}</ref> Натомість подальші розробки апаратного забезпечення та підлаштовування гіперпараметрів зробили наскрізний [[стохастичний градієнтний спуск]] нині переважною методикою тренування.

1970 року {{нп|Сеппо Ліннаінмаа|||Seppo Linnainmaa}} опублікував зворотний режим [[Автоматичне диференціювання|автоматичного диференціювання]] дискретно зв'язаних мереж вкладених [[Диференційовна функція|диференційовних]] функцій.<ref name="lin1970">{{cite thesis|first=Seppo|last=Linnainmaa|author-link=Сеппо Ліннаінмаа|year=1970|type=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki|pages=6–7}}</ref><ref name="lin1976">{{cite journal|last1=Linnainmaa|first1=Seppo|author-link=Сеппо Ліннаінмаа|year=1976|title=Taylor expansion of the accumulated rounding error|journal=BIT Numerical Mathematics|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|s2cid=122357351|language=en}}</ref><ref name="grie2012">{{Cite journal|last=Griewank|first=Andreas|date=2012|title=Who Invented the Reverse Mode of Differentiation?|url=http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|journal=Documenta Mathematica|issue=Extra Volume ISMP|pages=389–400|access-date=11 червня 2017|archive-url=https://web.archive.org/web/20170721211929/http://www.math.uiuc.edu/documenta/vol-ismp/52_griewank-andreas-b.pdf|archive-date=21 липня 2017|url-status=dead|language=en}}</ref> Він став відомим як [[зворотне поширення]].<ref name="SCHIDHUB" /> Це ефективне застосування [[Ланцюгове правило|ланцюгового правила]], виведеного [[Готфрід Вільгельм Лейбніц|Готфрідом Вільгельмом Лейбніцем]] 1673 року,<ref name="leibniz1676">{{Cite book|last=Leibniz|first=Gottfried Wilhelm Freiherr von|url=https://books.google.com/books?id=bOIGAAAAYAAJ&q=leibniz+altered+manuscripts&pg=PA90|title=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir)|date=1920|publisher=Open court publishing Company|isbn=9780598818461 |language=en}}</ref> до мереж диференційовних вузлів.<ref name="DLhistory"/> Термінологію «зворотно поширювані похибки» ({{lang-en|"back-propagating errors"}}) фактично запровадив 1962 року Розенблат,<ref name="rosenblatt1962" /><ref name="DLhistory" /> але він не знав, як це втілити, хоча {{нп|Генрі Келлі|||Henry J. Kelley}} вже 1960 року мав безперервного попередника [[Зворотне поширення|зворотного поширення]]<ref name="kelley1960">{{cite journal|last1=Kelley|first1=Henry J.|author-link=Генрі Келлі|year=1960|title=Gradient theory of optimal flight paths|url=https://archive.org/details/sim_american-rocket-society-ars-journal_1960-10_30_10/page/947|journal=ARS Journal|volume=30|issue=10|pages=947–954|doi=10.2514/8.5282|language=en}}</ref> в контекст [[Теорія керування|теорії керування]].<ref name="DLhistory" /> 1982 року {{нп|Пол Вербос|||Paul Werbos}} застосував [[зворотне поширення]] до БШП у спосіб, який став стандартним.<ref name="werbos1982">{{Cite book|title=System modeling and optimization|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis|language=en}}</ref><ref name="WERBOS1974">{{Cite journal|last=Werbos|first=P.|date=1974|title=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences |url=https://www.researchgate.net/publication/35657389 |journal=Harvard University |access-date=12 червня 2017 |language=en}}</ref><ref name="DLhistory" /> 1985 року [[Девід Румельхарт]] зі співавт. опублікували експериментальний аналіз цієї методики.<ref name="rumelhart1986">Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "[https://apps.dtic.mil/dtic/tr/fulltext/u2/a164453.pdf Learning Internal Representations by Error Propagation] {{Webarchive|url=https://web.archive.org/web/20221013070443/https://apps.dtic.mil/dtic/tr/fulltext/u2/a164453.pdf |date=2022-10-13 }}". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986. {{ref-en}}</ref>

Ахітектури глибокого навчання для [[Згорткова нейронна мережа|згорткових нейронних мереж]] (ЗНМ, {{lang-en|convolutional neural networks, CNN}}) зі згортковими шарами та шарами зниження роздільності почалися з [[неокогнітрон]]а, запропонованого {{нп|Куніхіко Фукусіма|Куніхіко Фукусімою||Kunihiko Fukushima}} 1980 року.<ref name="FUKU1980">{{cite journal | last1 = Fukushima | first1 = K. | year = 1980 | title = Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position | journal = Biol. Cybern. | volume = 36 | issue = 4| pages = 193–202 | doi=10.1007/bf00344251 | pmid=7370364| s2cid = 206775608| language = en }}</ref> 1969 року він також запропонував [[Передавальна функція штучного нейрона|передавальну функцію]] ''[[ReLU]]'' ({{lang-en|rectified linear unit}}, випрямлений лінійний вузол).<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=Visual feature extraction by a multilayered network of analog threshold elements |journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225 |language=en}}</ref><ref name="DLhistory" /> Цей випрямляч ({{lang-en|rectifier}}) став найпопулярнішою передавальною функцією для ЗНМ та глибокого навчання в цілому.<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=16 жовтня 2017 |title=Searching for Activation Functions |eprint=1710.05941 |class=cs.NE |language=en}}</ref> ЗНМ стали важливим інструментом [[Комп'ютерне бачення|комп'ютерного бачення]].

Термін ''глибоке навчання'' ({{lang-en|Deep Learning}}) у спільноті машинного навчання запровадила 1986 року {{нп|Ріна Дехтер|||Rina Dechter}},<ref name="dechter1986">{{нп|Ріна Дехтер|Rina Dechter||Rina Dechter}} (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.[https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems Online] {{Webarchive|url=https://web.archive.org/web/20160419054654/https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems |date=2016-04-19 }} {{ref-en}}</ref> а для [[Штучна нейронна мережа|штучних нейронних мереж]]&nbsp;— Ігор Айзенберг з колегами у 2000 року в контексті {{нп|Булева мережа|булевих||Boolean network}} порогових нейронів.<ref name=MV_1>{{cite book| title=Multi-Valued and Universal Binary Neurons| language=en| author1=Aizenberg, I.N.| author2=Aizenberg, N.N.| author3=Vandewalle, J.| url=https://link.springer.com/book/10.1007/978-1-4757-3115-6| publisher=Science & Business Media| date=2000| access-date=27 грудня 2023| doi=10.1007/978-1-4757-3115-6| isbn=978-0-7923-7824-2}}</ref><ref>Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005. {{ref-en}}</ref>

1988 року Вей Чжан зі співавт. застосували алгоритм [[Зворотне поширення|зворотного поширення]] до [[Згорткова нейронна мережа|згорткової нейронної мережі]] (спрощений неокогнітрон зі згортковими взаємозв'язками між шарами ознак зображення та останнім повноз'єднаним шаром) для розпізнавання абетки. Вони також запропонували втілення ЗНМ з оптичною обчислювальною системою.<ref name="wz1988">{{cite journal |last=Zhang |first=Wei |date=1988 |title=Shift-invariant pattern recognition neural network and its optical architecture |url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing |journal=Proceedings of Annual Conference of the Japan Society of Applied Physics |language=en}}</ref><ref name="wz1990">{{cite journal |last=Zhang |first=Wei |date=1990 |title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture |url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing |journal=Applied Optics |volume=29 |issue=32 |pages=4790–7 |doi=10.1364/AO.29.004790 |pmid=20577468 |bibcode=1990ApOpt..29.4790Z |language=en}}</ref> 1989 року [[Ян ЛеКун]] зі співавт. застосували [[зворотне поширення]] до ЗНМ з метою [[Розпізнавання рукописного введення|розпізнавання рукописних поштових індексів]] у пошті. Хоч цей алгоритм і працював, тренування вимагало 3 днів.<ref name="LECUN1989">LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition", ''Neural Computation'', 1, pp. 541–551, 1989. {{ref-en}}</ref> Згодом Вей Чжан зі співавт. видозмінили свою модель, видаливши останній повноз'єднаний шар, та застосувавши її для сегментування об'єктів медичних зображень 1991 року,<ref>{{cite journal |last=Zhang |first=Wei |date=1991 |title=Image processing of human corneal endothelium based on a learning network |url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing |journal=Applied Optics |volume=30 |issue=29 |pages=4211–7 |doi=10.1364/AO.30.004211 |pmid=20706526 |bibcode=1991ApOpt..30.4211Z |language=en}}</ref> та для виявляння раку молочної залози на [[мамограма]]х 1994 року.<ref>{{cite journal |last=Zhang |first=Wei |date=1994 |title=Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network |url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing |journal=Medical Physics |volume=21 |issue=4 |pages=517–24 |doi=10.1118/1.597177 |pmid=8058017 |bibcode=1994MedPh..21..517Z |language=en}}</ref> ''LeNet''-5 (1998), 7-рівневу ЗНМ від [[Ян ЛеКун|Яна ЛеКуна]] зі співавт.,<ref name="lecun98">{{cite journal |last=LeCun |first=Yann |author2=Léon Bottou |author3=Yoshua Bengio |author4=Patrick Haffner |title=Gradient-based learning applied to document recognition |journal=Proceedings of the IEEE |year=1998 |volume=86 |issue=11 |pages=2278–2324 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf |access-date=7 жовтня 2016 |doi=10.1109/5.726791 |citeseerx=10.1.1.32.9552|s2cid=14542261|language=en }}</ref> що класифікує цифри, кілька банків застосували для розпізнавання рукописних чисел на чеках, оцифрованих у зображення 32×32 пікселі.

У 1980-х роках [[зворотне поширення]] не працювало добре для глибокого навчання з довгими шляхами розподілу внеску. Щоби подолати цю проблему, [[Юрген Шмідхубер]] (1992) запропонував ієрархію РНМ, попередньо тренованих порівнево [[Самокероване навчання|самокерованим навчанням]].<ref name="schmidhuber1992">{{cite journal |last1=Schmidhuber |first1=Jürgen |year=1992 |title=Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) |url=ftp://ftp.idsia.ch/pub/juergen/chunker.pdf |journal=Neural Computation |volume=4 |issue=2 |pages=234–242 |doi=10.1162/neco.1992.4.2.234 |s2cid=18271205 |language=en |url-status=dead }}</ref> Вона використовує {{нп|передбачувальне кодування|||Predictive coding}} для навчання [[Подання знань|внутрішніх подань]] у кількох самоорганізованих масштабах часу. Це може істотно полегшувати наступне глибоке навчання. Цю ієрархію РНМ можливо ''скласти'' ({{lang-en|collapse}}) в єдину РНМ шляхом {{нп|Дистилювання знань|дистилювання||Knowledge distillation}} ''фрагментувальної'' ({{lang-en|chunker}}) мережі вищого рівня до ''автоматизаторної'' ({{lang-en|automatizer}}) мережі нижчого рівня.<ref name="schmidhuber1992" /><ref name="DLhistory" /> 1993 року фрагментувальник розв'язав завдання глибокого навчання, чия глибина перевищувала 1000.<ref name="schmidhuber1993">{{Cite book |url=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf |title=Habilitation Thesis |last=Schmidhuber |first=Jürgen |year=1993 |language=de |archive-url=https://web.archive.org/web/20210626185737/ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf |archive-date=26 червня 2021 |url-status=dead}}</ref>

1992 року [[Юрген Шмідхубер]] також опублікував ''альтернативу РНМ'' ({{lang-en|alternative to RNNs}}),<ref name="transform1992">{{Cite journal |last1=Schmidhuber|first1=Jürgen|author-link1=Юрген Шмідхубер|date=1 листопада 1992|title=Learning to control fast-weight memories: an alternative to recurrent nets.|url=https://archive.org/details/sim_neural-computation_1992-01_4_1/page/131|journal=Neural Computation|volume=4|issue=1 |pages=131–139|doi=10.1162/neco.1992.4.1.131 |s2cid=16683347 |language=en }}</ref> яку зараз називають ''лінійним [[Трансформер (архітектура глибокого навчання)|трансформером]]'' ({{lang-en|linear Transformer}}) або трансформером з лінеаризованою [[Увага (машинне навчання)|самоувагою]]<ref name="schlag2021" /><ref name="choromanski2020">{{cite arXiv|eprint=2009.14794|class=cs.CL|last1=Choromanski |first1=Krzysztof |last2=Likhosherstov |first2=Valerii |last3=Dohan |first3=David |last4=Song |first4=Xingyou |last5=Gane |first5=Andreea |last6=Sarlos |first6=Tamas |last7=Hawkins |first7=Peter |last8=Davis |first8=Jared |last9=Mohiuddin |first9=Afroz |last10=Kaiser |first10=Lukasz |last11=Belanger |first11=David |last12=Colwell |first12=Lucy |last13=Weller |first13=Adrian |title=Rethinking Attention with Performers |year=2020 |language=en }}</ref><ref name="DLhistory" /> (за винятком оператора нормування). Він навчається ''внутрішніх центрів уваги'' ({{lang-en|internal spotlights of attention}}):<ref name="attention1993">{{Cite conference | last1=Schmidhuber|first1=Jürgen|author-link1=Юрген Шмідхубер|title= Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets|publisher=Springer|date=1993 |pages=460–463 |book-title=ICANN 1993 |language=en}}</ref> повільна [[нейронна мережа прямого поширення]] вчиться за допомогою [[Градієнтний спуск|градієнтного спуску]] керувати швидкими вагами іншої нейронної мережі через [[Діадний добуток|тензорні добутки]] самопороджуваних шаблонів збудження ''FROM'' і ''TO'' (званих тепер ''ключем'', {{lang-en|key}}, та ''значенням'', {{lang-en|value}}, [[Увага (машинне навчання)|самоуваги]]).<ref name="schlag2021">{{Cite conference | last1=Schlag|first1=Imanol| last2=Irie|first2=Kazuki| last3=Schmidhuber|first3=Jürgen|author-link1=Юрген Шмідхубер|title=  Linear Transformers Are Secretly Fast Weight Programmers|publisher=Springer|date=2021 |pages=9355–9366 |book-title= ICML 2021 |language= en}}</ref> Це ''відображення уваги'' ({{lang-en|attention mapping}}) швидких ваг застосовують до шаблону запиту.

Сучасний [[Трансформер (архітектура глибокого навчання)|трансформер]] ({{lang-en|Transformer}}) запропонували Ашиш Васвані зі співавт. у своїй праці 2017 року «Увага&nbsp;— це все, що вам треба».<ref name="vaswani2017">{{cite arXiv|last8=Polosukhin|first8=Illia|last7=Kaiser|first7=Lukasz|last6=Gomez|first6=Aidan N.|last5=Jones|first5=Llion|last4=Uszkoreit|first4=Jakob|last3=Parmar|first3=Niki|last2=Shazeer|first2=Noam|last1=Vaswani|first1=Ashish|date=2017-06-12|title=Attention Is All You Need|eprint=1706.03762|class=cs.CL|language=en}}</ref> Він поєднує це з оператором [[Нормована експоненційна функція|''softmax'']] та проєкційною матрицею.<ref name="DLhistory" /> Трансформери все частіше обирають за модель для [[Обробка природної мови|обробки природної мови]].<ref name="wolf2020">{{cite book|last1=Wolf|first1=Thomas|last2=Debut|first2=Lysandre|last3=Sanh|first3=Victor|last4=Chaumond|first4=Julien|last5=Delangue|first5=Clement|last6=Moi|first6=Anthony|last7=Cistac|first7=Pierric|last8=Rault|first8=Tim|last9=Louf|first9=Remi|last10=Funtowicz|first10=Morgan|last11=Davison|first11=Joe|last12=Shleifer|first12=Sam|last13=von Platen|first13=Patrick|last14=Ma|first14=Clara|last15=Jernite|first15=Yacine|last16=Plu|first16=Julien|last17=Xu|first17=Canwen|last18=Le Scao|first18=Teven|last19=Gugger|first19=Sylvain|last20=Drame|first20=Mariama|last21=Lhoest|first21=Quentin|last22=Rush|first22=Alexander|title=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations|chapter=Transformers: State-of-the-Art Natural Language Processing|year=2020|pages=38–45|doi=10.18653/v1/2020.emnlp-demos.6|s2cid=208117506|language=en}}</ref> Багато сучасних великих мовних моделей, таких як ''[[ChatGPT]]'', [[GPT-4|''GPT''-4]] та [[BERT (модель мови)|''BERT'']], використовують саме його. Трансформери також все частіше використовують у [[Комп'ютерне бачення|комп'ютернім баченні]].<ref>{{cite web |last1=He |first1=Cheng |title=Transformer in CV |url=https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e |website=Transformer in CV |date=31 грудня 2021 |publisher=Towards Data Science |language=en}}</ref>

1991 року [[Юрген Шмідхубер]] також опублікував змагальні нейронні мережі ({{lang-en|adversarial neural networks}}), які змагаються між собою у формі [[Антагоністична гра|антагоністичної гри]], де виграш однієї мережі є програшем іншої.<ref name="curiosity1991">{{cite conference| title = A possibility for implementing curiosity and boredom in model-building neural controllers | last1 = Schmidhuber | first1 = Jürgen | author-link = Юрген Шмідхубер | date = 1991 | publisher = MIT Press/Bradford Books| book-title = Proc. SAB'1991| pages = 222–227| language = en}}</ref><ref name="fun2010">{{cite journal|last1=Schmidhuber|first1=Jürgen|author-link=Юрген Шмідхубер|year=2010|title=Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)|journal= IEEE Transactions on Autonomous Mental Development|volume=2|issue=3|pages=230–247|doi=10.1109/TAMD.2010.2056368 |s2cid=234198 |language=en }}</ref><ref name="gancurpm2020">{{Cite journal|last=Schmidhuber|first=Jürgen| author-link = Юрген Шмідхубер |date=2020|title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)|journal=Neural Networks |language=en|volume=127|pages=58–66|doi=10.1016/j.neunet.2020.04.008 |pmid=32334341 |arxiv=1906.04493 |s2cid=216056336 |language=en }}</ref> Перша мережа є [[Породжувальна модель|породжувальною моделлю]], яка моделює [[розподіл імовірності]] над образами на виході. Друга мережа навчається [[Градієнтний спуск|градієнтним спуском]] передбачувати реакцію середовища на ці образи. Це було названо «штучною цікавістю» ({{lang-en|"artificial curiosity"}}). 2014 року цей принцип використали у [[Породжувальна змагальна мережа|породжувальній змагальній мережі]] ({{lang-en|generative adversarial network, GAN}}) [[Ян Ґудфелоу]] зі співавт.<ref name="GANnips">{{cite conference|last1=Goodfellow|first1=Ian|last2=Pouget-Abadie|first2=Jean|last3=Mirza|first3=Mehdi|last4=Xu|first4=Bing|last5=Warde-Farley|first5=David|last6=Ozair|first6=Sherjil|last7=Courville|first7=Aaron|last8=Bengio|first8=Yoshua|year=2014|title=Generative Adversarial Networks|url=https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|conference=Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014)|pages=2672–2680|access-date=20 серпня 2019|archive-date=22 листопада 2019|archive-url=https://web.archive.org/web/20191122034612/http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|url-status=live|language=en}}</ref> Тут реакція навколишнього середовища дорівнює 1 або 0 залежно від того, чи належить вихід першої мережі до заданого набору. Це можливо використовувати для створення реалістичних [[дипфейк]]ів.<ref>{{Cite web|url=https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|title=Prepare, Don't Panic: Synthetic Media and Deepfakes|publisher=witness.org|access-date=25 листопада 2020|archive-date=2 грудня 2020|archive-url=https://web.archive.org/web/20201202231744/https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|url-status=live|language=en}}</ref> Відмінної якості зображення досягла ''{{нп|StyleGAN}}'' ''[[Nvidia]]'' (2018)<ref name="SyncedReview2018">{{Cite web |url=https://syncedreview.com/2018/12/14/gan-2-0-nvidias-hyperrealistic-face-generator/ |title=GAN 2.0: NVIDIA's Hyperrealistic Face Generator |date=14 грудня 2018 |website=SyncedReview.com|access-date=3 жовтня 2019|language=en}}</ref> на основі прогресивної породжувальної змагальної мережі ({{lang-en|Progressive GAN}}) Теро Карраса зі співавт.<ref name="progressiveGAN2017">{{cite arXiv| title=Progressive Growing of GANs for Improved Quality, Stability, and Variation| last1=Karras |first1=T. |last2=Aila |first2=T. |last3=Laine |first3=S. |last4=Lehtinen |first4=J. | date=26 лютого 2018| class=cs.NE | eprint=1710.10196 |language=en}}</ref> Тут породжувач вирощується від малого до великого пірамідним чином.

Дипломну працю {{нп|Зепп Хохрайтер|Зеппа Хохрайтера||Sepp Hochreiter}} (1991)<ref name="HOCH1991">S. Hochreiter., "[http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen]". {{Webarchive|url=https://web.archive.org/web/20150306075401/http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf |date=2015-03-06 }}. ''Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber'', 1991. {{ref-de}}</ref> його керівник [[Юрген Шмідхубер|Шмідхубер]] назвав «одним із найважливіших документів в історії машинного навчання».<ref name="DLhistory" /> Він не лише випробував [[нейронний стискач історії]],<ref name="schmidhuber1992" /> але й виявив та проаналізував [[Проблема зникання градієнту|проблему зникання градієнта]].<ref name="HOCH1991" /><ref name="HOCH2001">{{cite book|chapter-url={{google books |plainurl=y |id=NWOcMVA64aAC}}|title=A Field Guide to Dynamical Recurrent Networks|last=Hochreiter|first=S.|display-authors=etal|date=15 січня 2001|publisher=John Wiley & Sons|isbn=978-0-7803-5369-5|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|editor-last2=Kremer|editor-first2=Stefan C.|editor-first1=John F.|editor-last1=Kolen|language=en}}</ref> Для розв'язання цієї проблеми Хохрайтер запропонував рекурентні [[Залишкова нейронна мережа|залишкові]] зв'язки. Це призвело до появи методу глибокого навчання, званого [[Довга короткочасна пам'ять|довгою короткочасною пам'яттю]] (ДКЧП, {{lang-en|long short-term memory, LSTM}}), опублікованого 1997 року.<ref name=":0">{{Cite journal|last1=Hochreiter|first1=Sepp|last2=Schmidhuber|first2=Jürgen|s2cid=1915014|date=1 листопада 1997|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|issn=0899-7667|pmid=9377276|language=en}}</ref> [[Рекурентна нейронна мережа|Рекурентні нейронні мережі]] ДКЧП можуть навчатися задач «дуже глибокого навчання»<ref name="SCHIDHUB" /> з довгими шляхами розподілу внеску, які вимагають спогадів про події, що відбулися тисячі дискретних часових кроків тому. «Стандартну ДКЧП» ({{lang-en|vanilla LSTM}}) із забувальним вентилем запропонували 1999 року {{нп|Фелікс Ґерс|||Felix Gers}}, [[Юрген Шмідхубер|Шмідхубер]] та Фред Каммінс.<ref name="lstm1999">{{Cite book |doi = 10.1049/cp:19991218|chapter = Learning to forget: Continual prediction with LSTM|title = 9th International Conference on Artificial Neural Networks: ICANN '99|volume = 1999|pages = 850–855|year = 1999|last1 = Gers|first1 = Felix| last2 = Schmidhuber|first2 = Jürgen| last3 = Cummins|first3 = Fred| isbn = 0-85296-721-7| language = en}}</ref> [[Довга короткочасна пам'ять|ДКЧП]] стала найцитованішою нейронною мережею XX століття.<ref name="DLhistory" /> 2015 року Рупеш Кумар Шрівастава, Клаус Ґрефф і Шмідхубер використали принцип [[Довга короткочасна пам'ять|ДКЧП]] для створення [[Магістралева мережа|магістралевої мережі]], [[Нейронна мережа прямого поширення|нейронної мережі прямого поширення]] з сотнями шарів, набагато глибшої за попередні.<ref name="highway2015">{{cite arXiv|last1=Srivastava|first1=Rupesh Kumar|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Jürgen|title=Highway Networks|eprint=1505.00387|date=2 травня 2015|class=cs.LG|language=en}}</ref><ref name="highway2015neurips">{{cite journal|last1=Srivastava|first1=Rupesh K|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Jürgen|title=Training Very Deep Networks|journal=Advances in Neural Information Processing Systems |date=2015|volume=28|pages=2377–2385|url=http://papers.nips.cc/paper/5850-training-very-deep-networks|publisher=Curran Associates, Inc.|language=en}}</ref> 7 місяців потому, Каймін Хе, Сян'ю Чжан; Шаоцін Рен та Цзянь Сунь виграли {{нп|Змагання ImageNet|змагання ''ImageNet''||ImageNet Competition}} 2015 із відкритовентильним або безвентильним варіантом [[Магістралева мережа|магістралевої мережі]], названим [[Залишкова нейронна мережа|за́лишковою нейронною мережею]] ({{lang-en|Residual neural network}}).<ref name="resnet2015">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2016|title=Deep Residual Learning for Image Recognition|url=https://ieeexplore.ieee.org/document/7780459|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|location=Las Vegas, NV, USA|publisher=IEEE|pages=770–778|arxiv=1512.03385|doi=10.1109/CVPR.2016.90|isbn=978-1-4673-8851-1|language=en}}</ref> Вона стала найцитованішою нейронною мережею XXI століття.<ref name="DLhistory" />

1994 року Андре де Карвальо разом з Майком Фейргерстом та Девідом Біссетом опублікували експериментальні результати багатошарової булевої нейронної мережі, відомої також як безвагова нейронна мережа ({{lang-en|weightless neural network}}), складеної з 3-шарового самоорганізовуваного нейромережного модуля виділяння ознак ({{lang-en|SOFT}}), з багатошаровим класифікаційним нейромережним модулем ({{lang-en|GSN}}) за ним, тренованих незалежно. Кожен шар у модулі виділяння ознак виділяв ознаки все вищої складності відносно попереднього шару.<ref>{{Cite journal |title=An integrated Boolean neural network for pattern classification |url=https://archive.org/details/sim_pattern-recognition-letters_1994-08_15_8/page/807 |journal=Pattern Recognition Letters |date=8 серпня 1994 |pages=807–813 |volume=15 |issue=8 |doi=10.1016/0167-8655(94)90009-4 |first1=Andre C. L. F. |last1=de Carvalho |first2 = Mike C. |last2=Fairhurst |first3=David |last3 = Bisset|bibcode=1994PaReL..15..807D|language=en }}</ref>

1995 року {{нп|Брендан Фрей|||Brendan Frey}} продемонстрував можливість натренувати (протягом двох днів) мережу із шести повноз'єднаних шарів та кількох сотень прихованих вузлів, використовуючи {{нп|алгоритм неспання — сну|||Wake-sleep algorithm}}, розроблений спільно з {{нп|Пітер Даян|Пітером Даяном||Peter Dayan}} та [[Джефрі Гінтон|Гінтоном]].<ref>{{Cite journal|title = The wake-sleep algorithm for unsupervised neural networks |url = https://archive.org/details/sim_science_1995-05-26_268_5214/page/1158 |journal = Science|date = 26 травня 1995|pages = 1158–1161|volume = 268|issue = 5214|doi = 10.1126/science.7761831|pmid = 7761831|first1 = Geoffrey E.|last1 = Hinton|first2 = Peter|last2 = Dayan|first3 = Brendan J.|last3 = Frey|first4 = Radford|last4 = Neal|bibcode = 1995Sci...268.1158H| s2cid=871473| language=en }}</ref>

З 1997 року Свен Бенке розширив ієрархічний згортковий підхід прямого поширення у нейронній піраміді абстракцій ({{lang-en|Neural Abstraction Pyramid}})<ref>{{cite book
 | last = Behnke | first = Sven
 | doi = 10.1007/b11963
 | isbn = 3-540-40722-7
 | publisher = Springer
 | series = Lecture Notes in Computer Science
 | title = Hierarchical Neural Networks for Image Interpretation
 | volume = 2766
 | year = 2003| s2cid = 1304548| language = en
 }}</ref> за допомогою бічних та зворотних з'єднань, щоби гнучко включати контекст у рішення та ітеративно розв'язувати локальні неоднозначності.

У 1990-х і 2000-х роках популярністю користувалися простіші моделі, які використовують сконструйовані вручну ознаки для конкретних завдань, такі як [[Фільтр Ґабора|фільтри Ґабора]] ({{lang-en|Gabor filters}}) та [[Опорновекторна машина|опорновекторні машини]] (ОВМ, {{lang-en|support vector machines, SVM}}), через обчислювальну витратність [[Штучна нейронна мережа|штучних нейронних мереж]] (ШНМ) та брак розуміння того, як мозок сплітає свої біологічні мережі.

Як неглибоке, так і глибоке навчання (наприклад, рекурентні мережі) ШНМ для [[розпізнавання мовлення]] досліджували протягом багатьох років.<ref>{{Cite journal|last1=Morgan|first1=Nelson|last2=Bourlard |first2=Hervé |last3=Renals |first3=Steve |last4=Cohen |first4=Michael|last5=Franco |first5=Horacio |date=1 серпня 1993 |title=Hybrid neural network/hidden markov model systems for continuous speech recognition |journal=International Journal of Pattern Recognition and Artificial Intelligence|volume=07|issue=4|pages=899–916|doi=10.1142/s0218001493000455|issn=0218-0014|language=en}}</ref><ref name="Robinson1992">{{Cite journal|last=Robinson|first=T.|author-link=Тоні Робінсон (розпізнавання мовлення)|date=1992|title=A real-time recurrent error propagation network word recognition system|url=http://dl.acm.org/citation.cfm?id=1895720|journal=ICASSP|pages=617–620|isbn=9780780305328|series=Icassp'92|access-date=2017-06-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123135/https://dl.acm.org/doi/10.5555/1895550.1895720|url-status=live|language=en}}</ref><ref>{{Cite journal|last1=Waibel|first1=A.|last2=Hanazawa|first2=T.|last3=Hinton|first3=G.|last4=Shikano|first4=K.|last5=Lang|first5=K. J.|date=March 1989|title=Phoneme recognition using time-delay neural networks|journal=IEEE Transactions on Acoustics, Speech, and Signal Processing|volume=37|issue=3|pages=328–339|doi=10.1109/29.21701|issn=0096-3518|hdl=10338.dmlcz/135496|s2cid=9563026 |url=http://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf|access-date=2019-09-24|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427001446/https://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf|url-status=live|language=en}}</ref> Ці методи ніколи не перевершували технологію неоднорідних внутрішньо-ручних гауссових {{нп|Сумішева модель|сумішевих моделей||Mixture model}}/[[Прихована марковська модель|прихованих марковських моделей]] (ГСМ-ПММ, {{lang-en|GMM-HMM}}) на основі породжувальних моделей мовлення, тренованих [[Розрізнювальна модель|розрізнювально]].<ref name="Baker2009">{{cite journal | last1 = Baker | first1 = J. | last2 = Deng | first2 = Li | last3 = Glass | first3 = Jim | last4 = Khudanpur | first4 = S. | last5 = Lee | first5 = C.-H. | last6 = Morgan | first6 = N. | last7 = O'Shaughnessy | first7 = D. | year = 2009 | title = Research Developments and Directions in Speech Recognition and Understanding, Part 1 | journal = IEEE Signal Processing Magazine | volume = 26 | issue = 3| pages = 75–80 | doi=10.1109/msp.2009.932166| bibcode = 2009ISPM...26...75B | hdl = 1721.1/51891 | s2cid = 357467 | language = en }}</ref> Було проаналізовано основні труднощі, включно зі зниканням градієнта<ref name="HOCH1991" /> й слабкою структурою часової кореляції в нейронних передбачувальних моделях.<ref name="Bengio1991">{{Cite web|url=https://www.researchgate.net/publication/41229141|title=Artificial Neural Networks and their Application to Speech/Sequence Recognition|last=Bengio|first=Y.|date=1991|publisher=McGill University Ph.D. thesis|access-date=2017-06-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123131/https://www.researchgate.net/publication/41229141_Artificial_neural_networks_and_their_application_to_sequence_recognition|url-status=live|language=en}}</ref><ref name="Deng1994">{{cite journal | last1 = Deng | first1 = L. | last2 = Hassanein | first2 = K. | last3 = Elmasry | first3 = M. | year = 1994 | title = Analysis of correlation structure for a neural predictive model with applications to speech recognition | url = https://archive.org/details/sim_neural-networks_1994_7_2/page/331 | journal = Neural Networks | volume = 7 | issue = 2| pages = 331–339 | doi=10.1016/0893-6080(94)90027-2 | language=en}}</ref> Додатковими труднощами були брак тренувальних даних та обмежена обчислювальна потужність. Більшість дослідників [[розпізнавання мовлення]] відійшли від нейронних мереж, щоби займатися породжувальним моделюванням. Винятком був ''[[SRI International]]'' наприкінці 1990-х років. Фінансований агенціями уряду США [[Агентство національної безпеки|АНБ]] та [[Агентство передових оборонних дослідницьких проєктів США|''DARPA'']], ''SRI'' вивчав глибокі нейронні мережі в розпізнаванні мовлення та [[Розпізнавання мовця|мовця]]. Команда розпізнавання мовців на чолі з {{нп|Ларрі Гек|Ларрі Геком||Larry Heck}} повідомила про значний успіх із глибокими нейронними мережами в обробці мовлення на оцінюванні розпізнавання мовців [[Національний інститут стандартів і технології|Національного інституту стандартів і технологій]] 1998 року.<ref name="Doddington2000">{{cite journal | last1 = Doddington | first1 = G. | last2 =  Przybocki | first2 = M. | last3 = Martin | first3 = A. | last4 = Reynolds | first4 = D. | year = 2000 | title = The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective | journal = Speech Communication | volume = 31 | issue = 2| pages = 225–254 | doi=10.1016/S0167-6393(99)00080-1 | language=en}}</ref> Потім глибоку нейронну мережу ''SRI'' було розгорнуто в ''Nuance Verifier'', що стало першим великим промисловим застосуванням глибокого навчання.<ref name="Heck2000">{{cite journal | last1 = Heck | first1 = L. | last2 = Konig | first2 = Y. | last3 = Sonmez | first3 = M. | last4 = Weintraub | first4 = M. | year = 2000 | title = Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design | journal = Speech Communication | volume = 31 | issue = 2| pages = 181–192 | doi=10.1016/s0167-6393(99)00077-1 | language=en}}</ref> Принцип піднесення «сирих» ознак над ручною оптимізацією було вперше успішно досліджено в архітектурі глибокого автокодувальника на «сирій» спектрограмі або ознаках лінійного {{нп|Блок фільтрів|блока фільтрів||Filter bank}} наприкінці 1990-х,<ref name="Heck2000" /> що показало його перевагу над [[MFCC|мел-кепстровими]] ознаками, які містять етапи незмінного перетворення зі спектрограм. Сирі ознаки мовлення, [[Форма хвилі|хвилеформи]], згодом дали чудові великомасштабні результати.<ref>{{Cite web|url=https://www.researchgate.net/publication/266030526|title=Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)|website=ResearchGate|access-date=14 червня 2017|archive-date=9 травня 2021|archive-url=https://web.archive.org/web/20210509123218/https://www.researchgate.net/publication/266030526_Acoustic_Modeling_with_Deep_Neural_Networks_Using_Raw_Time_Signal_for_LVCSR|url-status=live|language=en}}</ref>

Розпізнавання мовлення перейняла [[Довга короткочасна пам'ять|ДКЧП]]. 2003 року ДКЧП на певних завданнях почала конкурувати з традиційними розпізнавачами мовлення.<ref name="graves2003">{{Cite web|url=ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|title=Biologically Plausible Speech Recognition with LSTM Neural Nets|last1=Graves|first1=Alex|last2=Eck|first2=Douglas|date=2003|website=1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland|pages=175–184|last3=Beringer|first3=Nicole|last4=Schmidhuber|first4=Jürgen|access-date=2016-04-09|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123139/ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|url-status=live|language=en}}</ref> 2006 року {{нп|Алекс Ґрейвс (інформатик)|Алекс Ґрейвс||Alex Graves (computer scientist)}}, Сантьяго Фернандес, Фаустіно Ґомес та Шмідхубер поєднали її з {{нп|Нейромережна часова класифікація|нейромережною часовою класифікацією||Connectionist temporal classification}} (НЧК, {{lang-en|connectionist temporal classification, CTC}})<ref name="graves2006">{{Cite journal|last1=Graves|first1=Alex|author1-link=Алекс Ґрейвс (інформатик) | last2=Fernández|first2=Santiago|last3=Gomez|first3=Faustino|last4=Schmidhuber|first4=Jürgen|author4-link=Юрген Шмідхубер|  date=2006|title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks|journal=Proceedings of the International Conference on Machine Learning, ICML 2006|pages=369–376|citeseerx=10.1.1.75.6306|language=en}}</ref> у стеках РНМ ДКЧП.<ref name="fernandez2007keyword">Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). [https://mediatum.ub.tum.de/doc/1289941/file.pdf An application of recurrent neural networks to discriminative keyword spotting] {{Webarchive|url=https://web.archive.org/web/20181118164457/https://mediatum.ub.tum.de/doc/1289941/file.pdf |date=2018-11-18 }}. Proceedings of ICANN (2), pp. 220–229. {{ref-en}}</ref> 2015 року в розпізнаванні мовлення ''Google'', як було повідомлено, стався різкий 49-відсотковий стрибок продуктивності завдяки НЧК-тренованій ДКЧП, яку вони зробили доступною через [[Google Voice Search|голосовий пошук ''Google'']].<ref name="sak2015">{{Cite web|url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|last1=Sak|first1=Haşim|last2=Senior|first2=Andrew|date=September 2015|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan|access-date=2016-04-09|archive-date=2016-03-09|archive-url=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|url-status=live|language=en}}</ref>

Вплив глибокого навчання в промисловості почався на початку 2000-х років, коли, за словами Яна ЛеКуна, ЗНМ вже обробляли приблизно від 10&nbsp;% до 20&nbsp;% усіх чеків, виписуваних у США.<ref name="lecun2016slides">[[Ян ЛеКун|Yann LeCun]] (2016). Slides on Deep Learning [https://indico.cern.ch/event/510372/ Online] {{Webarchive|url=https://web.archive.org/web/20160423021403/https://indico.cern.ch/event/510372/ |date=2016-04-23 }} {{ref-en}}</ref> Промислові застосування глибокого навчання для широкомасштабного розпізнавання мовлення почалися приблизно 2010 року.

2006 року публікації [[Джефрі Гінтон|Джеффа Гінтона]], {{нп|Руслан Салахутдінов|Руслана Салахутдінова||Russ Salakhutdinov}}, Осіндеро та {{нп|Ю Хуай Тее|Тее||Yee Whye Teh}}<ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=1 жовтня 2007|title=Learning multiple layers of representation|url=http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3|journal=Trends in Cognitive Sciences|volume=11|issue=10|pages=428–434|doi=10.1016/j.tics.2007.09.004|issn=1364-6613|pmid=17921042|s2cid=15066318|access-date=12 червня 2017|archive-date=11 жовтня 2013|archive-url=https://web.archive.org/web/20131011071435/http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3|url-status=live|language=en}}</ref><ref name="hinton06">{{Cite journal | last1 = Hinton | first1 = G. E. | author-link1 = Джефрі Гінтон | last2 = Osindero | first2 = S. | last3 = Teh | first3 = Y. W. | doi = 10.1162/neco.2006.18.7.1527 | title = A Fast Learning Algorithm for Deep Belief Nets | journal = {{нп|Neural Computation}} | volume = 18 | issue = 7 | pages = 1527–1554 | year = 2006 | pmid = 16764513 | s2cid = 2309950 | url = http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf | access-date = 2011-07-20 | archive-date = 2015-12-23 | archive-url = https://web.archive.org/web/20151223164129/http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf | url-status = live | language = en  }}</ref><ref name="bengio2012">{{cite arXiv |last=Bengio |first=Yoshua |author-link=Йошуа Бенжіо |eprint=1206.5533 |title=Practical recommendations for gradient-based training of deep architectures |class=cs.LG|year=2012|language=en }}</ref> показали, як багатошарову [[Нейронна мережа прямого поширення|нейронну мережу прямого поширення]] можливо ефективно попередньо тренувати шар за шаром, розглядаючи кожен шар по черзі як некеровану [[Обмежена машина Больцмана|обмежену машину Больцмана]], а потім [[Тонке налаштовування (глибоке навчання)|тонко налаштовувати]] її за допомогою керованого [[Зворотне поширення|зворотного поширення]].<ref name="HINTON2007">G. E. Hinton., "[http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf Learning multiple layers of representation]". {{Webarchive|url=https://web.archive.org/web/20180522112408/http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf |date=2018-05-22 }}. ''Trends in Cognitive Sciences'', 11, pp. 428–434, 2007. {{ref-en}}</ref> Ці праці стосувалися ''навчання'' для ''глибоких мереж переконань.''

Мотивом семінару ''NIPS'' 2009 року з глибокого навчання для розпізнавання мовлення були обмеження глибоких породжувальних моделей мовлення та можливість того, що завдяки потужнішому апаратному забезпеченню та великомасштабним наборам даних глибокі нейронні мережі (ГНМ, {{lang-en|deep neural nets, DNN}}) можуть стати практичними. Вважалося, що попереднє тренування ГНМ за допомогою породжувальних моделей глибоких мереж переконань (ГМП, {{lang-en|deep belief nets, DBN}}) дозволить подолати основні труднощі нейронних мереж. Проте було виявлено, що заміна попереднього тренування великими обсягами тренувальних даних для безпосереднього [[Зворотне поширення|зворотного поширення]] при використанні ГНМ з великими контекстнозалежними шарами виходу призводить до різко нижчих рівнів похибок, ніж у гауссової сумішевої моделі (ГСМ)/прихованої марковської моделі (ПММ), що була на рівні останніх досягнень на той час, а також ніж у передовіших систем на основі породжувальних моделей.<ref name="HintonDengYu2012">{{cite journal | last1 = Hinton | first1 = G. | last2 = Deng | first2 = L. | last3 = Yu | first3 = D. | last4 = Dahl | first4 = G. | last5 = Mohamed | first5 = A. | last6 = Jaitly | first6 = N. | last7 = Senior | first7 = A. | last8 = Vanhoucke | first8 = V. | last9 = Nguyen | first9 = P. | last10 = Sainath | first10 = T. | author10-link = Тара Сайнат | last11 = Kingsbury | first11 = B. | year = 2012 | title =  Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups| journal = IEEE Signal Processing Magazine | volume = 29 | issue = 6| pages = 82–97 | doi=10.1109/msp.2012.2205597 | bibcode = 2012ISPM...29...82H| s2cid = 206485943| language = en }}</ref> Природа похибок розпізнавання, породжуваних цими двома типами систем, характерно відрізнялася,<ref name="ReferenceICASSP2013" /> пропонуючи технічні прояснення щодо того, як інтегрувати глибоке навчання в наявну високоефективну систему декодування мовлення в реальному часі, розгорнуту всіма основними системами розпізнавання мовлення.<ref name="BOOK2014" /><ref name="ReferenceA">{{cite book|last2=Deng|first2=L.|date=2014|title=Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer)|url={{google books |plainurl=y |id=rUBTBQAAQBAJ}}|isbn=978-1-4471-5779-3|last1=Yu|first1=D.|publisher=Springer|language=en }}</ref><ref>{{cite web|title=Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research|url=https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|website=Microsoft Research|date=3 грудня 2015|access-date=16 березня 2018|archive-date=16 березня 2018|archive-url=https://web.archive.org/web/20180316084821/https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|url-status=live|language=en}}</ref> Аналіз близько 2009—2010 років, порівнюючи ГСМ (та інші породжувальні моделі мовлення) з моделями ГНМ, стимулював перші промислові інвестиції в глибоке навчання для розпізнавання мовлення.<ref name="ReferenceICASSP2013" /> Цей аналіз було зроблено з порівнянною продуктивністю (менше 1,5&nbsp;% у рівні похибок) між розрізнювальними ГНМ та породжувальними моделями.<ref name="HintonDengYu2012" /><ref name="ReferenceICASSP2013">{{cite web| last1=Deng| first1=L.| last2=Hinton| first2=G.| last3=Kingsbury| first3=B.| date=травень 2013| title=New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)| url=https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf| publisher=Microsoft| access-date=27 грудня 2023| archive-date=2017-09-26| archive-url=https://web.archive.org/web/20170926190920/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf| url-status=live|language=en}}</ref><ref name="interspeech2014Keynote">{{Cite web|url=https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|title=Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'|last=Li|first=Deng|date=September 2014|website=Interspeech|access-date=2017-06-12|archive-date=2017-09-26|archive-url=https://web.archive.org/web/20170926190732/https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|url-status=live|language=en}}</ref> 2010 року дослідники розширили глибоке навчання від ''{{нп|TIMIT}}'' до великословникового розпізнавання мовлення, застосувавши великі шари виходу ГНМ на основі контекстнозалежних станів ПММ, побудованих за допомогою [[Дерево рішень|дерев рішень]].<ref name="Roles2010">{{cite journal|last1=Yu|first1=D.|last2=Deng|first2=L.|date=2010|title=Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition|url=https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/|journal=NIPS Workshop on Deep Learning and Unsupervised Feature Learning|access-date=2017-06-14|archive-date=2017-10-12|archive-url=https://web.archive.org/web/20171012095148/https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/|url-status=live|language=en}}</ref><ref>{{Cite journal|last1=Seide|first1=F.|last2=Li|first2=G.|last3=Yu|first3=D.|date=2011|title=Conversational speech transcription using context-dependent deep neural networks|url=https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks|journal=Interspeech|pages=437–440|doi=10.21437/Interspeech.2011-169|s2cid=398770 |access-date=2017-06-14|archive-date=2017-10-12|archive-url=https://web.archive.org/web/20171012095522/https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks/|url-status=live|language=en}}</ref><ref>{{Cite journal|last1=Deng|first1=Li|last2=Li|first2=Jinyu|last3=Huang|first3=Jui-Ting|last4=Yao|first4=Kaisheng|last5=Yu|first5=Dong|last6=Seide|first6=Frank|last7=Seltzer|first7=Mike|last8=Zweig|first8=Geoff|last9=He|first9=Xiaodong|date=1 травня 2013|title=Recent Advances in Deep Learning for Speech Research at Microsoft|url=https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/|journal=Microsoft Research|access-date=14 червня 2017|archive-date=12 жовтня 2017|archive-url=https://web.archive.org/web/20171012044053/https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/|url-status=live|language=en}}</ref><ref name="ReferenceA" />

Глибоке навчання є частиною систем рівня останніх досягнень у різних дисциплінах, зокрема в комп'ютернім баченні та [[Автоматичне розпізнавання мовлення|автоматичному розпізнаванні мовлення]] (АРМ, {{lang-en|automatic speech recognition, ASR}}). Результати на загальновживаних оцінювальних наборах, таких як ''{{нп|TIMIT}}'' (АРМ) та [[MNIST (база даних)|''MNIST'']] ([[класифікування зображень]]), а також низці завдань великословникового розпізнавання мовлення, постійно покращувалися.<ref name="HintonDengYu2012" /><ref>{{Cite book |doi=10.1109/ICCCI50826.2021.9402569|isbn=978-1-7281-5875-4|chapter=Non-linear frequency warping using constant-Q transformation for speech emotion recognition|title=2021 International Conference on Computer Communication and Informatics (ICCCI)|pages=1–4|year=2021|last1=Singh|first1=Premjeet|last2=Saha|first2=Goutam|last3=Sahidullah|first3=Md|arxiv=2102.04029|s2cid=231846518|language=en}}</ref> [[Згорткові нейронні мережі]] (ЗНМ) для АРМ було витіснено НЧК<ref name="graves2006" /> для [[Довга короткочасна пам'ять|ДКЧП]],<ref name=":0" /><ref name="sak2015" /><ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last1=Sak|first1=Hasim|last2=Senior|first2=Andrew|date=2014|last3=Beaufays|first3=Francoise|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=24 квітня 2018|url-status=dead|language=en}}</ref><ref name="liwu2015">{{cite arXiv |eprint=1410.4281|last1=Li|first1=Xiangang|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|last2=Wu|first2=Xihong|class=cs.CL|year=2014|langyage=en}}</ref><ref name="zen2015">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis|last1=Zen|first1=Heiga|last2=Sak|first2=Hasim|date=2015|website=Google.com|publisher=ICASSP|pages=4470–4474|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|url-status=live|language=en}}</ref> але в комп'ютернім баченні вони успішніші.

Удосконалення апаратного забезпечення відновило інтерес до глибокого навчання. 2009 року ''[[Nvidia]]'' брала участь у так званому «великому вибуху» глибокого навчання, «оскільки нейронні мережі глибокого навчання тренували за допомогою [[Графічний процесор|графічних процесорів]] (ГП) ''Nvidia''».<ref>{{cite web|url=https://venturebeat.com/2016/04/05/nvidia-ceo-bets-big-on-deep-learning-and-vr/|title=Nvidia CEO bets big on deep learning and VR|date=5 квітня 2016|publisher=[[Venture Beat]]|access-date=21 квітня 2017|archive-date=25 листопада 2020|archive-url=https://web.archive.org/web/20201125202428/https://venturebeat.com/2016/04/05/nvidia-ceo-bets-big-on-deep-learning-and-vr/|url-status=live|language=en}}</ref> Того року [[Ендрю Ин]] визначив, що ГП можуть підвищити швидкість систем глибокого навчання приблизно в 100 разів.<ref>{{cite news|url=https://www.economist.com/news/special-report/21700756-artificial-intelligence-boom-based-old-idea-modern-twist-not|title=From not working to neural networking|newspaper=[[Економіст (журнал)|The Economist]]|access-date=2017-08-26|archive-date=2016-12-31|archive-url=https://web.archive.org/web/20161231203934/https://www.economist.com/news/special-report/21700756-artificial-intelligence-boom-based-old-idea-modern-twist-not|url-status=live|language=en}}</ref> Зокрема, ГП добре підходять для матричних/векторних обчислень, задіяних у машинному навчанні.<ref name="jung2004">{{cite journal | last1 = Oh | first1 = K.-S. | last2 = Jung | first2 = K. | year = 2004 | title = GPU implementation of neural networks | journal = Pattern Recognition | volume = 37 | issue = 6| pages = 1311–1314 | doi=10.1016/j.patcog.2004.01.013| bibcode = 2004PatRe..37.1311O| language = en }}</ref><ref>"[https://www.academia.edu/40135801 A Survey of Techniques for Optimizing Deep Learning on GPUs] {{Webarchive|url=https://web.archive.org/web/20210509123120/https://www.academia.edu/40135801/A_Survey_of_Techniques_for_Optimizing_Deep_Learning_on_GPUs |date=2021-05-09 }}", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019 {{ref-en}}</ref><ref name="chellapilla2006">{{Citation | first1 = Kumar | last1 = Chellapilla | first2 = Sidd | last2 = Puri | first3 = Patrice | last3 = Simard | title = High performance convolutional neural networks for document processing | url = https://hal.inria.fr/inria-00112631/document | date = 2006 | access-date = 2021-02-14 | archive-date = 2020-05-18 | archive-url = https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document | url-status = live | language = en }}</ref> ГП прискорюють алгоритми тренування на порядки, скорочуючи час роботи з тижнів до днів.<ref name=":3">{{Cite journal|last1=Cireşan|first1=Dan Claudiu|last2=Meier|first2=Ueli|last3=Gambardella|first3=Luca Maria|last4=Schmidhuber|first4=Jürgen|date=21 вересня 2010|title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|journal=Neural Computation|volume=22|issue=12|pages=3207–3220|doi=10.1162/neco_a_00052|pmid=20858131|issn=0899-7667|arxiv=1003.0358|s2cid=1918673|language=en}}</ref><ref>{{Cite book|last1=Raina|first1=Rajat|last2=Madhavan|first2=Anand|last3=Ng|first3=Andrew Y.|title=Proceedings of the 26th Annual International Conference on Machine Learning |chapter=Large-scale deep unsupervised learning using graphics processors |s2cid=392458|date=2009|series=ICML '09|location=New York, NY, USA|publisher=ACM|pages=873–880|doi=10.1145/1553374.1553486|isbn=9781605585161|citeseerx=10.1.1.154.372|language=en}}</ref> Крім того, для ефективної обробки моделей глибокого навчання можливо використовувати спеціалізоване обладнання та оптимізацію алгоритмів.<ref name="sze2017">{{cite arXiv
|title= Efficient Processing of Deep Neural Networks: A Tutorial and Survey
|last1=Sze |first1=Vivienne|author1-link=Вів'єн Ши
|last2=Chen |first2=Yu-Hsin
|last3=Yang |first3=Tien-Ju
|last4=Emer |first4=Joel
|eprint=1703.09039
|year=2017
|class=cs.CV }}</ref>

=== Революція глибокого навчання ===
[[Файл:AI-ML-DL.svg|lang=uk|міні|Як глибоке навчання є підмножиною машинного навчання і як машинне навчання є підмножиною штучного інтелекту (ШІ)]]

Наприкінці 2000-х глибоке навчання почало перевершувати інші методи в змаганнях з [[Машинне навчання|машинного навчання]]. 2009 року [[довга короткочасна пам'ять]], натренована {{нп|Нейромережна часова класифікація|нейромережною часовою класифікацією||Connectionist temporal classification}} ({{нп|Алекс Ґрейвс (інформатик)|Алекс Ґрейвс||Alex Graves (computer scientist)}}, Сантьяго Фернандес, Фаустіно Ґомес та [[Юрген Шмідхубер]], 2006)<ref name="graves2006" /> стала першою РНМ, яка виграла конкурси з [[розпізнавання образів]], вигравши три змагання з [[Розпізнавання рукописного введення|розпізнавання неперервного рукописного тексту]].<ref>Graves, Alex; and Schmidhuber, Jürgen; ''Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks'', in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), ''Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC'', Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552 {{ref-en}}</ref><ref name="SCHIDHUB" /> Пізніше ''[[Google]]'' використала натреновану НЧК ДКЧП для розпізнавання мовлення на [[смартфон]]і.<ref name="GoogleVoiceTranscription">Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html {{ref-en}}</ref><ref name="sak2015" />

Значний вплив на розпізнавання зображень або об'єктів відчувався з 2011 по 2012 роки. Хоча ЗНМ, треновані [[Зворотне поширення|зворотним поширенням]], існували десятиліттями,<ref name="wz1988" /><ref name="LECUN1989" /> а втілення НМ на ГП&nbsp;— роками,<ref name="jung2004" /> включно із ЗНМ,<ref name="chellapilla2006" /><ref name="SCHIDHUB" /> для прогресу в комп'ютернім баченні знадобилися швидші втілення ЗНМ на графічних процесорах. 2011 року ''DanNet''<ref name=":6">{{Cite journal|last1=Ciresan|first1=D. C.|last2=Meier|first2=U.|last3=Masci|first3=J.|last4=Gambardella|first4=L.M.|last5=Schmidhuber|first5=J.|date=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|journal=International Joint Conference on Artificial Intelligence|doi=10.5591/978-1-57735-516-8/ijcai11-210|access-date=2017-06-13|archive-date=2014-09-29|archive-url=https://web.archive.org/web/20140929094040/http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|url-status=live|language=en}}</ref><ref name=":9" /> Дена Чирешана, Улі Меєра, Джонатана Маскі, {{нп|Лука Марія Гамбардела|Луки Марії Гамбардели||Luca Maria Gambardella}} та [[Юрген Шмідхубер|Юргена Шмідхубера]] вперше досягла надлюдських результатів у змаганні з розпізнавання візуальних образів, перевершивши традиційні методи втричі.<ref name="SCHIDHUB" /> Також 2011 року ''DanNet'' виграла конкурс із китайського рукописного тексту ''ICDAR'', а в травні 2012 року перемогла в конкурсі з сегментування зображень ''ISBI''.<ref name=":8">{{Cite book|url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|title=Advances in Neural Information Processing Systems 25|last1=Ciresan|first1=Dan|last2=Giusti|first2=Alessandro|last3=Gambardella|first3=Luca M.|last4=Schmidhuber|first4=Jürgen|date=2012|publisher=Curran Associates, Inc.|editor-last=Pereira|editor-first=F.|pages=2843–2851|editor-last2=Burges|editor-first2=C. J. C.|editor-last3=Bottou|editor-first3=L.|editor-last4=Weinberger|editor-first4=K. Q.|access-date=2017-06-13|archive-date=2017-08-09|archive-url=https://web.archive.org/web/20170809081713/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|url-status=live|language=en}}</ref> До 2011 року ЗНМ не відігравали великої ролі на конференціях з комп'ютерного бачення, але в червні 2012 року публікація Чирешана зі співавт. на провідній конференції ''CVPR''<ref name=":9" /> показала, як [[Максимізувальне агрегування|максимізувально агрегувальні]] ЗНМ на ГП можуть значно покращувати багато еталонних рекордів у баченні. У вересні 2012 року ''DanNet'' також виграла конкурс ''ICPR'' з аналізу великих медичних зображень для виявляння раку, а наступного року також і ''MICCAI Grand Challenge'' на ту ж тему.<ref name="ciresan2013miccai">{{Cite book|last1=Ciresan|first1=D.|last2=Giusti|first2=A.|last3=Gambardella|first3=L.M.|last4=Schmidhuber|first4=J.|title=Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013 |chapter=Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks |date=2013|volume=7908|issue=Pt 2|pages=411–418|doi=10.1007/978-3-642-40763-5_51|pmid=24579167|series=Lecture Notes in Computer Science|isbn=978-3-642-38708-1|language=en}}</ref> У жовтні 2012 року подібна ''[[AlexNet]]'' [[Олексій Крижевський|Олексія Крижевського]], [[Ілля Суцкевер|Іллі Суцкевера]] та [[Джефрі Гінтон]]а<ref name="krizhevsky2012" /> виграла великомасштабне {{нп|Змагання ImageNet|змагання ''ImageNet''||ImageNet competition}} зі значним відривом від неглибоких методів машинного навчання. Мережа ''VGG''-16 {{нп|Карен Симонян|Карена Симоняна||Karen Simonyan}} та {{нп|Ендрю Зіссерман|Ендрю Зіссермана||Andrew Zisserman}}<ref name="VGG">{{cite arXiv|last1=Simonyan |first1=Karen |last2=Andrew |first2=Zisserman |title=Very Deep Convolution Networks for Large Scale Image Recognition |year=2014 |class=cs.CV |eprint=1409.1556 |language=en}}</ref> ще більше знизила рівень похибок і виграла конкурс ''ImageNet'' 2014, слідуючи подібній тенденції у широкомасштабному розпізнаванні мовлення.

Потім класифікування зображень було розширено до складнішого завдання {{нп|Автоматичне анотування зображень|породжування описів||Automatic image annotation}} (підписів) для зображень, часто як поєднання ЗНМ та ДКЧП.<ref name="1411.4555">{{cite arXiv |eprint=1411.4555|last1=Vinyals|first1=Oriol|title=Show and Tell: A Neural Image Caption Generator|last2=Toshev|first2=Alexander|last3=Bengio|first3=Samy|last4=Erhan|first4=Dumitru|class=cs.CV|year=2014|language=en}}.</ref><ref name="1411.4952">{{cite arXiv |eprint=1411.4952|last1=Fang|first1=Hao| title=From Captions to Visual Concepts and Back|last2=Gupta|first2=Saurabh|last3=Iandola|first3=Forrest|last4=Srivastava|first4=Rupesh|last5=Deng|first5=Li|last6=Dollár|first6=Piotr|last7=Gao|first7=Jianfeng|last8=He|first8=Xiaodong|last9=Mitchell|first9=Margaret|last10=Platt|first10=John C|last11=Lawrence Zitnick|first11=C|last12=Zweig|first12=Geoffrey|class=cs.CV|year=2014|language=en}}.</ref><ref name="1411.2539">{{cite arXiv |eprint=1411.2539|last1=Kiros|first1=Ryan|title=Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models|last2=Salakhutdinov|first2=Ruslan|last3=Zemel|first3=Richard S|class=cs.LG|year=2014|language=en}}.</ref>

2012 року команда під проводом Джорджа Даля виграла конкурс ''«Merck Molecular Activity Challenge»'', використовуючи багатозадачні глибокі нейронні мережі для передбачування {{нп|Біомолекулярна мішень|біомолекулярної мішені||Biomolecular target}} одного препарату.<ref name="MERCK2012">{{Cite web|url=https://kaggle.com/c/MerckActivity|title=Merck Molecular Activity Challenge|website=kaggle.com|access-date=2020-07-16|archive-date=2020-07-16|archive-url=https://web.archive.org/web/20200716190808/https://www.kaggle.com/c/MerckActivity|url-status=live|language=en}}</ref><ref name=":5">{{Cite web|url=http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|title=Multi-task Neural Networks for QSAR Predictions {{!}} Data Science Association|website=www.datascienceassn.org|access-date=14 червня 2017|archive-date=30 квітня 2017|archive-url=https://web.archive.org/web/20170430142049/http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|url-status=live|language=en}}</ref> 2014 року група {{нп|Зепп Хохрайтер|Зеппа Хохрайтера||Sepp Hochreiter}} використала глибоке навчання для виявляння нецільових і токсичних впливів хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках, і виграла ''«Tox21 Data Challenge»'' [[Національний інститут охорони здоров'я США|''NIH'']], [[Управління з продовольства і медикаментів США|''FDA'']] та ''{{нп|NCATS|||National Center for Advancing Translational Sciences}}''.<ref name="TOX21">"Toxicology in the 21st century Data Challenge" {{ref-en}}</ref><ref name="TOX21Data">{{cite web|url=https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|title=NCATS Announces Tox21 Data Challenge Winners|access-date=2015-03-05|archive-date=2015-09-08|archive-url=https://web.archive.org/web/20150908025122/https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|url-status=live|language=en}}</ref><ref name=":11">{{cite web|url=http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|title=NCATS Announces Tox21 Data Challenge Winners|archive-url=https://web.archive.org/web/20150228225709/http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|archive-date=28 лютого 2015|url-status=dead|access-date=5 березня 2015|language=en}}</ref>

2016 року Роджер Парлофф зазначив «революцію глибокого навчання», яка змінила галузь ШІ.<ref>{{cite news|title=Why Deep Learning Is Suddenly Changing Your Life|url=http://fortune.com/ai-artificial-intelligence-deep-machine-learning/|access-date=13 квітня 2018|work=Fortune|date=2016|archive-date=14 квітня 2018|archive-url=https://web.archive.org/web/20180414031925/http://fortune.com/ai-artificial-intelligence-deep-machine-learning/|url-status=live|language=en}}</ref>

У березні 2019 року {{нп|Йошуа Бенжіо|||Yoshua Bengio}}, [[Джефрі Гінтон]]а та [[Ян ЛеКун|Яна ЛеКуна]] було нагороджено [[Премія Тюрінга|премією Тюрінга]] за концептуальні та інженерні прориви, які зробили глибокі нейронні мережі критично важливою складовою обчислювальної техніки.

== Нейронні мережі ==
{{Main|Штучна нейронна мережа}}
{{multiple image
   | direction = horizontal
   | total_width = 400
   | footer    = 
   | image1    = Simplified neural network training example.svg
   | alt1      = 
   | caption1  = Спрощений приклад тренування нейронної мережі у виявлянні об'єктів: Мережу тренують кількома зображеннями, відомими як зображення [[Морські зірки|морських зірок]] та [[Морські їжаки|морських їжаків]], що корелюють з «вузлами», які подають візуальні [[Ознака (комп'ютерне бачення)|ознаки]]. Морські зірки відповідають текстурі в кружечок та зірковому контурові, тоді як більшість морських їжаків відповідають смугастій текстурі й овальній формі. Проте, приклад морського їжака з текстурою в кружечок створює слабко зважену пов'язаність між ними.
   | image2    = Simplified neural network example.svg
   | alt2      = 
   | caption2  = Наступний запуск мережі на вхідному зображенні (ліворуч):<ref>{{cite book|author=Ferrie, C., & Kaiser, S.|year=2019|title=Neural Networks for Babies|language=en|publisher=Sourcebooks|isbn=978-1492671206}}</ref> Мережа правильно виявляє морську зірку. Проте, слабко зважена пов'язаність між текстурою в кружечок і морським їжаком також передає слабкий сигнал останньому від одного з двох проміжних вузлів. Крім того, [[черепашка]], яку не було включено до тренування, дає слабкий сигнал для овальної форми, що також призводить до слабкого сигналу для виходу морського їжака. Ці слабкі сигнали можуть призвести до [[Хибно позитивний|хибно позитивного]] результату для морського їжака.<br>В реальності текстури та контури не буде подано поодинокими вузлами, а радше пов'язаними ваговими шаблонами декількох вузлів.}}

'''Шту́чні нейро́нні мере́жі''' ('''ШНМ''', {{lang-en|artificial neural networks, ANN}}) або '''[[Конекціонізм|коннекціоні́стські]] систе́ми''' ({{lang-en|connectionist systems}})&nbsp;— це обчислювальні системи, натхненні [[Біологічна нейронна мережа|біологічними нейронними мережами]], які складають мозок тварин. Такі системи вчаться (поступово вдосконалюють свої здібності) виконувати завдання, розглядаючи приклади, як правило, без програмування під конкретне завдання. Наприклад, у розпізнаванні зображень вони можуть навчитися встановлювати зображення, які містять котів, аналізуючи приклади зображень, {{нп|Мічені дані|мічені||Labeled data}} вручну як «кіт» чи «кота нема», і використовуючи результати цього аналізу для встановлювання котів на інших зображеннях. Вони знайшли найбільше використання в застосуваннях, які важко висловити за допомогою традиційного комп'ютерного алгоритму з використанням [[програмування на основі правил]] .

ШНМ ґрунтується на сукупності з'єднаних вузлів, званих [[Штучний нейрон|штучними нейронами]] (аналогічно біологічним нейронам у [[Головний мозок|біологічному мозку]]). Кожне з'єднання ([[синапс]]) між нейронами може передавати сигнал іншому нейронові. Приймальний (постсинаптичний) нейрон може обробляти сигнал(и), а потім сигналізувати подальшим нейронам. Нейрони можуть мати стан, як правило, поданий [[Дійсне число|дійсними числами]], зазвичай між 0 та 1. Нейрони та синапси також можуть мати вагу, яка змінюється в міру навчання, що може збільшувати або зменшувати силу сигналу, який вони надсилають далі.

Як правило, нейрони впорядковано в шари ({{lang-en|layers}}). Різні шари можуть виконувати різні типи перетворень над своїми входами. Сигнали проходять від першого шару (шару входу) до останнього шару (шару виходу), можливо, після проходження шарами декілька разів.

Початкова мета нейромережного підходу полягала у розв'язуванні задач таким же чином, як це робив би людський мозок. З часом увага зосередилася на відповідності конкретним розумовим здібностям, що призвело до відхилень від біології, таких як [[зворотне поширення]], або передавання інформації у зворотному напрямку з підлаштовуванням мережі відображувати цю інформацію.

Нейронні мережі використовували для різноманітних завдань, включно з комп'ютерним баченням, [[Розпізнавання мовлення|розпізнаванням мовлення]], [[Машинний переклад|машинним перекладом]], фільтруванням [[Соціальна мережа|соціальних мереж]], {{нп|Універсальна ігрова програма|грою в настільні та відеоігри||General game playing}} та медичною діагностикою.

Станом на 2017 рік нейронні мережі зазвичай мають від кількох тисяч до кількох мільйонів вузлів та мільйони з'єднань. Незважаючи на те, що це число на кілька порядків менше за число нейронів у мозку людини, ці мережі можуть виконувати багато завдань на рівні, що перевершує людський (наприклад, розпізнавати обличчя або грати в [[Ґо (гра)|«Ґо»]]<ref>{{Cite journal|last1=Silver|first1=David|last2=Huang|first2=Aja|last3=Maddison|first3=Chris J.|last4=Guez|first4=Arthur|last5=Sifre|first5=Laurent|last6=Driessche|first6=George van den|last7=Schrittwieser|first7=Julian|last8=Antonoglou|first8=Ioannis|last9=Panneershelvam|first9=Veda|s2cid=515925|date=January 2016|title=Mastering the game of Go with deep neural networks and tree search|journal=Nature|volume=529|issue=7587|pages=484–489|doi=10.1038/nature16961|issn=1476-4687|pmid=26819042|bibcode=2016Natur.529..484S|language=en}}</ref>).

=== Глибокі нейронні мережі ===

Глибока нейронна мережа (ГНМ, {{lang-en|deep neural network, DNN}})&nbsp;— це [[штучна нейронна мережа]] (ШНМ) із кількома шарами між шарами входу та виходу.<ref name="BENGIODEEP" /><ref name="SCHIDHUB" /> Існують різні типи нейронних мереж, але вони завжди складаються з тих же складових: нейронів, синапсів, ваг, зміщень та функцій.<ref name="Nokkada">{{citation |title=A Guide to Deep Learning and Neural Networks |url=https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |access-date=2020-11-16 |archive-date=2020-11-02 |archive-url=https://web.archive.org/web/20201102151103/https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |url-status=live |language=en }}</ref> Ці складові в цілому функціонують у спосіб, що імітує функціювання людського мозку, і їх, як і будь-який інший алгоритм МН, можливо тренувати.{{Джерело|дата=липень 2023}}

Наприклад, ГНМ, тренована розпізнавати породи собак, проходитиме заданим зображенням й обчислюватиме ймовірність того, що зображений собака належить до певної породи. Користувач може переглядати результати й обирати, які ймовірності мережа повинна відображувати (вище певного порогу тощо) й повертати запропоновану мітку. Кожну математичну маніпуляцію як таку вважають шаром,{{Джерело|дата=липень 2023}} і складні ГНМ мають багато шарів, звідси й назва «глибокі» мережі.

ГНМ можуть моделювати складні нелінійні зв'язки. Архітектури ГНМ породжують композиційні моделі, де об'єкт виражають багатошаровою композицією [[Примітивний тип даних|примітивів]].<ref>{{Cite journal|last1=Szegedy|first1=Christian|last2=Toshev|first2=Alexander|last3=Erhan|first3=Dumitru|date=2013|title=Deep neural networks for object detection|url=https://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection|journal=Advances in Neural Information Processing Systems|pages=2553–2561|access-date=2017-06-13|archive-date=2017-06-29|archive-url=https://web.archive.org/web/20170629172111/http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection|url-status=live|language=en}}</ref> Додаткові шари дозволяють комбінувати ознаки з нижчих шарів, потенційно моделюючи складні дані меншою кількістю вузлів, ніж неглибокі мережі з подібною продуктивністю.<ref name="BENGIODEEP" /> Наприклад, було доведено, що розріджені [[Багатовимірний многочлен|багатовимірні многочлени]] експоненційно легше наближувати за допомогою ГНМ, ніж за допомогою неглибоких мереж.<ref>{{cite conference|last1=Rolnick|first1=David|last2=Tegmark|first2=Max|date=2018|title=The power of deeper networks for expressing natural functions|url=https://openreview.net/pdf?id=SyProzZAW|conference=ICLR 2018|book-title=International Conference on Learning Representations|access-date=2021-01-05|archive-date=2021-01-07|archive-url=https://web.archive.org/web/20210107183647/https://openreview.net/pdf?id=SyProzZAW|url-status=live|language=en}}</ref>

До глибоких архітектур належать багато варіантів кількох основних підходів. Кожна архітектура досягла успіху в певних областях. Не завжди можливо порівняти продуктивність кількох архітектур, якщо їх оцінювали не на однакових наборах даних.

ГНМ, як правило, є мережами прямого прямого поширення, в яких дані проходять з шару входу до шару виходу без повернення назад. Спочатку ГНМ створює карту віртуальних нейронів і призначує зв'язкам між ними випадкові числові значення, або «ваги». Ваги та входи перемножуються й повертають результат між 0 та 1. Якщо мережа не розпізнає певний образ точно, алгоритм підлаштовує ці ваги.<ref>{{Cite news|last=Hof|first=Robert D.|title=Is Artificial Intelligence Finally Coming into Its Own?|work=MIT Technology Review|url=https://www.technologyreview.com/s/513696/deep-learning/|access-date=10 липня 2018|archive-url=https://web.archive.org/web/20190331092832/https://www.technologyreview.com/s/513696/deep-learning/|archive-date=31 березня 2019|language=en}}</ref> Таким чином алгоритм може робити певні параметри впливовішими, доки не визначить правильну математичну операцію для повної обробки даних.

[[Рекурентні нейронні мережі]] (РНМ, {{lang-en|recurrent neural networks, RNN}}), в яких дані можуть простувати в будь-якому напрямку, використовують для таких застосувань як [[моделювання мови]].<ref name="gers2001">{{cite journal|last1=Gers|first1=Felix A.|last2=Schmidhuber|first2=Jürgen|year=2001|title=LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages|url=http://elartu.tntu.edu.ua/handle/lib/30719|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|s2cid=10192330 |access-date=2020-02-25|archive-date=2020-01-26|archive-url=https://web.archive.org/web/20200126045722/http://elartu.tntu.edu.ua/handle/lib/30719|url-status=live|language=en}}</ref><ref name="NIPS2014" /><ref name="vinyals2016">{{cite arXiv |eprint=1602.02410|last1=Jozefowicz|first1=Rafal|title=Exploring the Limits of Language Modeling|last2=Vinyals|first2=Oriol|last3=Schuster|first3=Mike|last4=Shazeer|first4=Noam|last5=Wu|first5=Yonghui|class=cs.CL|year=2016|language=en}}</ref><ref name="gillick2015">{{cite arXiv |eprint=1512.00103|last1=Gillick|first1=Dan|title=Multilingual Language Processing from Bytes|last2=Brunk|first2=Cliff|last3=Vinyals|first3=Oriol|last4=Subramanya|first4=Amarnag|class=cs.CL|year=2015|language=en}}</ref><ref name="MIKO2010">{{Cite journal|last=Mikolov|first=T.|display-authors=etal|date=2010|title=Recurrent neural network based language model|url=http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf|journal=Interspeech|pages=1045–1048|doi=10.21437/Interspeech.2010-343|s2cid=17048224 |access-date=2017-06-13|archive-date=2017-05-16|archive-url=https://web.archive.org/web/20170516181940/http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf|url-status=live|language=en}}</ref> Для цього використання особливо ефективна довга короткочасна пам'ять.<ref name=":0" /><ref name=":10">{{Cite web|url=https://www.researchgate.net/publication/220320057|title=Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)|website=ResearchGate|access-date=13 червня 2017|archive-date=9 травня 2021|archive-url=https://web.archive.org/web/20210509123147/https://www.researchgate.net/publication/220320057_Learning_Precise_Timing_with_LSTM_Recurrent_Networks|url-status=live|language=en}}</ref>

[[Згорткова нейронна мережа|Згорткові глибокі нейронні мережі]] (ЗНМ, {{lang-en|convolutional deep neural networks, CNN}}) використовують у комп'ютернім баченні.<ref name="LECUN86">{{cite journal |last1=LeCun |first1=Y. |display-authors=etal |year= 1998|title=Gradient-based learning applied to document recognition |journal=Proceedings of the IEEE |volume=86 |issue=11 |pages=2278–2324 |doi=10.1109/5.726791|s2cid=14542261 |url=http://elartu.tntu.edu.ua/handle/lib/38369 |language=en }}</ref> ЗНМ також застосовували до {{нп|Акустична модель|акустичного моделювання||Acoustic model}} для автоматичного розпізнавання мовлення (АРМ, {{lang-en|automatic speech recognition, ASR}}).<ref name=":2">{{Cite book |doi=10.1109/icassp.2013.6639347|isbn=978-1-4799-0356-6|chapter=Deep convolutional neural networks for LVCSR|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing|pages=8614–8618|year=2013|last1=Sainath|first1=Tara N.|author1-link=Тара Сайнат |last2=Mohamed|first2=Abdel-Rahman|last3=Kingsbury|first3=Brian|last4=Ramabhadran|first4=Bhuvana|author4-link=Бгувана Рамбгадран|s2cid=13816461|language=en}}</ref>

==== Виклики ====

Як і з ШНМ, при наївному тренуванні ГНМ може виникати багато проблем. Двома поширеними проблемами є [[перенавчання]] та обчислювальний час.

ГНМ схильні до перенавчання через додані шари абстрагування, які дозволяють їм моделювати рідкісні залежності в тренувальних даних. Для боротьби з перенавчанням під час тренування можливо застосовувати методи [[Регуляризація (математика)|регуляризації]], такі як обрізання вузлів ({{lang-en|unit pruning}}) Івахненка,<ref name="ivak1971" /> {{нп|ослаблення ваг|||Weight decay}} ({{lang-en|weight decay}}, <math> \ell_2 </math>-регуляризація) та [[Розріджена матриця|розрідженість]] ({{lang-en|sparsity}}, <math> \ell_1 </math>-регуляризація).<ref>{{Cite book |doi=10.1109/icassp.2013.6639349|isbn=978-1-4799-0356-6|arxiv=1212.0901|citeseerx=10.1.1.752.9151|chapter=Advances in optimizing recurrent networks|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing|pages=8624–8628|year=2013|last1=Bengio|first1=Yoshua|last2=Boulanger-Lewandowski|first2=Nicolas|last3=Pascanu|first3=Razvan|s2cid=12485056|language=en}}</ref> Альтернативна регуляризація [[Виключення (нейронні мережі)|виключенням]] ({{lang-en|dropout}}) випадковим чином вилучає вузли з прихованих шарів під час тренування. Це допомагає виключати рідкісні залежності.<ref name="DAHL2013">{{Cite journal|last=Dahl|first=G.|display-authors=etal|date=2013|title=Improving DNNs for LVCSR using rectified linear units and dropout|url=http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf|journal=ICASSP|access-date=2017-06-13|archive-date=2017-08-12|archive-url=https://web.archive.org/web/20170812140509/http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf|url-status=live|language=en}}</ref> Нарешті, дані можливо доповнювати за допомогою таких методів як обрізання та обертання, щоби менші тренувальні набори можливо було збільшити в розмірі задля зменшення ймовірності перенавчання.<ref>{{Cite web|url=https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|title=Data Augmentation - deeplearning.ai {{!}} Coursera|website=Coursera|access-date=30 листопада 2017|archive-date=1 грудня 2017|archive-url=https://web.archive.org/web/20171201032606/https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|url-status=live|language=en}}</ref>

ГНМ повинні враховувати багато параметрів тренування, таких як розмір (кількість шарів і кількість вузлів на шар), [[темп навчання]] та первинні ваги. [[Оптимізація гіперпараметрів#Пошук по ґратці|Прочісування простору параметрів]] для отримання оптимальних значень може бути недосяжним через часові та обчислювальні витрати. Обчислення прискорюють різні трюки, такі як [[Пакетне навчання|пакетування]] ({{lang-en|batching}}, обчислення градієнта на кількох тренувальних прикладах одночасно, замість обчислення на окремих).<ref name="RBMTRAIN">{{Cite journal|last=Hinton|first=G. E.|date=2010|title=A Practical Guide to Training Restricted Boltzmann Machines|url=https://www.researchgate.net/publication/221166159|journal=Tech. Rep. UTML TR 2010-003|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123211/https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems|url-status=live|language=en}}</ref> Великі оброблювальні можливості багатоядерних архітектур (таких як графічні процесори та ''Intel Xeon Phi'') призвели до значного прискорення тренування через придатність таких оброблювальних архітектур для матричних та векторних обчислень.<ref>{{cite book|last1=You|first1=Yang|title=Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17|pages=1–12|last2=Buluç|first2=Aydın|last3=Demmel|first3=James|chapter=Scaling deep learning on GPU and knights landing clusters|chapter-url=https://dl.acm.org/citation.cfm?doid=3126908.3126912|publisher=SC '17, ACM|date=November 2017|access-date=5 березня 2018|doi=10.1145/3126908.3126912|isbn=9781450351140|s2cid=8869270|url=http://www.escholarship.org/uc/item/6ch40821|archive-date=29 липня 2020|archive-url=https://web.archive.org/web/20200729133850/https://escholarship.org/uc/item/6ch40821|url-status=live|language=en}}</ref><ref>{{cite journal|last1=Viebke|first1=André|last2=Memeti|first2=Suejb|last3=Pllana|first3=Sabri|last4=Abraham|first4=Ajith|s2cid=14135321|title=CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi|journal=The Journal of Supercomputing|volume=75|pages=197–227|doi=10.1007/s11227-017-1994-x|arxiv=1702.07908|bibcode=2017arXiv170207908V|year=2019|language=en}}</ref>

Крім того, інженери можуть шукати інші типи нейронних мереж із простішими та збіжнішими алгоритмами тренування. Одним із таких видів нейронних мереж є АКММ ({{нп|артикуляційний контролер мозочкової моделі|||Cerebellar model articulation controller}}, {{lang-en|cerebellar model articulation controller, CMAC}}). Він не потребує темпів навчання та увипадковлених первинних ваг. Може бути гарантовано збіжність його процесу тренування за один крок із новим пакетом даних, а обчислювальна складність алгоритму тренування лінійна щодо кількості задіяних нейронів.<ref name="Qin1">Ting Qin, et al. "A learning algorithm of CMAC based on RLS". Neural Processing Letters 19.1 (2004): 49-61. {{ref-en}}</ref><ref name="Qin2">Ting Qin, et al. "[http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf Continuous CMAC-QRLS and its systolic array]". {{Webarchive|url=https://web.archive.org/web/20181118122850/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf |date=2018-11-18 }}. Neural Processing Letters 22.1 (2005): 1-16. {{ref-en}}</ref>

== Апаратне забезпечення ==

З 2010-х років прогрес як в алгоритмах машинного навчання, так і в [[Апаратне забезпечення|комп'ютерному апаратному забезпеченні]] призвів до ефективніших методів тренування глибоких нейронних мереж, які містять багато шарів нелінійних прихованих вузлів і дуже великий шар виходу.<ref>{{cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|access-date=23 жовтня 2015|date=23 жовтня 2015|archive-date=1 лютого 2016|archive-url=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|url-status=live|language=en}}</ref> До 2019 року графічні процесори ([[ГП]]), часто зі спеціальними вдосконаленнями для ШІ, витіснили ЦП як переважний метод тренування великомасштабного комерційного хмарного ШІ.<ref>{{cite news |title=GPUs Continue to Dominate the AI Accelerator Market for Now |url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |access-date=11 червня 2020 |work=InformationWeek |date=December 2019 |language=en |archive-date=10 червня 2020 |archive-url=https://web.archive.org/web/20200610094310/https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |url-status=live }}</ref> ''[[OpenAI]]'' оцінила апаратні обчислення, які використовували в найбільших проєктах глибокого навчання від ''AlexNet'' (2012) і до ''AlphaZero'' (2017), і виявила 300 000-кратне збільшення необхідного обсягу обчислень із тенденцією подвоєння часу кожні 3,4 місяці.<ref>{{cite news |last1=Ray |first1=Tiernan |title=AI is changing the entire nature of computation |url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |access-date=11 червня 2020 |work=ZDNet |date=2019 |language=en |archive-date=25 травня 2020 |archive-url=https://web.archive.org/web/20200525144635/https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |url-status=live }}</ref><ref>{{cite web |title=AI and Compute |url=https://openai.com/blog/ai-and-compute/ |website=OpenAI |access-date=11 червня 2020 |language=en |date=16 травня 2018 |archive-date=17 червня 2020 |archive-url=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/ |url-status=live }}</ref>

Для прискорення алгоритмів глибокого навчання було розроблено спеціальні [[Електронна схема|електронні схеми]], звані [[Процесор глибокого навчання|процесорами глибокого навчання]]. До процесорів глибокого навчання належать нейронні процесори (НП, {{lang-en|neural processing units, NPU}}) у мобільних телефонах ''[[Huawei]]''<ref>{{Cite web|url=https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/|title=HUAWEI Reveals the Future of Mobile AI at IFA 2017 &#124; HUAWEI Latest News &#124; HUAWEI Global|website=consumer.huawei.com|language=en|access-date=2023-07-30|archive-date=2021-11-10|archive-url=https://web.archive.org/web/20211110131401/https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/|url-status=dead}}</ref> та серверах [[Хмарні обчислення|хмарних обчислень]], такі як [[Тензорний процесор|тензорні процесори]] (ТП, {{lang-en|tensor processing units, TPU}}) у [[Google Cloud Platform|''Google Cloud Platform'']].<ref>{{Cite journal|last1=P|first1=JouppiNorman|last2=YoungCliff|last3=PatilNishant|last4=PattersonDavid|last5=AgrawalGaurav|last6=BajwaRaminder|last7=BatesSarah|last8=BhatiaSuresh|last9=BodenNan|last10=BorchersAl|last11=BoyleRick|date=2017-06-24|title=In-Datacenter Performance Analysis of a Tensor Processing Unit|journal=ACM SIGARCH Computer Architecture News|volume=45|issue=2|pages=1–12|language=EN|doi=10.1145/3140659.3080246|doi-access=free|arxiv=1704.04760}}</ref> ''{{нп|Cerebras|Cerebras Systems||}}'' також створила спеціальну систему для обробки великих моделей глибокого навчання, ''CS''-2, що ґрунтується на найбільшому процесорі в галузі, другому поколінні ''Wafer Scale Engine'' (''WSE''-2).<ref>{{Cite web |last=Woodie |first=Alex |date=2021-11-01 |title=Cerebras Hits the Accelerator for Deep Learning Workloads |url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/ |access-date=2022-08-03 |website=Datanami |language=en}}</ref><ref>{{Cite web |date=2021-04-20 |title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors |url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/ |access-date=2022-08-03 |website=VentureBeat |language=en-US}}</ref>

Атомарно тонкі [[напівпровідник]]и вважають перспективними для енергоефективного апаратного забезпечення глибокого навчання, де одну й ту ж базову структуру пристрою використовують як для логічних операцій, так і для зберігання даних. 2020 року Марега зі співавт. опублікували експерименти з активноканальним матеріалом великої площі для розробки пристроїв і схем з логічною пам'яттю на основі [[Польовий транзистор|польових транзисторів]] з [[Транзистор із плавним затвором|плавни́м затвором]] ({{lang-en|floating-gate field-effect transistors, FGFET}}).<ref name="atomthin">{{cite journal|title=Logic-in-memory based on an atomically thin semiconductor|year=2020|doi=10.1038/s41586-020-2861-0|last1=Marega|first1=Guilherme Migliato|last2=Zhao|first2=Yanfei|last3=Avsar|first3=Ahmet|last4=Wang|first4=Zhenyu|last5=Tripati|first5=Mukesh|last6=Radenovic|first6=Aleksandra|last7=Kis|first7=Anras|journal=Nature|volume=587|issue=2|pages=72–77|pmid=33149289|pmc=7116757|bibcode=2020Natur.587...72M|language=en }}</ref>

2021 року Й. Фельдманн зі співавт. запропонували інтегрований [[Фотоніка|фотонний]] [[апаратний прискорювач]] для паралельної згорткової обробки.<ref name="photonic">{{cite journal |title=Parallel convolutional processing using an integrated photonic tensor |year=2021 |doi=10.1038/s41586-020-03070-1 |last1=Feldmann |first1=J. |last2=Youngblood|first2=N. |last3=Karpov |first3=M. | last4=Gehring |first4=H. | display-authors=3 | journal=Nature |volume=589 |issue=2 |pages=52–58|pmid=33408373 |arxiv=2002.00281 |s2cid=211010976 |language=en }}</ref> Автори виділяють дві ключові переваги інтегрованої фотоніки над її електронними аналогами: (1) масивна паралельна передача даних через [[мультиплексування]] за [[Довжина хвилі|довжиною хвилі]] в поєднанні з [[Частотний гребінець|частотними гребінцями]] та (2) надзвичайно висока швидкість модуляції даних.<ref name="photonic" /> Їхня система може виконувати трильйони операцій множення-додавання за секунду, що вказує на потенціал [[Оптична інтегральна схема|інтегрованої]] [[Фотоніка|фотоніки]] у застосуваннях штучного інтелекту, які потребують великих даних.<ref name="photonic" />

== Застосування ==

=== Автоматичне розпізнавання мовлення ===
{{Main|Розпізнавання мовлення}}

Великомасштабне автоматичне розпізнавання мовлення&nbsp;— це перший і найпереконливіший успішний приклад глибокого навчання. РНМ ДКЧП можуть навчатися завдань «дуже глибокого навчання»,<ref name="SCHIDHUB" /> до яких належать багатосекундні інтервали, що містять мовленнєві події, розділені тисячами дискретних часових кроків, де один часовий крок відповідає приблизно 10 мс. ДКЧП із забувальними вентилями<ref name=":10" /> на певних завданнях конкурентоспроможні з традиційними розпізнавачами мовлення.<ref name="graves2003" />

Початковий успіх у розпізнаванні мовлення ґрунтувався на невеликих завданнях розпізнавання на основі ''{{нп|TIMIT}}''. Цей набір даних містить 630 носіїв восьми основних [[діалект]]ів [[Американська англійська|американської англійської]], де кожен читає 10 речень.<ref name=APC_1>{{cite book| title=TIMIT Acoustic-Phonetic Continuous Speech Corpus| author1=Garofolo, J.S.| author2=Lamel, L.F.| author3=Fisher, W.M.| author4=Fiscus, J.G.| author5=Pallett, D.S.| author6=Dahlgren, N.L.| author7=Zue, V.| url=https://catalog.ldc.upenn.edu/LDC93S1| publisher=Linguistic Data Consortium| date=1993| access-date=27 грудня 2023| doi=10.35111/17gk-bn40| isbn=1-58563-019-5| language=en}}</ref> Його невеликий розмір дозволяє випробувати багато конфігурацій. Що ще важливіше, завдання ''TIMIT'' стосується розпізнавання {{нп|Фона|фональних||Phone (phonetics)}} послідовностей, яке, на відміну від розпізнавання послідовності слів, дозволяє використовувати слабкі фоно[[Біграма|біграмні]] мовні моделі. Це дозволяє легше аналізувати силу аспектів акустичного моделювання розпізнавання мовлення. Частоту похибки, наведену нижче, включно з цими ранніми результатами, виміряну у відсотках рівнів фональних похибок (РФП, {{lang-en|phone error rates, PER}}), було узагальнено з 1991 року.

{| class="wikitable"
! Метод
! Відсоток рівня<br/>фональної похибки (РФП) (%)
|-
| [[Рекурентна нейронна мережа|РНМ]] з випадковими початковими значеннями<ref>{{cite journal |last1=Robinson |first1=Tony |author-link=Тоні Робінсон (розпізнавання мовлення)|title=Several Improvements to a Recurrent Error Propagation Network Phone Recognition System |journal=Cambridge University Engineering Department Technical Report |date=30 вересня 1991 |volume=CUED/F-INFENG/TR82 |doi=10.13140/RG.2.2.15418.90567 |language=en }}</ref>
| 26,1
|-
| Баєсова трифональна {{нп|Сумішева модель|ГСМ||Mixture model}}-[[Прихована марковська модель|ПММ]]
| 25,6
|-
| Модель прихованої траєкторії (породжувальна)
| 24,8
|-
| Монофональна ГНМ з випадковими початковими значеннями
| 23,4
|-
| Монофональна [[Глибока мережа переконань|ГМП]]-ГНМ
| 22,4
|-
| Трифональна {{нп|Сумішева модель|ГСМ||Mixture model}}-[[Прихована марковська модель|ПММ]] з навчанням {{H:title|Підсилена максимальна взаємна інформація, англ. Boosted Maximum Mutual Information, BMMI|ПМВІ}}
| 21,7
|-
| Монофональна [[Глибока мережа переконань|ГМП]]-ГНМ на {{нп|Блок фільтрів|блоці фільтрів||Filter bank}}
| 20,7
|-
| [[Згорткова нейронна мережа|Згорткова]] ГНМ<ref name="CNN-2014">{{cite journal|last1=Abdel-Hamid|first1=O.|title=Convolutional Neural Networks for Speech Recognition|journal=IEEE/ACM Transactions on Audio, Speech, and Language Processing|date=2014|volume=22|issue=10|pages=1533–1545|doi=10.1109/taslp.2014.2339736|s2cid=206602362|display-authors=etal|url=https://zenodo.org/record/891433|access-date=2018-04-20|archive-date=2020-09-22|archive-url=https://web.archive.org/web/20200922180719/https://zenodo.org/record/891433|url-status=live|language=en}}</ref>
| 20,0
|-
| Згорткова ГНМ з {{H:title|англ. Heterogeneous Pooling|різнорідним агрегуванням}}
| 18,7
|-
| [[Ансамблеве навчання|Ансамблева]] ГНМ/[[Згорткова нейронна мережа|ЗНМ]]/РНМ<ref name="EnsembleDL">{{cite journal|last2=Platt|first2=J.|date=2014|title=Ensemble Deep Learning for Speech Recognition|journal=Proc. Interspeech|last1=Deng|first1=L.|pages=1915–1919 |doi=10.21437/Interspeech.2014-433 |s2cid=15641618 |language=en}}</ref>
| 18,3
|-
| Двоспрямована [[Довга короткочасна пам'ять|ДКЧП]]
| 17,8
|-
| {{H:title|англ. Hierarchical Convolutional Deep Maxout Network|Ієрархічна згорткова глибока максимумовиходова мережа}}<ref name="HCDMM">{{cite journal|last1=Tóth|first1=Laszló|date=2015|title=Phone Recognition with Hierarchical Convolutional Deep Maxout Networks|journal=EURASIP Journal on Audio, Speech, and Music Processing|volume=2015|doi=10.1186/s13636-015-0068-3|s2cid=217950236|url=http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf|access-date=2019-04-01|archive-date=2020-09-24|archive-url=https://web.archive.org/web/20200924085514/http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf|url-status=live |doi-access=free |language=en}}</ref>
| 16,5
|}

Дебют ГНМ для розпізнавання мовців наприкінці 1990-х та розпізнавання мовлення приблизно в 2009—2011 роках, а також ДКЧП приблизно в 2003—2007 роках прискорили прогрес у восьми основних областях:<ref name="BOOK2014" /><ref name="interspeech2014Keynote" /><ref name="ReferenceA" />

* Масштабування вгору/назовні та прискорення тренування та декодування ГНМ
* Послідовнісно розрізнювальне тренування
* Обробка ознак глибокими моделями з цілісним розумінням механізмів, що лежать в їхній основі
* Пристосування ГНМ та споріднених глибоких моделей
* {{нп|Багатозадачне навчання|Багатозадачне||Multi-task learning}} та [[передавальне навчання]] за допомогою ГНМ і споріднених глибоких моделей
* [[Згорткова нейронна мережа|ЗНМ]] та як їх проєктувати, щоби найкращим чином використати [[Предметна область|предметні знання]] щодо мовлення
* [[Рекурентна нейронна мережа|РНМ]] та їхні численні варіанти з ДКЧП
* Інші типи глибоких моделей, включно з моделями на основі тензорів та комбінованими породжувально/розрізнювальними моделями.

Усі основні комерційні системи розпізнавання мовлення (наприклад, ''Microsoft [[Cortana]]'', ''[[Xbox]]'', {{нп|Перекладач Skype|Перекладач ''Skype''||Skype Translator}}, ''[[Amazon Alexa]]'', ''[[Google Now]]'', ''[[Apple Siri]]'', ''[[Baidu]]'' та голосовий пошук ''{{нп|iFlytek}}'', а також низка мовленнєвих продуктів ''{{нп|Nuance Communications|Nuance|en}}'' тощо) ґрунтуються на глибокому навчанні.<ref name="BOOK2014" /><ref>{{Cite magazine|url=https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|title=How Skype Used AI to Build Its Amazing New Language Translator {{!}} WIRED|magazine=Wired|access-date=14 червня 2017|date=17 грудня 2014|last1=McMillan|first1=Robert|archive-date=8 червня 2017|archive-url=https://web.archive.org/web/20170608062106/https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|url-status=live|language=en}}</ref><ref name="Baidu">{{cite arXiv |eprint=1412.5567|last1=Hannun|first1=Awni|title=Deep Speech: Scaling up end-to-end speech recognition|last2=Case|first2=Carl|last3=Casper|first3=Jared|last4=Catanzaro|first4=Bryan|last5=Diamos|first5=Greg|last6=Elsen|first6=Erich|last7=Prenger|first7=Ryan|last8=Satheesh|first8=Sanjeev|last9=Sengupta|first9=Shubho|last10=Coates|first10=Adam|last11=Ng|first11=Andrew Y|class=cs.CL|year=2014|language=en}}</ref>

=== Розпізнавання зображень ===
{{Main|Комп'ютерне бачення}}

Поширеним оцінковим набором для класифікування зображень є набір даних [[MNIST (база даних)|бази даних ''MNIST'']]. Він складається з рукописних цифр і містить 60 000 навчальних та 10 000 випробувальних прикладів. Як і у випадку з ''TIMIT'', його невеликий розмір дозволяє користувачам випробувати кілька конфігурацій. Доступний вичерпний перелік результатів на цьому наборі.<ref name="YANNMNIST">{{cite web|url=http://yann.lecun.com/exdb/mnist/.|title=MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges|website=yann.lecun.com|access-date=2014-01-28|archive-date=2014-01-13|archive-url=https://web.archive.org/web/20140113175237/http://yann.lecun.com/exdb/mnist/|url-status=live|language=en}}</ref>

Розпізнавання зображень на основі глибокого навчання стало «надлюдським», даючи точніші результати, ніж люди, учасники змагання. Вперше це сталося 2011 року з розпізнаванням дорожніх знаків, а 2014 року з розпізнаванням облич людей.<ref name=":7">{{Cite journal|last1=Cireşan|first1=Dan|last2=Meier|first2=Ueli|last3=Masci|first3=Jonathan|last4=Schmidhuber|first4=Jürgen|date=August 2012|title=Multi-column deep neural network for traffic sign classification|journal=Neural Networks|series=Selected Papers from IJCNN 2011|volume=32|pages=333–338|doi=10.1016/j.neunet.2012.02.023|pmid=22386783|citeseerx=10.1.1.226.8219|language=en}}</ref><ref name=surpass1>{{cite arXiv|title=Surpassing Human Level Face Recognition|author1=Chaochao Lu |author2= Xiaoou Tang |year=2014 |class=cs.CV |eprint=1404.3840 |language=en }}</ref>

Треновані глибоким навчанням транспортні засоби тепер інтерпретують камери кругового огляду.<ref>[http://www.technologyreview.com/news/533936/nvidia-demos-a-car-computer-trained-with-deep-learning/ Nvidia Demos a Car Computer Trained with "Deep Learning"] (6 January 2015), David Talbot, ''[[MIT Technology Review]]'' {{ref-en}}</ref> Іншим прикладом є новітній аналіз у лицевій дисморфології ({{lang-en|Facial Dysmorphology Novel Analysis, FDNA}}), який використовують для аналізу випадків вад розвитку людини, пов'язаних із великою базою даних генетичних синдромів.

=== Обробка образотворчого мистецтва ===
[[Файл:Jimmy_Wales_in_France,_with_the_style_of_Munch's_"The_Scream"_applied_using_neural_style_transfer.jpg|міні|164x164пкс|Візуальна художня обробка Джиммі Вейлза у Франції у стилі «[[Крик (картина Мунка)|Крику]]» Мунка, застосованого за допомогою нейронного перенесення стилю]]

З прогресом, досягнутим у розпізнаванні зображень, тісно пов'язане все ширше застосування методик глибокого навчання до різноманітних завдань образотворчого мистецтва. ГНМ довели свою здатність, наприклад, у

* встановлюванні періоду стилю заданої картини<ref name="art1" /><ref name="art2" />
* {{нп|Нейронне перенесення стилю|Нейроннім перенесенні стилю||Neural style transfer}}&nbsp;— вловлюванні стилю певного твору мистецтва та застосуванні його візуально приємним чином до довільної фотографії чи відео<ref name="art1" /><ref name="art2" />
* створенні вражаючих зображень на основі випадкових вхідних зорових полів.<ref name="art1">{{cite journal |author1=G. W. Smith|author2=Frederic Fol Leymarie|date=10 квітня 2017|title=The Machine as Artist: An Introduction|journal=Arts|volume=6|issue=4|pages=5|doi=10.3390/arts6020005|doi-access=free|language=en}}</ref><ref name="art2">{{cite journal |author=Blaise Agüera y Arcas|date=29 вересня 2017|title=Art in the Age of Machine Intelligence|journal=Arts|volume=6|issue=4|pages=18|doi=10.3390/arts6040018|doi-access=free|language=en}}</ref>

=== Обробка природної мови ===
{{Main|Обробка природної мови}}

Нейронні мережі використовують для втілення мовних моделей з початку 2000-х років.<ref name="gers2001" /> [[Довга короткочасна пам'ять|ДКЧП]] допомогла покращити машинний переклад і моделювання мови.<ref name="NIPS2014" /><ref name="vinyals2016" /><ref name="gillick2015" />

Іншими ключовими методиками в цій галузі є негативне вибирання ({{lang-en|negative sampling}})<ref name="GoldbergLevy2014">{{cite arXiv|last1=Goldberg|first1=Yoav|last2=Levy|first2=Omar|title=word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method|eprint=1402.3722|class=cs.CL|year=2014|language=en}}</ref> та [[вкладання слів]]. Вкладання слів, наприклад ''[[word2vec]]'', можливо розглядати як шар подання в архітектурі глибокого навчання, який перетворює атомарне слово в подання розташування слова відносно інших слів у наборі даних; розташування подається як точка у [[Векторний простір|векторному просторі]]. Використання вкладення слів як вхідного рівня РНМ дозволяє цій мережі аналізувати речення та фрази за допомогою ефективної композиційної векторної граматики. Композиційну векторну граматику можливо розглядати як {{нп|Імовірнісна контекстновільна граматика|імовірнісну контекстновільну граматику||Probabilistic context free grammar}} (ІКВГ, {{lang-en|probabilistic context free grammar, PCFG}}), втілену РНМ.<ref name="SocherManning2014">{{cite web|last1=Socher|first1=Richard|last2=Manning|first2=Christopher|title=Deep Learning for NLP|url=http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|access-date=26 жовтня 2014|archive-date=6 липня 2014|archive-url=https://web.archive.org/web/20140706040227/http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|url-status=live|language=en}}</ref> Рекурсивні автокодувальники, збудовані поверх вкладень слів, можуть оцінювати схожість речень та виявляти перефразування.<ref name="SocherManning2014" /> Глибокі нейронні архітектури забезпечують найкращі результати для аналізу складників,<ref>{{Cite journal|url = http://aclweb.org/anthology/P/P13/P13-1045.pdf|title = Parsing With Compositional Vector Grammars|last1 = Socher|first1 = Richard|date = 2013|journal = Proceedings of the ACL 2013 Conference|last2 = Bauer|first2 = John|last3 = Manning|first3 = Christopher|last4 = Ng|first4 = Andrew|access-date = 2014-09-03|archive-date = 2014-11-27|archive-url = https://web.archive.org/web/20141127005912/http://www.aclweb.org/anthology/P/P13/P13-1045.pdf|url-status = live|language = en}}</ref> [[Аналіз тональності тексту|тональності]],<ref name=RDM_1>{{cite journal| title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank| author1=Socher, R.| author2=Perelygin, A.| author3=Wu, J.| author4=Chuang, J.| author5=Manning, C.D.| author6=Ng, A.| author7=Potts, C.| url=https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf| publisher=Association for Computational Linguistics| journal=Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing| date=жовтень 2013| access-date=21 грудня 2023| url-status = live| archive-url=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf| archive-date=28 грудня 2016|language = en}}</ref> пошуку інформації,<ref>{{Cite journal| last1=Shen| first1=Yelong| last2=He| first2=Xiaodong| last3=Gao| first3=Jianfeng|last4=Deng|first4=Li|last5=Mesnil|first5=Gregoire|date=1 листопада 2014|title=A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval|url=https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/|journal=Microsoft Research|access-date=14 червня 2017|archive-date=27 жовтня 2017|archive-url=https://web.archive.org/web/20171027050418/https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/|url-status=live|language=en}}</ref><ref>{{Cite journal|last1=Huang|first1=Po-Sen|last2=He|first2=Xiaodong|last3=Gao|first3=Jianfeng|last4=Deng|first4=Li|last5=Acero|first5=Alex|last6=Heck|first6=Larry|date=1 жовтня 2013|title=Learning Deep Structured Semantic Models for Web Search using Clickthrough Data|url=https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/|journal=Microsoft Research|access-date=14 червня 2017|archive-date=27 жовтня 2017|archive-url=https://web.archive.org/web/20171027050414/https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/|url-status=live|language=en}}</ref> розуміння розмовної мови,<ref name="IEEE-TASL2015">{{cite journal | last1 = Mesnil | first1 = G. | last2 = Dauphin | first2 = Y. | last3 = Yao | first3 = K. | last4 = Bengio | first4 = Y. | last5 = Deng | first5 = L. | last6 = Hakkani-Tur | first6 = D. | last7 = He | first7 = X. | last8 = Heck | first8 = L. | last9 = Tur | first9 = G. | last10 = Yu | first10 = D. | last11 = Zweig | first11 = G. | s2cid = 1317136 | year = 2015 | title = Using recurrent neural networks for slot filling in spoken language understanding | journal = IEEE Transactions on Audio, Speech, and Language Processing | volume = 23 | issue = 3| pages = 530–539 | doi=10.1109/taslp.2014.2383614 | language=en}}</ref> машинного перекладу,<ref name="NIPS2014">{{Cite journal|last1=Sutskever|first1=L.|last2=Vinyals|first2=O.|last3=Le|first3=Q.|date=2014|title=Sequence to Sequence Learning with Neural Networks|url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf|journal=Proc. NIPS|bibcode=2014arXiv1409.3215S|arxiv=1409.3215|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123145/https://papers.nips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf|url-status=live|language=en}}</ref><ref name="auto">{{Cite journal|last1=Gao|first1=Jianfeng|last2=He|first2=Xiaodong|last3=Yih|first3=Scott Wen-tau|last4=Deng|first4=Li|date=1 червня 2014|title=Learning Continuous Phrase Representations for Translation Modeling|url=https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/|journal=Microsoft Research|access-date=14 червня 2017|archive-date=27 жовтня 2017|archive-url=https://web.archive.org/web/20171027050403/https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/|url-status=live|language=en}}</ref> контекстного зв'язування об'єктів,<ref name="auto" /> розпізнавання стилю написання,<ref name="BROC2017">{{Cite journal |doi = 10.1002/dac.3259|title = Authorship verification using deep belief network systems|journal = International Journal of Communication Systems|volume = 30|issue = 12|pages = e3259|year = 2017|last1 = Brocardo|first1 = Marcelo Luiz|last2 = Traore|first2 = Issa|last3 = Woungang|first3 = Isaac|last4 = Obaidat|first4 = Mohammad S.| s2cid=40745740| language=en }}</ref> [[розпізнавання іменованих сутностей]] (класифікування лексем),<ref>{{Cite journal |last1=Kariampuzha |first1=William |last2=Alyea |first2=Gioconda |last3=Qu |first3=Sue |last4=Sanjak |first4= Jaleal |last5=Mathé |first5=Ewy |last6=Sid |first6=Eric |last7= Chatelaine |first7=Haley |last8=Yadaw |first8=Arjun |last9=Xu |first9=Yanji |last10=Zhu |first10=Qian |date=2023 |title=Precision information extraction for rare disease epidemiology at scale |journal=Journal of Translational Medicine |language=en |volume=21 |issue=1 |page=157 |doi=10.1186/s12967-023-04011-y |pmid=36855134 |pmc=9972634 |doi-access=free }}</ref> класифікування тексту та інших.<ref>{{Cite news|url=https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/|title=Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research|work=Microsoft Research|access-date=14 червня 2017|archive-date=13 березня 2017|archive-url=https://web.archive.org/web/20170313184253/https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/|url-status=live|language=en}}</ref>

Останні розробки узагальнюють [[вкладання слів]] до [[вкладання речень]].

[[Перекладач Google|Перекладач ''Google'']] використовує велику наскрізну мережу [[Довга короткочасна пам'ять|довгої короткочасної пам'яті]] (ДКЧП).<ref name="GT_Turovsky_2016">{{cite web|url=https://blog.google/products/translate/found-translation-more-accurate-fluent-sentences-google-translate/|title=Found in translation: More accurate, fluent sentences in Google Translate|last=Turovsky|first=Barak|date=15 листопада 2016|website=The Keyword Google Blog|access-date=23 березня 2017|archive-date=7 квітня 2017|archive-url=https://web.archive.org/web/20170407071226/https://blog.google/products/translate/found-translation-more-accurate-fluent-sentences-google-translate/|url-status=live|language=en}}</ref><ref name="googleblog_GNMT_2016">{{cite web|url=https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|title=Zero-Shot Translation with Google's Multilingual Neural Machine Translation System|last1=Schuster|first1=Mike|last2=Johnson|first2=Melvin|date=22 листопада 2016|website=Google Research Blog|access-date=23 березня 2017|last3=Thorat|first3=Nikhil|archive-date=10 липня 2017|archive-url=https://web.archive.org/web/20170710183732/https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|url-status=live|language=en}}</ref><ref name="GoogleTranslate">{{cite arXiv |eprint=1609.08144|last1=Wu|first1=Yonghui|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|last2=Schuster|first2=Mike|last3=Chen|first3=Zhifeng|last4=Le|first4=Quoc V|last5=Norouzi|first5=Mohammad|last6=Macherey|first6=Wolfgang|last7=Krikun|first7=Maxim|last8=Cao|first8=Yuan|last9=Gao|first9=Qin|last10=Macherey|first10=Klaus|last11=Klingner|first11=Jeff|last12=Shah|first12=Apurva|last13=Johnson|first13=Melvin|last14=Liu|first14=Xiaobing|last15=Kaiser|first15=Łukasz|last16=Gouws|first16=Stephan|last17=Kato|first17=Yoshikiyo|last18=Kudo|first18=Taku|last19=Kazawa|first19=Hideto|last20=Stevens|first20=Keith|last21=Kurian|first21=George|last22=Patil|first22=Nishant|last23=Wang|first23=Wei|last24=Young|first24=Cliff|last25=Smith|first25=Jason|last26=Riesa|first26=Jason|last27=Rudnick|first27=Alex|last28=Vinyals|first28=Oriol|last29=Corrado|first29=Greg|last30=Hughes|first30=Macduff|display-authors=29|class=cs.CL|year=2016|language=en}}</ref><ref name="WiredGoogleTranslate">{{cite magazine |title=An Infusion of AI Makes Google Translate More Powerful Than Ever |first=Cade |last=Metz |magazine=[[Wired]] |date=27 вересня 2016 |url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/ |access-date=12 жовтня 2017 |archive-date=8 листопада 2020 |archive-url=https://web.archive.org/web/20201108101324/https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/ |url-status=live |language=en }}</ref> [[Нейронний машинний переклад Google|Нейронний машинний переклад ''Google'']] використовує метод [[Машинний переклад на основі прикладів|машинного перекладу на основі прикладів]], у якому система «вчиться на мільйонах прикладів».<ref name="googleblog_GNMT_2016" /> Він перекладає «цілі речення за раз, а не частини». Перекладач Google підтримує понад сто мов.<ref name="googleblog_GNMT_2016" /> Мережа кодує «семантику речення, а не просто запам'ятовує пофразові переклади».<ref name="googleblog_GNMT_2016" /><ref name="Biotet">{{cite web|url=http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|title=MT on and for the Web|last1=Boitet|first1=Christian|last2=Blanchon|first2=Hervé|date=2010|access-date=1 грудня 2016|last3=Seligman|first3=Mark|last4=Bellynck|first4=Valérie|archive-date=29 березня 2017|archive-url=https://web.archive.org/web/20170329125916/http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|url-status=dead|language=en}}</ref> Перекладач ''Google'' використовує англійську як проміжну між більшістю мовних пар.<ref name="Biotet" />

=== Пошук нових ліків та токсикологія ===
{{Докладніше|{{нп|Пошук нових ліків|||Drug discovery}}|Токсикологія}}

Значний відсоток ліків-кандидатів не отримує схвалення регуляторних органів. Ці невдачі спричинені недостатньою ефективністю (впливом на мішень), небажаними взаємодіями (впливами поза мішенню) або непередбаченими [[Токсичність|токсичними впливами]].<ref name="ARROWSMITH2013">{{Cite journal
| pmid = 23903212
| year = 2013
| last1 = Arrowsmith
| first1 = J
| title = Trial watch: Phase II and phase III attrition rates 2011-2012
| journal = Nature Reviews Drug Discovery
| volume = 12
| issue = 8
| pages = 569
| last2 = Miller
| first2 = P
| s2cid = 20246434
| doi = 10.1038/nrd4090
| doi-access = free
| language = en
}}</ref><ref name="VERBIEST2015">{{Cite journal
| pmid = 25582842
| year = 2015
| last1 = Verbist
| first1 = B
| title = Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project
| journal = Drug Discovery Today
| last2 = Klambauer
| first2 = G
| last3 = Vervoort
| first3 = L
| last4 = Talloen
| first4 = W
| last5 = The Qstar
| first5 = Consortium
| last6 = Shkedy
| first6 = Z
| last7 = Thas
| first7 = O
| last8 = Bender
| first8 = A
| last9 = Göhlmann
| first9 = H. W.
| last10 = Hochreiter
| first10 = S
| doi = 10.1016/j.drudis.2014.12.014
| volume=20
| issue = 5
| pages=505–513
| doi-access = free
| hdl = 1942/18723
| hdl-access = free
| language = en
}}</ref> Дослідники вивчали використання глибокого навчання для передбачування {{нп|Біомолекулярна мішень|біомолекулярних мішеней||Biomolecular target}},<ref name="MERCK2012" /><ref name=":5" /> {{нп|Антимішень|антимішеней||Antitarget}} та [[Токсичність|токсичних впливів]] хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках.<ref name="TOX21" /><ref name="TOX21Data" /><ref name=":11" />

''AtomNet''&nbsp;— це система глибокого навчання для [[Раціональне конструювання ліків|раціонального конструювання ліків]] на основі структури.<ref>{{cite arXiv|title = AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery|eprint= 1510.02855|date = 9 жовтня 2015|first1 = Izhar|last1 = Wallach|first2 = Michael|last2 = Dzamba|first3 = Abraham|last3 = Heifets|class= cs.LG|language=en}}</ref> ''AtomNet'' використовували для передбачування новітніх біомолекул-кандидатів для мішеней таких захворювань як [[вірус Ебола]]<ref name="Toronto">{{Cite news |title = Toronto startup has a faster way to discover effective medicines |url = https://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/ |website = [[The Globe and Mail]] |access-date = 9 листопада 2015 |archive-date = 20 жовтня 2015 |archive-url = https://web.archive.org/web/20151020040115/http://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/ |url-status = live|language = en }}</ref> та [[розсіяний склероз]].<ref>{{Cite web|title = Startup Harnesses Supercomputers to Seek Cures|url = http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/|website = KQED Future of You| date=27 May 2015 |access-date = 9 листопада 2015|archive-date = 24 грудня 2015|archive-url = https://web.archive.org/web/20151224104721/http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/|url-status = live|language = en}}</ref><ref name="Toronto" />

2017 року {{нп|Графова нейронна мережа|графові нейронні мережі||Graph neural network}} було вперше використано для передбачування різних властивостей молекул у великому наборі токсикологічних даних.<ref>{{cite arXiv|last1=Gilmer|first1=Justin|last2=Schoenholz|first2=Samuel S.|last3=Riley|first3=Patrick F.|last4=Vinyals|first4=Oriol|last5=Dahl|first5=George E.|date=2017-06-12|title=Neural Message Passing for Quantum Chemistry|class=cs.LG|eprint=1704.01212|language=en}}</ref> 2019 року породжувальні нейронні мережі було використано для створення молекул, які було перевірено експериментально від початку до кінця на мишах.<ref>{{cite journal |last1=Zhavoronkov |first1=Alex|s2cid=201716327|date=2019|title=Deep learning enables rapid identification of potent DDR1 kinase inhibitors |journal=Nature Biotechnology |volume=37|issue=9|pages=1038–1040|doi=10.1038/s41587-019-0224-x |pmid=31477924 |language=en}}</ref><ref>{{cite magazine |last1=Gregory |first1=Barber |title=A Molecule Designed By AI Exhibits 'Druglike' Qualities |url=https://www.wired.com/story/molecule-designed-ai-exhibits-druglike-qualities/ |magazine=Wired |access-date=2019-09-05 |archive-date=2020-04-30 |archive-url=https://web.archive.org/web/20200430143244/https://www.wired.com/story/molecule-designed-ai-exhibits-druglike-qualities/ |url-status=live |language=en }}</ref>

=== Управління відносинами з клієнтами ===
{{Main|Управління відносинами з клієнтами}}

{{нп|Глибоке навчання з підкріпленням|||Deep reinforcement learning}} використовували для наближування цінності можливих дій [[Прямий маркетинг|прямого маркетингу]], визначених у термінах змінних ''[[RFM]]''. Було показано, що ця функція оцінки цінності має природну інтерпретацію як [[пожиттєва цінність клієнта]].<ref>{{cite arXiv|last=Tkachenko |first=Yegor |title=Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space |date=8 квітня 2015 |eprint=1504.01840|class=cs.LG|language=en }}</ref>

=== Рекомендаційні системи ===
{{Main|Рекомендаційна система}}

Рекомендаційні системи використовували глибоке навчання для виділяння значущих ознак для моделі латентних чинників для музичних та журнальних рекомендацій на основі вмісту.<ref>{{Cite book|url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|title=Advances in Neural Information Processing Systems 26|last1=van den Oord|first1=Aaron|last2=Dieleman|first2=Sander|last3=Schrauwen|first3=Benjamin|date=2013|publisher=Curran Associates, Inc.|editor-last=Burges|editor-first=C. J. C.|pages=2643–2651|editor-last2=Bottou|editor-first2=L.|editor-last3=Welling|editor-first3=M.|editor-last4=Ghahramani|editor-first4=Z.|editor-last5=Weinberger|editor-first5=K. Q.|access-date=2017-06-14|archive-date=2017-05-16|archive-url=https://web.archive.org/web/20170516185259/http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|url-status=live|language=en}}</ref><ref>{{cite journal | last1 = Feng | first1 = X.Y. | last2 = Zhang | first2 = H. | last3 = Ren | first3 = Y.J. | last4 = Shang | first4 = P.H. | last5 = Zhu | first5 = Y. | last6 = Liang | first6 = Y.C. | last7 = Guan | first7 = R.C. | last8 = Xu | first8 = D. | year = 2019 | title = The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study | journal = {{нп|Journal of Medical Internet Research}} | volume = 21 | issue = 5| page = e12957 | doi = 10.2196/12957 | pmid = 31127715 | pmc = 6555124 | doi-access = free | language = en }}</ref> Для навчання уподобань користувачів із кількох областей було застосовано багатоаспектне глибоке навчання ({{lang-en|multi-view deep learning}}).<ref>{{Cite journal|last1=Elkahky|first1=Ali Mamdouh|last2=Song|first2=Yang|last3=He|first3=Xiaodong|date=1 травня 2015|title=A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems|url=https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/|journal=Microsoft Research|access-date=14 червня 2017|archive-date=25 січня 2018|archive-url=https://web.archive.org/web/20180125134534/https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/|url-status=live|language=en}}</ref> Ця модель використовує гібридний спільний та оснований на вмісті підхід, і покращує рекомендації в декількох завданнях.

=== Біоінформатика ===
{{Main|Біоінформатика}}

[[Автокодувальник|Автокодувальну]] ШНМ використовували в [[Біоінформатика|біоінформатиці]] для передбачування анотацій [[Онтологія гена|генної онтології]] та зв'язків між генами й функціями.<ref>{{cite book|first1=Davide|last1=Chicco|first2=Peter|last2=Sadowski|first3=Pierre|last3=Baldi|title=Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics |chapter=Deep autoencoder neural networks for gene ontology annotation predictions |s2cid=207217210|date=1 січня 2014|publisher=ACM|pages=533–540|doi=10.1145/2649387.2649442|isbn=9781450328944|hdl=11311/964622|url=http://dl.acm.org/citation.cfm?id=2649442|access-date=23 листопада 2015|archive-date=9 травня 2021|archive-url=https://web.archive.org/web/20210509123140/https://dl.acm.org/doi/10.1145/2649387.2649442|url-status=live|language=en}}</ref>

У медичній інформатиці глибоке навчання використовували для передбачування якості сну на основі даних з носимих пристроїв<ref>{{Cite journal|last=Sathyanarayana|first=Aarti|s2cid=3821594|date=1 січня 2016|title=Sleep Quality Prediction From Wearable Data Using Deep Learning|journal=JMIR mHealth and uHealth|volume=4|issue=4|doi=10.2196/mhealth.6562|pmid=27815231|pmc=5116102|pages=e125 |doi-access=free |language=en }}</ref> та для передбачування ускладнень здоров'я з даних [[Електронний медичний запис|електронних медичних записів]].<ref>{{Cite journal|last1=Choi|first1=Edward|last2=Schuetz|first2=Andy|last3=Stewart|first3=Walter F.|last4=Sun|first4=Jimeng|date=13 серпня 2016|title=Using recurrent neural network models for early detection of heart failure onset|journal=Journal of the American Medical Informatics Association|volume=24|issue=2|pages=361–370|doi=10.1093/jamia/ocw112|issn=1067-5027|pmid=27521897|pmc=5391725|language=en}}</ref>

=== Оцінювання глибокими нейронними мережами ===

Глибокі нейронні мережі (ГНМ) можливо використовувати для оцінювання ентропії [[Стохастичний процес|стохастичних процесів]], їх називають нейронними оцінювачами спільної ентропії (НОСЕ, {{lang-en|Neural Joint Entropy Estimator, NJEE}}).<ref name="SPB22">{{Cite journal |last1=Shalev |first1=Y. |last2=Painsky |first2=A. |last3=Ben-Gal |first3=I. |title=Neural Joint Entropy Estimation |journal=IEEE Transactions on Neural Networks and Learning Systems |language=en |date=2022 |volume=PP |pages=1–13 |url=https://www.iradbengal.sites.tau.ac.il/_files/ugd/901879_d51bc0a620734585b5d3154488b3ae84.pdf |doi=10.1109/TNNLS.2022.3204919 |pmid=36155469 |arxiv=2012.11197 |s2cid=229339809 }}</ref> Таке оцінювання дає уявлення про вплив [[Випадкова змінна|випадкових змінних]] входу на незалежну випадкову змінну. На практиці, ГНМ тренують як [[Класифікатор (машинне навчання)|класифікатор]], який відображує [[Вектор (математика та фізика)|вектор]] або [[Матриця (математика)|матрицю]] входу X у [[розподіл імовірності]] виходу над можливими класами випадкової змінної Y за заданого входу X. Наприклад, у завданнях [[класифікування зображень]] НОСЕ відображує вектор значень кольорів [[Піксель|пікселів]] у ймовірності над можливими класами зображень. На практиці розподіл імовірності Y отримують за допомогою шару ''[[Softmax]]'' із кількістю вузлів, яка дорівнює розміру [[Абетка|абетки]] Y. НОСЕ використовує неперервно диференційовні [[Передавальна функція штучного нейрона|передавальні функції]], так що умови [[Теорема про універсальне наближення|теореми про універсальне наближення]] виконуються. Показано, що цей метод забезпечує сильно [[Слушна оцінка|слушну оцінку]] й перевершує інші методи в разі великих розмірів абетки.<ref name="SPB22" />

=== Аналіз медичних зображень ===

Було показано, що глибоке навчання дає конкурентоспроможні результати в медичних застосуваннях, таких як класифікування ракових клітин, виявляння уражень, сегментування органів та покращування зображень.<ref>{{Cite journal|last1=Litjens|first1=Geert|last2=Kooi|first2=Thijs|last3=Bejnordi|first3=Babak Ehteshami|last4=Setio|first4=Arnaud Arindra Adiyoso|last5=Ciompi|first5=Francesco|last6=Ghafoorian|first6=Mohsen|last7=van der Laak|first7=Jeroen A.W.M.|last8=van Ginneken|first8=Bram|last9=Sánchez|first9=Clara I.|s2cid=2088679|date=December 2017|title=A survey on deep learning in medical image analysis|journal=Medical Image Analysis|volume=42|pages=60–88|doi=10.1016/j.media.2017.07.005|pmid=28778026|arxiv=1702.05747|bibcode=2017arXiv170205747L|language=en}}</ref><ref>{{Cite book|doi=10.1109/ICCVW.2017.18|isbn=9781538610343|chapter=Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy|title=2017 IEEE International Conference on Computer Vision Workshops (ICCVW)|pages=82–89|year=2017|last1=Forslid|first1=Gustav|last2=Wieslander|first2=Hakan|last3=Bengtsson|first3=Ewert|last4=Wahlby|first4=Carolina|last5=Hirsch|first5=Jan-Michael|last6=Stark|first6=Christina Runow|last7=Sadanandan|first7=Sajith Kecheril|s2cid=4728736|chapter-url=http://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-326160|access-date=2019-11-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123157/https://d1bxh8uas1mnw7.cloudfront.net/assets/embed.js|url-status=live|language=en}}</ref> Сучасні інструменти глибокого навчання демонструють високу точність виявляння різних захворювань та доцільність використання їх фахівцями для підвищення ефективності діагностування.<ref>{{Cite journal |last1=Dong |first1=Xin |last2=Zhou |first2=Yizhao |last3=Wang |first3=Lantian |last4=Peng |first4=Jingfeng |last5=Lou |first5=Yanbo |last6=Fan |first6=Yiqun |date=2020 |title=Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework |journal=IEEE Access |volume=8 |pages=129889–129898 |doi=10.1109/ACCESS.2020.3006362 |bibcode=2020IEEEA...8l9889D |s2cid=220733699 |issn=2169-3536 |doi-access=free |language=en}}</ref><ref>{{Cite journal |last1=Lyakhov |first1=Pavel Alekseevich |last2=Lyakhova |first2=Ulyana Alekseevna |last3=Nagornov |first3=Nikolay Nikolaevich |date=2022-04-03 |title=System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network |journal=Cancers |language=en |volume=14 |issue=7 |pages=1819 |doi=10.3390/cancers14071819 |pmid=35406591 |pmc=8997449 |issn=2072-6694|doi-access=free }}</ref>

=== Мобільна реклама ===

Знайти відповідну мобільну аудиторію для [[Мобільна реклама|мобільної реклами]] завжди складно, оскільки необхідно розглянути та проаналізувати багато точок даних, перш ніж стане можливо створити цільовий сегмент і використати його для розміщення реклами на будь-якому рекламному сервері.<ref>{{cite book |doi=10.1109/CSCITA.2017.8066548 |isbn=978-1-5090-4381-1|chapter=Predicting the popularity of instagram posts for a lifestyle magazine using deep learning|title=2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA)|pages=174–177|year=2017|last1=De|first1=Shaunak|last2=Maity|first2=Abhishek|last3=Goel|first3=Vritti|last4=Shitole|first4=Sanjay|last5=Bhattacharya|first5=Avik|s2cid=35350962|language=en}}</ref> Глибоке навчання використовували для інтерпретування великих, багатовимірних наборів рекламних даних. Під час циклу інтернет-реклами запит/подача/натискання збирають багато точок даних. Ця інформація може ставати основою машинного навчання для покращення обирання оголошень.

=== Відновлювання зображень ===

Глибоке навчання було успішно застосовано до {{нп|Обернена задача|обернених задач||Inverse problem}}, таких як [[знешумлювання]], {{нп|надвисока роздільність|||Super-resolution}}, {{нп|заповнювання прогалин|||Inpainting}} та [[Кольоризація|кольоризування фільмів]].<ref>{{Cite web|url=https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/|title=Colorizing and Restoring Old Images with Deep Learning|date=13 листопада 2018|website=FloydHub Blog|language=en|access-date=11 жовтня 2019|archive-date=11 жовтня 2019|archive-url=https://web.archive.org/web/20191011162814/https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/|url-status=live|language=en}}</ref> До цих застосувань входять такі методи навчання як «''Shrinkage Fields for Effective Image Restoration''»,<ref>{{cite conference |url= http://research.uweschmidt.org/pubs/cvpr14schmidt.pdf |first1= Uwe |last1= Schmidt |first2= Stefan |last2= Roth |conference= Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on |title= Shrinkage Fields for Effective Image Restoration |access-date= 2018-01-01 |archive-date= 2018-01-02 |archive-url= https://web.archive.org/web/20180102013217/http://research.uweschmidt.org/pubs/cvpr14schmidt.pdf |url-status= live |language= en }}</ref> який тренується на наборі зображень, та {{нп|глибоке апріорне зображень|||Deep Image Prior}} ({{lang-en|Deep Image Prior}}), що тренується на зображенні, якому потрібне відновлення.

=== Виявляння фінансового шахрайства ===

Глибоке навчання успішно застосовують для [[Виявляння шахрайства|виявляння фінансового шахрайства]], ухилення від сплати податків<ref>{{cite journal
|first1=Christos |last1=Kleanthous
|first2=Sotirios |last2=Chatzis
|title=Gated Mixture Variational Autoencoders for Value Added Tax audit case selection
|journal=Knowledge-Based Systems
|volume=188
|year=2020
|page=105048
|doi=10.1016/j.knosys.2019.105048
|s2cid=204092079
|language=en
}}</ref> та боротьби з відмиванням грошей.<ref>{{cite journal
|first=Tomasz
|last=Czech
|title=Deep learning: the next frontier for money laundering detection
|url=https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/
|journal=Global Banking and Finance Review
|date=28 червня 2018
|access-date=2018-07-15
|archive-date=2018-11-16
|archive-url=https://web.archive.org/web/20181116082711/https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/
|url-status=live
|language=en
}}</ref>

=== Матеріалознавство ===

У листопаді 2023 року дослідники з ''[[Google DeepMind]]'' та [[Національна лабораторія ім. Лоуренса в Берклі|Національної лабораторії ім. Лоуренса в Берклі]] оголосили, що вони розробили систему ШІ, відому як ''GNoME''. Ця система зробила внесла внесок до [[Матеріалознавство|матеріалознавства]], відкривши понад 2 мільйони нових матеріалів за відносно короткий час. ''GNoME'' використовує методики глибокого навчання для ефективного дослідження потенційних структур матеріалів, досягаючи значного зростання у встановлюванні стабільних неорганічних [[Кристалічна структура|кристалічних структур]]. Передбачення цієї системи були підтверджені за допомогою автономних роботизованих експериментів, продемонструвавши вражаючий рівень успішності в 71&nbsp;%. Дані про нововідкриті матеріали доступні публічно через базу даних ''{{нп|Materials Project}}'', надаючи дослідникам можливість встановлювати матеріали з бажаними властивостями для різних застосувань. Цей розвиток має наслідки для майбутнього наукових відкриттів та інтегрування ШІ в дослідження матеріалознавства, потенційно прискорюючи нововведення в матеріалах та знижуючи вартість розробки продуктів. Використання ШІ та глибокого навчання натякає на можливість мінімізації або виключення ручних лабораторних експериментів та дозволяє науковцям більше зосередитися на проєктуванні й аналізі унікальних сполук.<ref>{{Cite web |last=Nuñez |first=Michael |date=2023-11-29 |title=Google DeepMind's materials AI has already discovered 2.2 million new crystals |url=https://venturebeat.com/ai/google-deepminds-materials-ai-has-already-discovered-2-2-million-new-crystals/ |access-date=2023-12-19 |website=VentureBeat |language=en-US}}</ref><ref>{{Cite journal |last1=Merchant |first1=Amil |last2=Batzner |first2=Simon |last3=Schoenholz |first3=Samuel S. |last4=Aykol |first4=Muratahan |last5=Cheon |first5=Gowoon |last6=Cubuk |first6=Ekin Dogus |date=грудень 2023 |title=Scaling deep learning for materials discovery |journal=Nature |language=en |volume=624 |issue=7990 |pages=80–85 |doi=10.1038/s41586-023-06735-9 |issn=1476-4687|doi-access=free |pmc=10700131 }}</ref><ref>{{Cite journal |last=Peplow |first=Mark |date=2023-11-29 |title=Google AI and robots join forces to build new materials |url=https://www.nature.com/articles/d41586-023-03745-5 |journal=Nature |language=en |doi=10.1038/d41586-023-03745-5}}</ref>

=== Військові ===

Міністерство оборони Сполучених Штатів застосовувало глибоке навчання, щоб тренувати роботів виконувати нові завдання через спостереження.<ref name=":12">{{Cite web|url=https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|title=Army researchers develop new algorithms to train robots|website=EurekAlert!|access-date=29 серпня 2018|archive-date=28 серпня 2018|archive-url=https://web.archive.org/web/20180828035608/https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|url-status=live|language=en}}</ref>

=== Диференціальні рівняння з частинними похідними ===

Фізичні нейронні мережі ({{lang-en|physics informed neural networks}}) використовували для розв'язування [[Диференціальне рівняння з частинними похідними|диференціальних рівнянь із частинними похідними]] як у прямих, так і в обернених задачах на основі даних.<ref>{{Cite journal|last1=Raissi|first1=M.|last2=Perdikaris|first2=P.|last3=Karniadakis|first3=G. E.|date=2019-02-01|title=Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations|journal=Journal of Computational Physics|language=en|volume=378|pages=686–707|doi=10.1016/j.jcp.2018.10.045|bibcode=2019JCoPh.378..686R|osti=1595805|s2cid=57379996|issn=0021-9991|doi-access=free}}</ref> Одним із прикладів є відбудова потоку рідини, керована [[Рівняння Нав'є — Стокса|рівняннями Нав'є&nbsp;— Стокса]]. Використання фізичних нейронних мереж не потребує часто витратного породжування сітки, на яке спираються звичайні методи [[Обчислювальна гідродинаміка|обчислювальної гідродинаміки]].<ref>{{Cite journal|last1=Mao|first1=Zhiping|last2=Jagtap|first2=Ameya D.|last3=Karniadakis|first3=George Em|date=2020-03-01|title=Physics-informed neural networks for high-speed flows|journal=Computer Methods in Applied Mechanics and Engineering|language=en|volume=360|pages=112789|doi=10.1016/j.cma.2019.112789|bibcode=2020CMAME.360k2789M|s2cid=212755458|issn=0045-7825|doi-access=free}}</ref><ref>{{Cite journal|last1=Raissi|first1=Maziar|last2=Yazdani|first2=Alireza|last3=Karniadakis|first3=George Em|date=2020-02-28|title=Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations|journal=Science|volume=367|issue=6481|pages=1026–1030|doi=10.1126/science.aaw4741|pmc=7219083|pmid=32001523|bibcode=2020Sci...367.1026R|language=en}}</ref>

=== Відбудова зображень ===

Відбудова зображень ({{lang-en|image reconstruction}})&nbsp;— це відбудова зображень, що лежать в основі пов'язаних із зображеннями вимірювань. Декілька праць показали кращу та відмінну продуктивність методів глибокого навчання порівняно з аналітичними методами для різних застосувань, наприклад, спектральних<ref>{{Cite journal |last1=Oktem |first1=Figen S. |last2=Kar |first2=Oğuzhan Fatih |last3=Bezek |first3=Can Deniz |last4=Kamalabadi |first4=Farzad |date=2021 |title=High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction |url=https://ieeexplore.ieee.org/document/9415140 |journal=IEEE Transactions on Computational Imaging |volume=7 |pages=489–504 |doi=10.1109/TCI.2021.3075349 |arxiv=2008.11625 |s2cid=235340737 |issn=2333-9403 |language=en}}</ref> та ультразвукових зображень.<ref>{{Cite journal |last1=Bernhardt |first1=Melanie |last2=Vishnevskiy |first2=Valery |last3=Rau |first3=Richard |last4=Goksel |first4=Orcun |date=December 2020 |title=Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction |url=https://ieeexplore.ieee.org/document/9144249 |journal=IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control |volume=67 |issue=12 |pages=2584–2594 |doi=10.1109/TUFFC.2020.3010186 |pmid=32746211 |arxiv=2006.14395 |s2cid=220055785 |issn=1525-8955 |language=en}}</ref>

=== Епігенетичний годинник ===
{{Main|{{нп|Епігенетичний годинник|||Epigenetic clock}}}}

Епігенетичний годинник ({{lang-en|epigenetic clock}})&nbsp;— це [[Біомаркери старіння|біохімічний тест]], який можливо використовувати для вимірювання віку. Галкін зі співавт. використали глибокі нейронні мережі, щоби натренувати епігенетичний годинник старіння з безпрецедентною точністю, використавши понад 6000 зразків крові.<ref>{{cite journal | last1 = Galkin | first1 = F. | last2 = Mamoshina | first2 = P. | last3 = Kochetov | first3 = K. | last4 = Sidorenko | first4 = D. | last5 = Zhavoronkov | first5 = A. | year = 2020 | title = DeepMAge: A Methylation Aging Clock Developed with Deep Learning | journal = Aging and Disease | doi = 10.14336/AD | doi-access = free | language = en }}</ref> Цей годинник використовує інформацію з 1000 [[CpG-острівці|''CpG''-острівців]] і передбачує людей з певними станами старше здорових контрольних груп: {{нп|Запальні захворювання кишківника|ЗЗК||Inflammatory bowel disease}}, [[Лобово-скронева деменція|лобово-скроневою деменцією]], [[Рак яєчника|раком яєчника]], [[ожиріння]]м. Цей годинник старіння планувала випустити для загального використання в 2021 року дочірня компанія компанії ''{{нп|Insilico Medicine}}'', ''Deep Longevity''.

== Відношення до когнітивного розвитку людини та розвитку мозку ==

Глибоке навчання тісно пов'язане з класом теорій {{нп|Розвиток мозку|розвитку мозку||Brain development}} (особливо [[Нова кора|нової кори]]), запропонованих [[Когнітивна нейробіологія|когнітивними нейробіологами]] на початку 1990-х років.<ref name="UTGOFF">{{cite journal | last1 = Utgoff | first1 = P. E. | last2 = Stracuzzi | first2 = D. J. | s2cid = 1119517 | year = 2002 | title = Many-layered learning | journal = Neural Computation | volume = 14 | issue = 10| pages = 2497–2529 | doi=10.1162/08997660260293319| pmid = 12396572| language = en }}</ref><ref name="ELMAN">{{cite book|url={{google books |plainurl=y |id=vELaRu_MrwoC}}|title=Rethinking Innateness: A Connectionist Perspective on Development|last=Elman|first=Jeffrey L.|publisher=MIT Press|year=1998|isbn=978-0-262-55030-7|language=en}}</ref><ref name="SHRAGER">{{cite journal | last1 = Shrager | first1 = J. | last2 = Johnson | first2 = MH | year = 1996 | title = Dynamic plasticity influences the emergence of function in a simple cortical array | url = https://archive.org/details/sim_neural-networks_1996-10_9_7/page/1119 | journal = Neural Networks | volume = 9 | issue = 7| pages = 1119–1129 | doi=10.1016/0893-6080(96)00033-0| pmid = 12662587| language = en }}</ref><ref name="QUARTZ">{{cite journal | last1 = Quartz | first1 = SR | last2 = Sejnowski | first2 = TJ | year = 1997 | title = The neural basis of cognitive development: A constructivist manifesto | journal = Behavioral and Brain Sciences | volume = 20 | issue = 4| pages = 537–556 | doi=10.1017/s0140525x97001581| pmid = 10097006 | citeseerx = 10.1.1.41.7854 | s2cid = 5818342 | language = en }}</ref> Ці теорії розвитку було втілено в обчислювальних моделях, що зробило їх попередниками систем глибокого навчання. Ці моделі розвитку поділяють таку властивість, що різні запропоновані динаміки навчання в мозку (наприклад, хвиля [[Чинник росту нервів|чинника росту нервів]]) підтримують [[Самоорганізація|самоорганізацію,]] дещо аналогічну нейронним мережам, які використовують у моделях глибокого навчання. Як і [[нова кора]], нейронні мережі використовують ієрархію багатошарових фільтрів, у яких кожен шар розглядає інформацію з попереднього шару (або робочого середовища), а потім передає свій вихід (і, можливо, початковий вхід) іншим шарам. Цей процес видає самоорганізований стос [[Вимірювальний перетворювач|вимірювальних перетворювачів]], добре підлаштованих до їхнього робочого середовища. В описі 1995 року зазначено: «…мозок немовляти, здається, організовується під впливом хвиль так званих [[Фактори росту|чинників росту]]… різні ділянки мозку стають з'єднаними послідовно, причому один шар тканини дозріває раніше іншого, і так далі, поки не дозріє весь мозок».<ref name="BLAKESLEE">S. Blakeslee, "In brain's early growth, timetable may be critical", ''The New York Times, Science Section'', pp. B5–B6, 1995. {{ref-en}}</ref>

Було використано різноманітні підходи для дослідження правдоподібності моделей глибокого навчання з нейробіологічної точки зору. З одного боку, було запропоновано декілька варіантів алгоритму [[Зворотне поширення|зворотного поширення]] з метою підвищення реалістичності його обробки.<ref>{{Cite journal|last1=Mazzoni|first1=P.|last2=Andersen|first2=R. A.|last3=Jordan|first3=M. I.|date=15 травня 1991|title=A more biologically plausible learning rule for neural networks.|journal=Proceedings of the National Academy of Sciences|volume=88|issue=10|pages=4433–4437|doi=10.1073/pnas.88.10.4433|issn=0027-8424|pmid=1903542|pmc=51674|bibcode=1991PNAS...88.4433M|doi-access=free|language=en}}</ref><ref>{{Cite journal|last=O'Reilly|first=Randall C.|s2cid=2376781|date=1 липня 1996|title=Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm|url=https://archive.org/details/sim_neural-computation_1996-07-01_8_5/page/895|journal=Neural Computation|volume=8|issue=5|pages=895–938|doi=10.1162/neco.1996.8.5.895|issn=0899-7667|language=en}}</ref> Інші дослідники стверджують, що до біологічної дійсності можуть бути ближчими форми некерованого глибокого навчання, такі як ті, що ґрунтуються на ієрархічних [[Породжувальна модель|породжувальних моделях]] та [[Глибока мережа переконань|глибоких мережах переконань]].<ref>{{Cite journal|last1=Testolin|first1=Alberto|last2=Zorzi|first2=Marco|s2cid=9868901|date=2016|title=Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions|journal=Frontiers in Computational Neuroscience|volume=10|pages=73|doi=10.3389/fncom.2016.00073|pmid=27468262|pmc=4943066|issn=1662-5188|doi-access=free|language=en}}</ref><ref>{{Cite journal|last1=Testolin|first1=Alberto|last2=Stoianov|first2=Ivilin|last3=Zorzi|first3=Marco|s2cid=24504018|date=September 2017|title=Letter perception emerges from unsupervised deep learning and recycling of natural image features|journal=Nature Human Behaviour|volume=1|issue=9|pages=657–664|doi=10.1038/s41562-017-0186-2|pmid=31024135|issn=2397-3374|language=en}}</ref> У цьому відношенні моделі породжувальних нейронних мереж пов'язували з нейробіологічними свідченнями обробки в корі головного мозку на основі вибірки.<ref>{{Cite journal|last1=Buesing|first1=Lars|last2=Bill|first2=Johannes|last3=Nessler|first3=Bernhard|last4=Maass|first4=Wolfgang|s2cid=7504633|date=3 листопада 2011|title=Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons|journal=PLOS Computational Biology|volume=7|issue=11|pages=e1002211|doi=10.1371/journal.pcbi.1002211|pmid=22096452|pmc=3207943|issn=1553-7358|bibcode=2011PLSCB...7E2211B|doi-access=free|language=en}}</ref>

Хоча систематичного порівняння між організацією людського мозку та нейронним кодуванням у глибоких мережах створено ще не було, було повідомлено про кілька аналогій. Наприклад, обчислення, які виконуються блоками глибокого навчання, можуть бути подібними до обчислень справжніх нейронів<ref>{{Cite journal|last1=Cash|first1=S.|last2=Yuste|first2=R.|date=February 1999|title=Linear summation of excitatory inputs by CA1 pyramidal neurons|journal=Neuron|volume=22|issue=2|pages=383–394|issn=0896-6273|pmid=10069343|doi=10.1016/s0896-6273(00)81098-3|s2cid=14663106|doi-access=free|language=en}}</ref> і нейронних популяцій.<ref>{{Cite journal|date=1 серпня 2004|title=Sparse coding of sensory inputs|journal=Current Opinion in Neurobiology|volume=14|issue=4|pages=481–487|doi=10.1016/j.conb.2004.07.007|pmid=15321069|issn=0959-4388 | last1 = Olshausen | first1 = B | last2 = Field | first2 = D|s2cid=16560320|language=en}}</ref> Подібним чином, подання, вироблені моделями глибокого навчання, подібні до тих, які вимірюють у зоровій системі [[Примати|приматів]]<ref>{{Cite journal|last1=Yamins|first1=Daniel L K|last2=DiCarlo|first2=James J|s2cid=16970545|date=March 2016|title=Using goal-driven deep learning models to understand sensory cortex|journal=Nature Neuroscience|volume=19|issue=3|pages=356–365|doi=10.1038/nn.4244|pmid=26906502|issn=1546-1726|language=en}}</ref> як на рівні окремого вузла<ref>{{Cite journal|last1=Zorzi|first1=Marco|last2=Testolin|first2=Alberto|s2cid=39281431|date=19 лютого 2018|title=An emergentist perspective on the origin of number sense|journal=Phil. Trans. R. Soc. B|volume=373|issue=1740|pages=20170043|doi=10.1098/rstb.2017.0043|issn=0962-8436|pmid=29292348|pmc=5784047|language=en}}</ref>, так і на рівні популяції.<ref>{{Cite journal|last1=Güçlü|first1=Umut|last2=van Gerven|first2=Marcel A. J.|date=8 липня 2015|title=Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream|journal=Journal of Neuroscience|volume=35|issue=27|pages=10005–10014|doi=10.1523/jneurosci.5023-14.2015|pmid=26157000|pmc=6605414|arxiv=1411.6422|language=en}}</ref>

== Комерційна діяльність ==

Лабораторія ШІ ''[[Facebook]]'' виконує такі завдання як {{нп|Автоматичне анотування зображень|автоматичне мічення завантажених зображень||Automatic image annotation}} іменами людей на них.<ref name="METZ2013">{{cite magazine |first=C. |last=Metz |title=Facebook's 'Deep Learning' Guru Reveals the Future of AI |url=https://www.wired.com/wiredenterprise/2013/12/facebook-yann-lecun-qa/ |magazine=Wired |date=12 грудня 2013 |access-date=26 серпня 2017 |archive-date=28 березня 2014 |archive-url=https://web.archive.org/web/20140328071226/http://www.wired.com/wiredenterprise/2013/12/facebook-yann-lecun-qa/ |url-status=live |language=en }}</ref>

''Google [[DeepMind Technologies]]'' розробила систему, здатну навчитися грати у відеоігри ''[[Atari]]'', використовуючи як дані входу лише пікселі. 2015 року вони продемонстрували свою систему ''[[AlphaGo]]'', яка навчилася грі [[Ґо (гра)|Ґо]] настільки добре, що перемогла професійного гравця.<ref>{{Cite journal|title = Google AI algorithm masters ancient game of Go|journal = Nature|year = 2016|doi = 10.1038/529445a|last1 = Gibney|first1 = Elizabeth|volume = 529|issue = 7587|pages = 445–446|pmid = 26819021|bibcode = 2016Natur.529..445G|s2cid = 4460235|doi-access = free|language = en}}</ref><ref>{{Cite journal|title = Mastering the game of Go with deep neural networks and tree search|journal = [[Nature]]| issn= 0028-0836|pages = 484–489|volume = 529|issue = 7587|doi = 10.1038/nature16961|pmid = 26819042|first1 = David|last1 = Silver|author-link1=Девід Сілвер (інформатик)|first2 = Aja|last2 = Huang|author-link2=Аджа Хуан|first3 = Chris J.|last3 = Maddison|first4 = Arthur|last4 = Guez|first5 = Laurent|last5 = Sifre|first6 = George van den|last6 = Driessche|first7 = Julian|last7 = Schrittwieser|first8 = Ioannis|last8 = Antonoglou|first9 = Veda|last9 = Panneershelvam|first10= Marc|last10= Lanctot|first11= Sander|last11= Dieleman|first12=Dominik|last12= Grewe|first13= John|last13= Nham|first14= Nal|last14= Kalchbrenner|first15= Ilya|last15= Sutskever|author-link15=Ілля Суцкевер|first16= Timothy|last16= Lillicrap|first17= Madeleine|last17= Leach|first18= Koray|last18= Kavukcuoglu|first19= Thore|last19= Graepel|first20= Demis |last20=Hassabis|s2cid = 515925|author-link20=Деміс Гассабіс|date= 28 січня 2016|bibcode = 2016Natur.529..484S|language = en}}{{closed access}}</ref><ref>{{Cite web|title = A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go {{!}} MIT Technology Review|url = http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/|website = MIT Technology Review|access-date = 30 січня 2016|archive-date = 1 лютого 2016|archive-url = https://web.archive.org/web/20160201140636/http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/|url-status = dead|language = en}}</ref> [[Перекладач Google|Перекладач ''Google'']] використовує нейронну мережу, щоби перекладати між понад 100 мовами.

2017 року було запущено ''Covariant.ai'', зосереджений на інтегруванні глибокого навчання на заводах.<ref>{{Cite news|url=https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html|title=A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up|first=Cade|last=Metz|newspaper=The New York Times|date=6 листопада 2017|access-date=5 липня 2019|archive-date=7 липня 2019|archive-url=https://web.archive.org/web/20190707161547/https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html|url-status=live|language=en}}</ref>

Станом на 2008 рік<ref>{{Cite book|author1=Bradley Knox, W.|author2=Stone, Peter|title=2008 7th IEEE International Conference on Development and Learning |chapter=TAMER: Training an Agent Manually via Evaluative Reinforcement |year=2008|pages = 292–297|doi=10.1109/devlrn.2008.4640845|isbn = 978-1-4244-2661-4|s2cid = 5613334|language = en}}</ref> дослідники [[Техаський університет в Остіні|Техаського університету в Остіні]] (''UT'') розробили систему машинного навчання під назвою ''Training an Agent Manually via Evaluative Reinforcement'' ({{lang-uk|ручне тренування агента через оцінювальне підкріплення}}), або ''TAMER'', яка запропонувала нові методи для роботів та комп'ютерних програм, як вчитися виконувати завдання шляхом взаємодії з людиною-інструктором.<ref name=":12" /> Спершу розроблений як ''TAMER'', новий алгоритм під назвою ''Deep TAMER'' було пізніше представлено 2018 року під час співпраці між [[Дослідницька лабораторія Армії США|Дослідницькою лабораторією армії США]] (''ARL'') та дослідниками ''UT''. ''Deep TAMER'' використовував глибоке навчання, щоби забезпечити роботові здатність навчатися нових завдань шляхом спостерігання.<ref name=":12" /> Використовуючи ''Deep TAMER'', робот навчався завдання разом із тренером-людиною, переглядаючи відеопотоки або спостерігаючи, як людина виконує завдання особисто. Пізніше робот відпрацьовував завдання за допомогою тренера, який давав відгуки, такі як «добра робота» та «погана робота».<ref>{{Cite web|url=https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner|title=Talk to the Algorithms: AI Becomes a Faster Learner|website=governmentciomedia.com|date=16 травня 2018 |access-date=29 серпня 2018|archive-date=28 серпня 2018|archive-url=https://web.archive.org/web/20180828001727/https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner|url-status=live|language=en}}</ref>

== Критика та коментарі ==

Глибоке навчання притягувало як критику, так і коментарі, у деяких випадках поза межами галузі інформатики.

=== Теорія ===
{{see also|Поясненний штучний інтелект}}

Основна критика стосується браку теорії навколо деяких методів.<ref>{{Cite web|url=https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|title=In defense of skepticism about deep learning|last=Marcus|first=Gary|date=14 січня 2018|website=Gary Marcus|access-date=11 жовтня 2018|archive-date=12 жовтня 2018|archive-url=https://web.archive.org/web/20181012035405/https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|url-status=live|language=en}}</ref> Навчання в найпоширеніших глибоких архітектурах втілено за допомогою добре зрозумілого градієнтного спуску. Проте теорія навколо цих алгоритмів, таких як [[контрастове розходження]], не така ясна{{Джерело|дата=липень 2023}} (наприклад: Він збігається? Якщо так, то як швидко? Що він наближує?). На методи глибокого навчання часто дивляться як на [[Чорна скринька|чорну скриньку]], роблячи більшість підтверджень емпірично, а не теоретично.<ref name="Knight 2017">{{cite web | last=Knight | first=Will | title=DARPA is funding projects that will try to open up AI's black boxes | website=MIT Technology Review | date=14 March 2017 | url=https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ | access-date=2 November 2017 | archive-date=4 November 2019 | archive-url=https://web.archive.org/web/20191104033107/https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ | url-status=live | language=en }}</ref>

Інші зазначають, що глибоке навчання слід розглядати як крок до втілення [[Сильний штучний інтелект|сильного ШІ]], а не як всеохопне рішення. Незважаючи на потужність методів глибокого навчання, їм все ще бракує значної частини функціональності, необхідної, щоби втілити цю мету повністю. Психолог-дослідник {{нп|Ґері Маркус|||Gary Marcus}} зазначив:

<blockquote>
Насправді, глибоке навчання це лише частина більшого завдання створення розумних машин. Таким методикам бракує способів подання [[Причинність|причинно-наслідкових зв'язків]] (…) вони не мають очевидних способів здійснення [[Висновок|логічних висновків]], і вони також ще далекі від поєднання абстрактних знань, таких як інформація про те, чим є об'єкти, для чого вони, і як їх зазвичай використовують. Найпотужніші системи ШІ, такі як [[IBM Watson|''Watson'']] (…) використовують такі методики, як глибоке навчання, як лише один з елементів у дуже складному [[Ансамблеве навчання|ансамблі]] методик, починаючи від статистичних методик [[Баєсове висновування|баєсового висновування]], і аж до [[Дедукція|дедуктивного міркування]]<nowiki/>.<ref>{{cite magazine|url=https://www.newyorker.com/|title=Is "Deep Learning" a Revolution in Artificial Intelligence?|last=Marcus|first=Gary|date=25 листопада 2012|magazine=The New Yorker|access-date=2017-06-14|archive-date=2009-11-27|archive-url=https://web.archive.org/web/20091127184826/http://www.newyorker.com/|url-status=live|language=en}}</ref>
</blockquote>

Серед подальших відсилань до тієї ідеї, що художня чутливість може бути притаманна відносно низьким рівням когнітивної ієрархії, опублікована низка графічних зображень внутрішніх станів глибоких (20—30 шарів) нейронних мереж, які намагаються розгледіти серед по суті випадкових даних зображення, на яких їх було треновано,<ref>{{cite web |url=http://googleresearch.blogspot.co.uk/2015/06/inceptionism-going-deeper-into-neural.html |author1=Alexander Mordvintsev |author2=Christopher Olah |author3=Mike Tyka |date=17 червня 2015 |title=Inceptionism: Going Deeper into Neural Networks |publisher=Google Research Blog |access-date=20 червня 2015 |archive-date=3 липня 2015 |archive-url=https://web.archive.org/web/20150703064823/http://googleresearch.blogspot.co.uk/2015/06/inceptionism-going-deeper-into-neural.html |url-status=live |language=en }}</ref> демонструє візуальну привабливість: первинне повідомлення про це дослідження отримало набагато більше за 1000 коментарів і було предметом протягом деякого часу найвідвідуванішої статті на вебсайті [[Ґардіан (газета)|Ґардіан]].<ref>{{cite news|url=https://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep|title=Yes, androids do dream of electric sheep|date=18 червня 2015|newspaper=The Guardian|author=Alex Hern|access-date=20 червня 2015|archive-date=19 червня 2015|archive-url=https://web.archive.org/web/20150619200845/http://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep|url-status=live|language=en}}</ref>

=== Помилки ===

Деякі архітектури глибокого навчання демонструють проблематичну поведінку,<ref name="goertzel">{{cite web |first=Ben |last=Goertzel |title=Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? |year=2015 |url=http://goertzel.org/DeepLearning_v1.pdf |access-date=2015-05-10 |archive-date=2015-05-13 |archive-url=https://web.archive.org/web/20150513053107/http://goertzel.org/DeepLearning_v1.pdf |url-status=live |language=en }}</ref> наприклад, впевнене класифікування невпізнанних зображень як належних до знайомої категорії звичайних зображень (2014)<ref>{{cite arXiv |eprint=1412.1897|last1=Nguyen|first1=Anh|title=Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images|last2=Yosinski|first2=Jason|last3=Clune|first3=Jeff|class=cs.CV|year=2014|language=en}}</ref> та неправильне класифікування незначних збурень правильно класифікованих зображень (2013).<ref>{{cite arXiv |eprint=1312.6199|last1=Szegedy|first1=Christian|title=Intriguing properties of neural networks|last2=Zaremba|first2=Wojciech|last3=Sutskever|first3=Ilya|last4=Bruna|first4=Joan|last5=Erhan|first5=Dumitru|last6=Goodfellow|first6=Ian|last7=Fergus|first7=Rob|class=cs.CV|year=2013|language=en}}</ref> [[Бен Ґьорцель|Ґьорцель]] припустив, що така поведінка зумовлена обмеженнями у їхніх внутрішніх поданнях, і що ці обмеження перешкоджатимуть інтегруванню до гетерогенної багатокомпонентної архітектури [[Загальний штучний інтелект|загального штучного інтелекту]] (ЗШІ).<ref name="goertzel" /> Можливо, ці проблеми можна розв'язати за допомогою архітектур глибокого навчання, які внутрішньо утворюють стани, гомологічні розкладам граматики зображень<ref>{{cite journal | last1 = Zhu | first1 = S.C. | last2 = Mumford | first2 = D. | year = 2006| title = A stochastic grammar of images | journal = Found. Trends Comput. Graph. Vis. | volume = 2 | issue = 4| pages = 259–362 | doi = 10.1561/0600000018| citeseerx = 10.1.1.681.2190| language = en }}</ref> спостережуваних об'єктів та подій.<ref name="goertzel" /> {{нп|Виведення граматик|Виведення граматики||Grammar induction}} (візуальної чи мовної) з тренувальних даних було би рівнозначним обмеженню системи {{нп|Міркування здорового глузду|міркуваннями здорового глузду||Commonsense reasoning}}, які оперують поняттями в термінах граматичних {{нп|Породжувальне правило|породжувальних правил||Production (computer science)}}, і є основною метою як засвоєння мови людиною,<ref>Miller, G. A., and N. Chomsky. "Pattern conception". Paper for Conference on pattern detection, University of Michigan. 1957. {{ref-en}}</ref> так і [[Штучний інтелект|штучного інтелекту]] (ШІ).<ref>{{cite web |first=Jason |last=Eisner |title=Deep Learning of Recursive Structure: Grammar Induction |url=http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/ |access-date=2015-05-10 |archive-date=2017-12-30 |archive-url=https://web.archive.org/web/20171230010335/http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/ |url-status=dead |language=en }}</ref>

=== Кіберзагроза ===

Коли глибоке навчання переміщується з лабораторії у світ, дослідження та досвід показують вразливість [[Штучна нейронна мережа|штучних нейронних мереж]] до хакерів та обману.<ref>{{Cite web|url=https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|title=Hackers Have Already Started to Weaponize Artificial Intelligence|website=Gizmodo|date=11 вересня 2017 |access-date=11 жовтня 2019|archive-date=11 жовтня 2019|archive-url=https://web.archive.org/web/20191011162231/https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|url-status=live|language=en}}</ref> Визначаючи схеми, які ці системи використовують для функціювання, зловмисники можуть змінювати вхідні дані до ШНМ таким чином, що ШНМ знаходить відповідність, яку люди-спостерігачі не розпізнають. Наприклад, зловмисник може внести незначні зміни в зображення таким чином, що ШНМ знайде збіг, навіть якщо для людини зображення виглядає зовсім не схожим на ціль пошуку. Таке маніпулювання називають «змагальною атакою» ({{lang-en|"adversarial attack"}}).<ref>{{Cite web|url=https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|title=How hackers can force AI to make dumb mistakes|date=18 червня 2018|website=The Daily Dot|language=en|access-date=11 жовтня 2019|archive-date=11 жовтня 2019|archive-url=https://web.archive.org/web/20191011162230/https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|url-status=live}}</ref>

2016 року дослідники скористалися однією ШНМ, щоби, підкориговуючи зображення, методом спроб і помилок визначити, на чому зосереджується інша, й таким чином створити зображення, які вводили її в оману. Для людського ока змінені зображення нічим не відрізнялися. Інша група показала, що роздруківки підроблених зображень, які потім фотографували, успішно обманювали систему класифікування зображень.<ref name=":4">{{Cite news|url=https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change|title=AI Is Easy to Fool—Why That Needs to Change|date=10 жовтня 2017|work=Singularity Hub|access-date=11 жовтня 2017|archive-date=11 жовтня 2017|archive-url=https://web.archive.org/web/20171011233017/https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change/|url-status=live|language=en}}</ref> Одним із засобів захисту є зворотний пошук зображень, під час якого можливе підроблене зображення надсилається на сайт, наприклад ''[[TinEye]]'', який потім може знайти інші його примірники. Одне із вдосконалень полягає у пошуку з використанням лише частин зображення, щоби встановити зображення, з яких цей фрагмент могло бути взято'''.'''<ref>{{Cite journal|last=Gibney|first=Elizabeth|title=The scientist who spots fake videos|url=https://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|journal=Nature|doi=10.1038/nature.2017.22784|year=2017|access-date=2017-10-11|archive-date=2017-10-10|archive-url=https://web.archive.org/web/20171010011017/http://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|url-status=live|language=en}}</ref>

Інша група показала, що певні [[Психоделічний арт|психоделічні]] видовища можуть змусити [[Система розпізнавання облич|систему розпізнавання облич]] вважати звичайних людей знаменитостями, потенційно дозволяючи одній людині видавати себе за іншу. 2017 року дослідники додали наліпки до [[Проїзд без зупинки заборонено|знаків заборони проїзду без зупинки]], змусивши ШНМ класифікувати їх неправильно.<ref name=":4" />

Проте ШНМ можливо додатково тренувати виявляти спроби [[Брехливість|обману]], що потенційно веде до перегонів озброєнь між зловмисниками й захисниками, подібних до тих, які вже є основою індустрії захисту від [[Зловмисне програмне забезпечення|зловмисних програм]]. ШНМ було навчено перемагати програмне забезпечення захисту від [[Зловмисне програмне забезпечення|зловмисного]] програмного забезпечення на основі ШНМ шляхом повторюваних атак на захист зловмисним програмним забезпеченням, яке постійно змінювалося [[Генетичний алгоритм|генетичним алгоритмом]], доки воно не ошукало протизловмисне програмне забезпечення, зберігаючи свою здатність пошкоджувати ціль.<ref name=":4" />

2016 року інша група продемонструвала, що певні звуки можуть змусити систему голосових команд [[Google Now|''Google Now'']] відкрити певну веб-адресу, й висунула гіпотезу, що це може «послужити сходинкою для подальших атак (наприклад, відкривання вебсторінки, на якій розміщено зловмисне програмне забезпечення)».<ref name=":4" />

В «{{нп|Отруювання даними|отруюванні даними||Data poisoning}}» до тренувального набору системи машинного навчання систематично підкидають хибні дані, щоби завадити їй досягти майстерності.<ref name=":4" />

=== Етика збирання даних ===
{{Недостатньо джерел|розділ|дата=липень 2023}}

Більшість систем глибокого навчання покладаються на тренувальні та контрольні ({{lang-en|verification}}) дані, породжувані та/або розмічувані людьми.<ref>{{Cite journal |last=Tubaro |first=Paola |date=2020 |title=Whose intelligence is artificial intelligence? |url=https://hal.science/hal-03029735 |journal=Global Dialogue |language=en |pages=38–39}}</ref> У [[Медіазнавство|філософії засобів масової інформації]] стверджують, що для цієї мети регулярно використовують не лише низькооплачувану {{нп|Клікробітники|клікпрацю||Clickworkers}} (наприклад, на [[Amazon Mechanical Turk|''Amazon Mechanical Turk'']]), а й неявні форми людської {{нп|Мікропраця|мікропраці||Microwork}}, які часто не визнають як таку.<ref name=":13">{{Cite journal|last=Mühlhoff|first=Rainer|date=6 листопада 2019|title=Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning|journal=New Media & Society|language=en|volume=22|issue=10|pages=1868–1884|doi=10.1177/1461444819885334|s2cid=209363848|issn=1461-4448|url=https://depositonce.tu-berlin.de/handle/11303/12510|doi-access=free}}</ref> Філософ {{нп|Райнер Мюльхоф||de|Rainer Mühlhoff}} розрізняє п'ять типів «машинного заволодівання» людською мікропрацею для породжування тренувальних даних: (1) [[ігрофікація]] (вбудовування розмічування або обчислювальних завдань у потік гри), (2) «захоплювання та відстежування» (наприклад, ''[[CAPTCHA]]'' для розпізнавання зображень, або відстежування кліків на [[Сторінка результатів пошуку|сторінках результатів пошуку]] ''Google''), (3) використання соціальних мотивів (наприклад, позначування облич у ''[[Facebook]]'' для отримування позначених зображень обличчя), (4) [[розроблення інформації]] (наприклад, за допомогою пристроїв {{нп|самооцифровування|||Quantified self}}, таких як [[Фітнес-трекер|відстежувачі активності]]), та (5) {{нп|Клікробітники|клікпрацю||Clickworkers}}.<ref name=":13" />

Мюльхоф стверджує, що в більшості комерційних застосувань глибокого навчання для кінцевих користувачів, таких як {{нп|DeepFace|система розпізнавання облич ''Facebook''|en}}, потреба в тренувальних даних після тренування ШНМ не зникає. Скоріше, існує постійна потреба в контрольних даних, створюваних людьми, щоби постійно калібрувати та уточнювати ШНМ. З цією метою ''Facebook'' запровадив функцію, що щойно користувачів автоматично розпізнано на зображенні, вони отримують сповіщення. Вони можуть обрати, чи хочуть вони бути публічно позначеними на цьому зображенні, чи повідомити ''Facebook'', що на зображенні не вони.<ref>{{Cite magazine|url=https://www.wired.com/story/facebook-will-find-your-face-even-when-its-not-tagged/|title=Facebook Can Now Find Your Face, Even When It's Not Tagged|magazine=Wired|access-date=22 листопада 2019|language=en|issn=1059-1028|archive-date=10 серпня 2019|archive-url=https://web.archive.org/web/20190810223940/https://www.wired.com/story/facebook-will-find-your-face-even-when-its-not-tagged/|url-status=live}}</ref> Цей інтерфейс користувача є механізмом породжування «постійного потоку контрольних даних»<ref name=":13" /> для подальшого тренування мережі в режимі реального часу. Як стверджує Мюльхоф, залучення людей-користувачів до породжування тренувальних та контрольних даних настільки типове для більшості комерційних застосувань глибокого навчання для кінцевих користувачів, що такі системи можна назвати «штучним інтелектом з участю людини» ({{lang-en|"human-aided artificial intelligence"}}).<ref name=":13" />

== Див. також ==

* [[Застосування штучного інтелекту]]
* [[Порівняння програмного забезпечення глибокого навчання]]
* {{нп|Стиснене сприйняття|||Compressed sensing}}
* {{нп|Диференційовне програмування|||Differentiable programming}}
* [[Мережа з відлунням стану]]
* {{нп|Перелік проєктів штучного інтелекту|||List of artificial intelligence projects}}
* [[Перелік наборів даних для досліджень машинного навчання]]
* [[Резервуарне обчислення]]
** [[Мережа з відлунням стану]]
** [[Рідкий скінченний автомат]]
* [[Простір масштабів#Глибоке навчання та простір масштабів|Простір масштабів та глибоке навчання]]
* [[Розріджене кодування]]
* {{нп|Стохастичний папуга|||Stochastic parrot}}

== Примітки ==
{{Примітки|30em|refs=
<ref name="ХомаБенч2019">{{Cite journal|last1=Хома|first1=Ю.&nbsp;В.|last2=Бенч|first2=А.&nbsp;Я.|year=2019|title=Порівняльний аналіз програмно-апаратного забезпечення алгоритмів глибокого навчання|url=https://science.lpnu.ua/sites/default/files/journal-paper/2020/feb/21058/var1ksm-19-99-104.pdf|journal=Комп'ютерні системи і мережі|language=uk|volume=1|issue=1|pages=97—102}}</ref>
<ref name="ДорошЦаплюк2021">{{Cite conference|last1=Дорош|first1=Н.&nbsp;Л.|last2=Цаплюк|first2=О.&nbsp;В.|date=3-5 листопада 2021|title=Розпізнавання зображень алгоритмом глибокого навчання|url=https://udhtu.edu.ua/wp-content/uploads/2021/11/kmoss-2021_05_11_2021.pdf#page=89|conference=VII Міжнародна науково-технічна конференція «Комп'ютерне моделювання та оптимізація складних систем»|language=uk|location=Дніпро|publisher=[[Український державний хіміко-технологічний університет|УДХТУ]]|pages=91—92|year=}}</ref>
<ref name="БродкевичРемесло2018">{{Cite journal|last1=Бродкевич|first1=В.&nbsp;М.|last2=Ремесло|first2=В.&nbsp;Я.|year=2018|title=Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках|url=https://www.inter-nauka.com/uploads/public/15305134116492.pdf#page=57|journal=Міжнародний науковий журнал «Інтернаука»|language=uk|location=Київ|volume=1|issue=11 (51)|pages=56—60|issn=2520-2057}}</ref>
}}

== Література ==
{{refbegin}}
* {{cite book
|title=Deep Learning
|year=2016
|first1=Ian
|last1=Goodfellow
|author-link1=Ян Ґудфелоу
|first2=Yoshua
|last2=Bengio
|author-link2=Йошуа Бенжіо
|first3=Aaron
|last3=Courville
|publisher=MIT Press
|url=http://www.deeplearningbook.org
|isbn=978-0-26203561-3
|postscript=, introductory textbook.
|access-date=2021-05-09
|archive-date=2016-04-16
|archive-url=https://web.archive.org/web/20160416111010/http://www.deeplearningbook.org/
|url-status=live
|language=en
}}
{{refend}}

== Додаткова література ==

=== Книги ===

* {{cite book|last=Ye|first=Jong Chul|year=2022|title=Geometry of deep learning: a signal processing perspective|series=Mathematics in industry|language=en|location=Singapore|publisher=[[Springer Nature]]|ISBN=978-981-16-6046-7}}
* {{cite book|last=Calin|first=Ovidiu L.|year=2020|title=Deep learning architectures: a mathematical approach|series=Springer series in the data sciences|language=en|location=Cham, Switzerland|publisher=Springer|ISBN=978-3-030-36721-3}}
* {{cite book|last=Kelleher|first=John D.|year=2019|title=Deep learning|url=https://archive.org/details/deeplearning0000kell|series=The MIT press essential knowledge series|language=en|location=Cambridge, Massachusetts London|publisher=[[MIT Press]]|ISBN=978-0-262-53755-1}}

=== Статті ===

* {{cite journal|last1=Talaei Khoei|first1=Tala|last2=Ould Slimane|first2=Hadjar|last3=Kaabouch|first3=Naima|date=листопад 2023|url=https://link.springer.com/content/pdf/10.1007/s00521-023-08957-4.pdf|title=Deep learning: systematic review, models, challenges, and research directions|journal=Neural Computing and Applications|language=en|volume=35|issue=31|doi=10.1007/s00521-023-08957-4}}

{{Диференційовні обчислення}}
{{Бібліоінформація}}

[[Категорія:Глибоке навчання| ]]
[[Категорія:Штучні нейронні мережі]]