Хронологія розвитку машинного навчання: відмінності між версіями

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
Наступне редагування →
Вилучено вміст Додано вміст
ВізуальнийВікірозмітка
перекладено «Timeline of machine learning»
(Немає відмінностей)

Версія за 13:34, 30 липня 2023

Частина інформації в цій статті застаріла. Ви можете допомогти, оновивши її. Можливо, сторінка обговорення містить зауваження щодо потрібних змін. (липень 2023)

Ця сторінка — хронологія розвитку машинного навчання. До неї включено основні відкриття, досягнення, віхи та інші важливі події у машинному навчанні.

Огляд

Десятиріччя Підсумки
до 1950-х Відкрито та вдосконалено статистичні методи.
1950-ті Проводять піонерські дослідження машинного навчання з використанням простих алгоритмів.
1960-ті Запропоновано баєсові методи для ймовірнісного висновування в машинному навчанні.[1]
1970-ті Песимізм щодо ефективності машинного навчання спричинив «зиму ШІ».
1980-ті Повторне відкриття зворотного поширення викликає пожвавлення досліджень машинного навчання.
1990-ті Робота над машинним навчанням переходить від підходу, керованого знаннями, до підходу, керованого даними. Науковці починають створювати програми для комп'ютерів, щоб аналізувати великі обсяги даних і робити висновки — або «навчатися» — з результатів.[2] Набувають популярності опорновекторні машини (ОВМ, англ. SVM) та рекурентні нейронні мережі (РНМ, англ. RNN).[3] Започатковано галузі обчислювальної складності через нейронні мережі та надтюрінгові обчислення.[4]
2000-ті Набувають широкого поширення опорновекторне кластерування[5] та інші ядрові методи,[6] а також методи машинного некерованого навчання.[7]
2010-ті Стає здійсненним глибоке навчання, що призводить до того, що машинне навчання стає невід'ємною частиною багатьох широко використовуваних програмних служб і застосунків.

Хронологія

Цей список незавершений, Ви можете допомогти — додати пункти, яких бракує.
Рік Тип події Заголовок Подія
1763 Відкриття Підвалини теореми Баєса Працю Томаса Баєса «Есе щодо розв'язання задачі у Доктрині шансів[en]» опубліковано через два роки після його смерті, виправлену та відредаговану другом Баєса, Річардом Прайсом[en].[8] Це есе подає працю, яка лягла в основу теорами Баєса.
1805 Відкриття Найменші квадрати Адрієн-Марі Лежандр описує «méthode des moindres carrés», відомий українською як метод найменших квадратів.[9] Його широко використовують у допасовуванні до даних[en].
1812 Теорема Баєса П'єр-Симон Лаплас публікує «Théorie Analytique des Probabilités», у якій розширює працю Баєса та визначає те, що відоме тепер як теорема Баєса.[10]
1913 Відкриття Марковські ланцюги Андрій Марков уперше описує методики, які він використовував для аналізу віршів. Ці методики пізніше стали відомими як марковські ланцюги.[11]
1943 Відкриття Штучний нейрон Воррен Маккалох та Волтер Піттс[en] розробляють математичну модель, що імітує функціювання біологічного нейрона, штучний нейрон, яку вважають першою винайденною нейронною моделлю.[12]
1950 Тюрінгова самонавчальна машина Алан Тюрінг пропонує «самонавчальну машину», що може навчатися та стати штучним інтелектом. Конкретна пропозиція Тюрігна провіщує генетичні алгоритми.[13]
1951 Перша нейромережна машина Марвін Мінскі та Дін Едмондс створюють першу здатну навчатися нейромережну машину, SNARC[en].[14]
1952 Машини, що грають у шашки Артур Семюель приєднується до лабораторії Poughkeepsie в IBM і починає працювати над деякими з найперших програмам машинного навчання, першими створюючи програми, які грають у шашки.[15]
1957 Відкриття Перцептрон Френк Розенблат, працюючи в Корнелльській аеронавігаційній лабораторії[en], винаходить перцептрон.[16] Винайдення перцептрона викликає великий ажіотаж, його широко висвітлюють у засобах масової інформації.[17]
1963 Досягнення Машини, що грають у хрестики-нулики Дональд Мічі[en] створює «машину», складену з 304 сірникових коробок та намистин, що використовує навчання з підкріпленням грі в хрестики-нулики.[18]
1967 Найближчий сусід Було створено алгоритм найближчого сусіда, що є початком базового розпізнавання образів. Цей алгоритм використовували для прокладання маршрутів.[2]
1969 Обмеження нейронних мереж Марвін Мінскі та Сеймур Пейперт публікують свою книгу «Перцептрони[en]», що описує деякі з обмежень перцептронів та нейронних мереж. Інтерпретацію, яку показує книга, що нейронні мережі фундаментально обмежені, розглядають як перепону для досліджень нейронних мереж.[19]
1970 Автоматичне диференціювання (зворотне поширення) Сеппо Ліннаінмаа[en] публікує загальний метод автоматичного диференціювання (АД, англ. AD) дискретнх зв'язних мереж вкладених диференційовних функцій.[20][21] Це відповідає сучасній версії зворотного поширення, але ще не має цієї назви.[22][23][24][25]
1979 Стенфордський візок Студенти у Стенфордському університеті розроблюють візок, що може пересуватися й уникати перешкод у кімнаті.[2]
1979 Відкриття Неокогнітрон Куніхіко Фукусіма[en] вперше публікує свою працю про неокогнітрон, один із типів штучних нейронних мереж (ШНМ, англ. ANN).[26][27] Неокогнітивність пізніше надихає згорткові нейронні мережі (ЗНМ, англ. CNN).[28]
1981 Навчання на основі пояснень Джеральд Деджонг пропонує навчання на основі пояснень (англ. Explanation Based Learning), в якому комп'ютерний алгоритм аналізує дані та створює загальне правило, якому він може слідувати, та відкидати неважливі дані.[2]
1982 Відкриття Рекурентна нейронна мережа Джон Гопфілд популяризує мережі Гопфілда, один із типів рекуретних нейронних мереж, що можуть слугувати системами пам'яті з адресуванням вмістом.[29]
1985 NETtalk[en] Террі Сейновскі[en] розробив програму, яка навчається вимовляти слова англійської мови так само, як це робить дитина.[2]
1986 Застосування Зворотне поширення Зворотний режим автоматичного диференціювання Сеппо Ліннаінмаа[en] (вперше застосований до нейронних мереж Полом Вербосом[en]) використано в експериментах Девіда Румельхарта[en], Джефа Гінтона та Рональда Дж. Вільямса[en] для навчання внутрішніх подань.[30]
1988 Теорема про універсальне наближення (теорема Цибенка) Курт Горнік[de] доводить, що стандартні багатошарові мережі прямого поширення здатні наближувати будь-яку борелево вимірну функцію з одного скінченновимірного простору до іншого до будь-якого ступеню точності, за умови наявності достатньої кількості прихованих вузлів.
1989 Відкриття Навчання з підкріпленням Кристофер Воткінс розробляє Q-навчання, яке значно покращує практичність та здійсненність навчання з підкріпленням.[31]
1989 Комерціалізація Комерціалізація машинного навчання на персональних комп'ютерах Axcelis, Inc. випускає Evolver[en], перший програмний пакет для комерціалізації використання генетичних алгоритмів на персональних комп'ютерах.[32]
1992 Досягнення Машини, які грають у короткі нарди Джеральд Тезауро розрозбяє ЧР-нарди (англ. TD-Gammon), комп'ютерну програму для гри в короткі нарди, яка використовує штучну нейронну мережу, натреновану з використанням методу часових різниць (звідси «ЧР» у назві). ЧР-нарди здатні конкурувати, але не завжди перевершувати здібності найкращих серед людей гравців у короткі нарди.[33]
1995 Відкриття Алгоритм випадкового лісу Тін Кам Хо публікує працю, що описує випадкові ліси рішень.[34]
1995 Відкриття Опорновекторні машини Корінна Кортес та Володимир Вапник публікують свою працю про опорновекторні машини.[35]
1997 Досягнення IBM Deep Blue перемагає Каспарова Deep Blue від IBM перемагає чемпіона світу з шахів.[2]
1997 Відкриття ДКЧП (англ. LSTM) Зепп Хохрайтер[en] та Юрген Шмідхубер винаходять рекурентні нейронні мережі з довгою короткочасною пам'яттю (ДКЧП),[36] що значно покращує ефективнісь та практичність рекурентних нейронних мереж.
1998 База даних MNIST Команда під проводом Яна ЛеКуна випускає базу даних MNIST, набір даних, що складається з суміші рукописних цифр від працівників Бюро перепису населення та старшокласників США.[37] База даних MNIST відтоді стала еталоном для оцінювання розпізнавання рукописного тексту.
2002 Бібліотека машинного навчання Torch Перший випуск Torch, бібліотеки програмного забезпечення машинного навчання.[38]
2006 Netflix Prize Netflix запускає змагання Netflix Prize[en]. Мета змагання — за допомогою машинного навчання перевершити точність власного програмного забезпечення рекомендацій Netflix у передбачуванні оцінки фільму користувачем за наявних оцінок цим користувачем попередніх фільмів щонайменше на 10 %.[39] Цю премію було виграно 2009 року.
2009 Досягнення ImageNet Створено ImageNet[en]. Це велика база даних зображень, створена Фей-Фей Лі зі Стенфордського університету, яка усвідомила, що найкращі алгоритми машинного навчання не працюватимуть добре, якщо дані не відображатимуть реального світу.[40] Для багатьох ImageNet стала каталізатором буму ШІ[41] XXI сторіччя.
2010 Змагання Kaggle Запущено Kaggle, вебсайт, що слугує платформою для змагань з машинного навчання.[42]
2011 Досягнення Перемога над людьми в Jeopardy Використовуючи поєднання машинного навчання, обробки природної мови та методик інформаційного пошуку, Watson від IBM перемагає двох чемпіонів серед людей у змаганні Jeopardy![en].[43]
2012 Досягнення Розпізнавання котів на YouTube Команда Google Brain під проводом Ендрю Ина та Джеффа Діна створює нейронну мережу, яка навчається розпізнавати котів, переглядаючи немічені зображення, взяті з кадрів відео YouTube.[44][45]
2014 Стрибок у розпізнаванні облич Дослідники з Facebook публікують свою працю щодо DeepFace[en], системи, яка використовує нейронні мережі й ідентифікує обличчя з точністю 97,35 %. Ці результати є покращенням на понад 27 % віносно попередніх систем, і складають конкуренцію людській продуктивності.[46]
2014 Sibyl Дослідники з Google розкрили деталі своєї праці над Sibyl,[47] власною платформою для масово паралельного машинного навчання, яку Google використовує всередині для передбачування поведінки користувачів та надавання рекомендацій.[48]
2016 Досягнення Перемога над людьми в ґо Програма AlphaGo від Google стає першою програмою комп'ютерного ґо, яка перемогла фахового людського гравця без обмежень,[49] використовуючи поєднання методик машинного навчання та пошуку деревами.[50] Пізніше вдосконалена як AlphaGo Zero[en], а 2017 року узагальнена на шахи та додаткові ігри для двох гравців як AlphaZero.
2017 Відкриття Трансформер Команда Google Brain винайшла архітектуру трансформера,[51] що уможливила швидше паралельне тренування нейронних мереж на послідовних даних, таких як текст.
2018 Досягнення Передбачування структури білків У грудні 2018 року AlphaFold 1 (2018) посіла перше місце в загальному рейтингу 13-го Критичного аналізу методів для структурних передбачень білків (КАСП).[52]
2021 Досягнення Передбачування структури білків AlphaFold 2 (2021), команда, яка використовувала AlphaFold 2 (2020), підтвердила це місце на змаганнях КАСП у листопаді 2020 року. Ця команда досягла набагато вищого рівня точності, ніж будь-яка інша група. Вона набрала понад 90 балів для приблизно двох третин з білків у випробуванні КАСП на глобальну відстань (англ. GDT), випробуванні, яка вимірює ступінь подібності передбаченої обчислювальною програмою структури до експериментально встановленої в лабораторії, де 100 це повний збіг, у межах граничної відстані, яку використовують для обчислення GDT.[53]

Див. також

Примітки

Цитування

  1. ↑ Solomonoff, R.J. (June 1964). A formal theory of inductive inference. Part II. Information and Control. 7 (2): 224—254. doi:10.1016/S0019-9958(64)90131-7. (англ.)
  2. ↑ а б в г д е Marr, 2016.
  3. ↑ Siegelmann, H.T.; Sontag, E.D. (February 1995). On the Computational Power of Neural Nets. Journal of Computer and System Sciences. 50 (1): 132—150. doi:10.1006/jcss.1995.1013. (англ.)
  4. ↑ Siegelmann, Hava (1995). Computation Beyond the Turing Limit. Journal of Computer and System Sciences. 238 (28): 632—637. Bibcode:1995Sci...268..545S. doi:10.1126/science.268.5210.545. PMID 17756722. S2CID 17495161. (англ.)
  5. ↑ Ben-Hur, Asa; Horn, David; Siegelmann, Hava; Vapnik, Vladimir (2001). Support vector clustering. Journal of Machine Learning Research. 2: 51—86. (англ.)
  6. ↑ Hofmann, Thomas; Schölkopf, Bernhard; Smola, Alexander J. (2008). Kernel methods in machine learning. The Annals of Statistics. 36 (3): 1171—1220. arXiv:math/0701907. doi:10.1214/009053607000000677. JSTOR 25464664. (англ.)
  7. ↑ Bennett, James; Lanning, Stan (2007). The netflix prize (PDF). Proceedings of KDD Cup and Workshop 2007. (англ.)
  8. ↑ Bayes, Thomas (1 January 1763). An Essay towards solving a Problem in the Doctrine of Chance. Philosophical Transactions. 53: 370—418. doi:10.1098/rstl.1763.0053. JSTOR 105741. (англ.)
  9. ↑ Legendre, Adrien-Marie (1805). Nouvelles méthodes pour la détermination des orbites des comètes (French) . Paris: Firmin Didot. с. viii. Процитовано 13 June 2016. (фр.)
  10. ↑ O'Connor, J J; Robertson, E F. Pierre-Simon Laplace. School of Mathematics and Statistics, University of St Andrews, Scotland. Процитовано 15 June 2016. (англ.)
  11. ↑ Langston, Nancy (2013). Mining the Boreal North. American Scientist. 101 (2): 1. doi:10.1511/2013.101.1. Заглиблюючись у текст роману в віршах Олександра Пушкіна «Євгеній Онєгін», Марков годинами перебирав схеми голосних та приголосних. 23 січня 1913 року він узагальнив свої висновки у зверненні до Імператорської академії наук у Санкт-Петербурзі. Його аналіз не змінив розуміння чи оцінок роману Пушкіна, але методика, яку він розробив, відома тепер як марковський ланцюг, розширила теорію ймовірностей у новому напрямку. (англ.)
  12. ↑ McCulloch, Warren S.; Pitts, Walter (December 1943). A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics. 5 (4): 115—133. doi:10.1007/BF02478259. (англ.)
  13. ↑ Turing, A. M. (1 October 1950). I.—COMPUTING MACHINERY AND INTELLIGENCE. Mind. LIX (236): 433—460. doi:10.1093/mind/LIX.236.433. (англ.)
  14. ↑ Crevier, 1993, с. 34—35 та Russell та Norvig, 2003, с. 17.
  15. ↑ McCarthy, J.; Feigenbaum, E. (1 September 1990). In memoriam—Arthur Samuel (1901–1990). AI Magazine. 11 (3): 10—11. (англ.)
  16. ↑ Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review. 65 (6): 386—408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029. S2CID 12781225. (англ.)
  17. ↑ Mason, Harding; Stewart, D; Gill, Brendan (6 December 1958). Rival. The New Yorker. Процитовано 5 June 2016. (англ.)
  18. ↑ Child, Oliver (13 March 2016). Menace: the Machine Educable Noughts And Crosses Engine Read. Chalkdust Magazine. Процитовано 16 Jan 2018. (англ.)
  19. ↑ Cohen, Harvey. The Perceptron. Процитовано 5 June 2016. (англ.)
  20. ↑ Linnainmaa, Seppo (1970). Algoritmin kumulatiivinen pyoristysvirhe yksittaisten pyoristysvirheiden taylor-kehitelmana [The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors] (PDF) (Дипломна робота) (Finnish) . с. 6—7. (фін.)
  21. ↑ Linnainmaa, Seppo (1976). Taylor expansion of the accumulated rounding error. BIT Numerical Mathematics. 16 (2): 146—160. doi:10.1007/BF01931367. S2CID 122357351. (англ.)
  22. ↑ Griewank, Andreas (2012). Who Invented the Reverse Mode of Differentiation?. Documenta Matematica, Extra Volume ISMP: 389—400. (англ.)
  23. ↑ Griewank, Andreas and Walther, A. Principles and Techniques of Algorithmic Differentiation, Second Edition. SIAM, 2008. (англ.)
  24. ↑ Schmidhuber, Jürgen (2015). Deep learning in neural networks: An overview. Neural Networks. 61: 85—117. arXiv:1404.7828. Bibcode:2014arXiv1404.7828S. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509. (англ.)
  25. ↑ Schmidhuber, Jürgen (2015). Deep Learning (Section on Backpropagation). Scholarpedia. 10 (11): 32832. Bibcode:2015SchpJ..1032832S. doi:10.4249/scholarpedia.32832. (англ.)
  26. ↑ Fukushima, Kunihiko (October 1979). 位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン --- [Neural network model for a mechanism of pattern recognition unaffected by shift in position — Neocognitron —]. Trans. IECE (Japanese) . J62-A (10): 658—665. (яп.)
  27. ↑ Fukushima, Kunihiko (April 1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics. 36 (4): 193—202. doi:10.1007/BF00344251. PMID 7370364. S2CID 206775608. (англ.)
  28. ↑ Le Cun, Yann. Deep Learning. CiteSeerX 10.1.1.297.6176. (англ.)
  29. ↑ Hopfield, J J (April 1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences. 79 (8): 2554—2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413. (англ.)
  30. ↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (October 1986). Learning representations by back-propagating errors. Nature. 323 (6088): 533—536. Bibcode:1986Natur.323..533R. doi:10.1038/323533a0. S2CID 205001834. (англ.)
  31. ↑ Watksin, Christopher (1 May 1989). Learning from Delayed Rewards (PDF). (англ.)
  32. ↑ Markoff, John (29 August 1990). BUSINESS TECHNOLOGY; What's the Best Answer? It's Survival of the Fittest. New York Times. Процитовано 8 June 2016. (англ.)
  33. ↑ Tesauro, Gerald (March 1995). Temporal difference learning and TD-Gammon. Communications of the ACM. 38 (3): 58—68. doi:10.1145/203330.203343. S2CID 8763243. (англ.)
  34. ↑ Tin Kam Ho (1995). Random decision forests. Proceedings of 3rd International Conference on Document Analysis and Recognition. Т. 1. с. 278—282. doi:10.1109/ICDAR.1995.598994. ISBN 0-8186-7128-9. (англ.)
  35. ↑ Cortes, Corinna; Vapnik, Vladimir (September 1995). Support-vector networks. Machine Learning. 20 (3): 273—297. doi:10.1007/BF00994018. (англ.)
  36. ↑ Hochreiter, Sepp; Schmidhuber, Jürgen (1 November 1997). Long Short-Term Memory. Neural Computation. 9 (8): 1735—1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276. S2CID 1915014. (англ.)
  37. ↑ LeCun, Yann; Cortes, Corinna; Burges, Christopher. THE MNIST DATABASE of handwritten digits. Процитовано 16 June 2016. (англ.)
  38. ↑ Collobert, Ronan; Benigo, Samy; Mariethoz, Johnny (30 October 2002). Torch: a modular machine learning software library (PDF). Процитовано 5 June 2016. (англ.)
  39. ↑ The Netflix Prize Rules. Netflix Prize. Netflix. Архів оригіналу за 3 March 2012. Процитовано 16 June 2016. (англ.)
  40. ↑ Gershgorn, Dave (26 July 2017). ImageNet: the data that spawned the current AI boom — Quartz. qz.com (амер.). Процитовано 30 березня 2018. (англ.)
  41. ↑ Hardy, Quentin (18 July 2016). Reasons to Believe the A.I. Boom Is Real. The New York Times. (англ.)
  42. ↑ About. Kaggle. Kaggle Inc. Процитовано 16 June 2016. (англ.)
  43. ↑ Markoff, John (16 February 2011). Computer Wins on 'Jeopardy!': Trivial, It's Not. The New York Times. с. A1. (англ.)
  44. ↑ Le, Quoc V. (2013). Building high-level features using large scale unsupervised learning. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. с. 8595—8598. doi:10.1109/ICASSP.2013.6639343. ISBN 978-1-4799-0356-6. S2CID 206741597. (англ.)
  45. ↑ Markoff, John (26 June 2012). How Many Computers to Identify a Cat? 16,000. New York Times. с. B1. Процитовано 5 June 2016. (англ.)
  46. ↑ Taigman, Yaniv; Yang, Ming; Ranzato, Marc'Aurelio; Wolf, Lior (24 June 2014). DeepFace: Closing the Gap to Human-Level Performance in Face Verification. Conference on Computer Vision and Pattern Recognition. Процитовано 8 June 2016. (англ.)
  47. ↑ Canini, Kevin; Chandra, Tushar; Ie, Eugene; McFadden, Jim; Goldman, Ken; Gunter, Mike; Harmsen, Jeremiah; LeFevre, Kristen; Lepikhin, Dmitry; Llinares, Tomas Lloret; Mukherjee, Indraneel; Pereira, Fernando; Redstone, Josh; Shaked, Tal; Singer, Yoram. Sibyl: A system for large scale supervised machine learning (PDF). Jack Baskin School of Engineering. UC Santa Cruz. Процитовано 8 June 2016. (англ.)
  48. ↑ Woodie, Alex (17 July 2014). Inside Sibyl, Google's Massively Parallel Machine Learning Platform. Datanami. Tabor Communications. Процитовано 8 June 2016. (англ.)
  49. ↑ Google achieves AI 'breakthrough' by beating Go champion. BBC News. BBC. 27 January 2016. Процитовано 5 June 2016. (англ.)
  50. ↑ AlphaGo. Google DeepMind. Google Inc. Процитовано 5 June 2016. (англ.)
  51. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017). Attention Is All You Need. arXiv:1706.03762. (англ.)
  52. ↑ Sample, Ian (2 December 2018). Google's DeepMind predicts 3D shapes of proteins. The Guardian. (англ.)
  53. ↑ Eisenstein, Michael (23 November 2021). Artificial intelligence powers protein-folding predictions. Nature. 599 (7886): 706—708. doi:10.1038/d41586-021-03499-y. S2CID 244528561. (англ.)

Цитовані праці

Отримано з https://uk.wikipedia.org/w/index.php?title=Хронологія_розвитку_машинного_навчання&oldid=40047569