Джефрі Гінтон

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
У Вікіпедії є статті про інших людей із таким прізвищем: Гінтон.
Джеффрі Еверест Гінтон
англ. Geoffrey Hinton
Гінтон в 2013
Гінтон в 2013
Гінтон в 2013
Народився 6 грудня 1947(1947-12-06)[1] (76 років)
Вімблдон, Мертон, Великий Лондон, Лондон[d], Англія, Велика Британія
Місце проживання Канада
Країна  Велика Британія[2]
 Канада[2]
Діяльність інформатик, дослідник штучного інтелекту, викладач університету
Alma mater Единбурзький університет (1978)[1]
Королівський коледж, Кембрідж (1970)[1]
Галузь глибоке навчання і машинне навчання
Заклад Торонтський університет
Google
Університет Карнегі-Меллон
Науковий керівник Г'ю Крістофер Лонґет-Гіґґінсd
Аспіранти, докторанти Andriy Mnihd[3]
Річард Земельd
Редфорд Нілd
Carl Edward Rasmussend
Брендан Фрейd
Ю Хуай Тееd
Руслан Салахутдіновd
Ілля Суцкевер
David C. Plautd
Christopher K. I. Williamsd
Volodymyr Mnihd
Alberto Paccanarod[4]
Steven Nowland[4]
Кевін Ленґd[4]
David H. Ackleyd[4]
Peter Brownd[4]
Mark Derthickd[4]
Brian Sallansd[4]
Sageev Oored[4]
Radek Grzeszczukd[4]
Sidney S. Felsd[4]
James Martensd[4]
Nitish Srivastavad[4]
Yichuan Tangd[4]
George Edward Dahld[4]
Navdeep Jaitlyd[4]
Tijmen Tielemand[4]
Abdel-rahman Mohamedd[4]
Nina Thiessend[4]
Andrew Denis Brownd[4]
Еван Вітні Стеґd[4]
Andriy Mnihd[4]
Jimmy Bad
Членство Лондонське королівське товариство
Американська академія мистецтв і наук
Асоціація з розвитку штучного інтелекту
Королівське товариство Канади
Національна інженерна академія США
European Laboratory for Learning and Intelligent Systemsd[5]
Відомий завдяки: Застосування Методу зворотного поширення помилки
Машини Больцмана
Глибокого навчання
Капсульної нейронної мережі
Батько H. E. Hintond[1]
Нагороди
Особ. сторінка cs.toronto.edu/~hinton/
CMNS: Джефрі Гінтон у Вікісховищі

Джефрі Еверест Гінтон (англ. Geoffrey Everest Hinton; нар. 6 грудня 1947 року) — англо-канадський когнітивний психолог і інформатик, найбільш відомий своєю роботою над штучними нейронними мережами. З 2013 року по травень 2023 року[6] працював у Google (Google Brain) і в Торонтському університеті.[7][8]

З Девідом Румельгартом[en] і Рональдом Дж. Вільямсом[en], Гінтон був співавтором надзвичайно цитованої статті, опублікованої в 1986 році, яка популяризувала алгоритм зворотного поширення помилки для навчання багатошарових нейронних мереж,[9] хоча вони не були першими, хто запропонував даний підхід.[10] Гінтон розглядається деякими як провідна фігура в спільноті глибокого навчання і називається деякими як «Хрещений батько глибокого навчання».[11][12][13][14][15] Розпізнавання зображень AlexNet, розроблений його учнем українцем Олексієм Крижевським[16] для змагання ImageNet[en] у 2012 році,[17] допомогло революціонізувати сферу комп'ютерного зору.[18] Гінтон був нагороджений премією Тюрінга у 2018 році разом з Йошуа Бенджо[en] і Ян Лекуном за їхню роботу над глибоким навчанням.[19]

Освіта[ред. | ред. код]

Гінтон отримав освіту в Королівському коледжі в Кембриджі, який закінчив у 1970 році, отримавши ступінь бакалавра мистецтв в галузі експериментальної психології.[20][21] Він продовжив своє навчання в Единбурзькому університеті, де отримав ступінь доктора філософії в галузі штучного інтелекту в 1978 році для досліджень під керівництвом Крістофера Лонгет-Хіггінса[en].[22][23][24][25]

Кар'єра та дослідження[ред. | ред. код]

Після отримання ступеня доктора філософії він працював в університеті Сассекса і (після труднощів з пошуком фінансування у Великій Британії)[26] в Каліфорнійському університеті у Сан-Дієго та Університеті Карнегі-Меллона.[20] Він був директором-засновником підрозділу обчислювальної неврології благодійного фонду Гетсбі[en] в Університетському коледжі в Лондоні[20] і в даний час[27] є професором факультету інформатики в Торонтському університеті. Він має кафедру канадських досліджень[en] (англ. Canada Research Chair) в області машинного навчання і в даний час є консультантом програми «Навчання в машинах і мізках» в Канадському інституті перспективних досліджень[en]. Гінтон викладав безкоштовний онлайн-курс з нейронних мереж на освітній платформі Coursera у 2012 році.[28] Гінтон приєднався до Google в березні 2013 року, коли була придбана його компанія DNNresearch Inc. Він планує «розділити свій час між дослідженнями в університеті і роботою в Google».[29]

Дослідження Гінтона стосуються способів використання нейронних мереж для машинного навчання, пам'яті, сприйняття та обробки символів. Він є автором, або співавтором понад 200 рецензованих публікацій. У той час, як Гінтон був професором в університеті Карнегі-Меллона (1982—1987), Девід Румельгарт[en], Гінтон і Рональд Дж. Вільямс[en] застосували метод зворотного поширення помилки до багатошарових нейронних мереж. Їх експерименти показали, що такі мережі можуть вивчити корисні внутрішні представлення даних.[9] В інтерв'ю 2018 года[30] Гінтон сказав, що «Девід Румельгарт придумав основну ідею методу зворотного поширення помилки, так що це його винахід». Хоча ця робота була важлива для популяризації методу зворотного поширення помилки, вона не була першою, яка запропонувала такий підхід.[10] Автоматичне диференціювання у зворотному режимі, окремим випадком якого є метод зворотного поширення помилки, було запропоновано Сеппо Ліннайнмаа[en] в 1970 році, а Пол Вербос[en] запропонував використовувати його для навчання нейронних мереж в 1974 році.[10]

Протягом того ж періоду Гінтон винайшов машину Больцмана разом з Девідом Акклі та Террі Сейновські[en].[31] Інші його внески в дослідження нейронних мереж включають розподілені представлення, нейронну мережу з часовою затримкою, суміші фахівців (англ. mixtures of experts), машини Гельмгольца[en] та продукт експертів[en]. У 2007 році Гінтон виступав співавтором статті про некероване навчання під назвою «Некероване навчання в перетворенні зображення».[32] Доступне введення до дослідження Джеффрі Гінтона можна знайти у його статтях у Scientific American у вересні 1992 року та жовтні 1993 року.

У жовтні та листопаді 2017 року Гінтон опублікував дві науково-дослідні роботи відкритого доступу[33][34] на тему капсульних нейронних мереж, які, на думку Гінтона, «нарешті щось добре працює».[35]

Відомі колишні аспіранти і докторанти з його групи це Річард Земель[en],[22][36] Брендан Фрей[en],[37]Радфорд М. Ніл[en],[38]Руслан Салахутдінов[en],[39] Ілля Суцкевер,[40] Ян ЛеКун[41] та Зубін Гахрамані[en].

Особисте життя[ред. | ред. код]

Гінтон є праправнук логіка Джорджа Буля, чия робота згодом стала однією з основ сучасних комп'ютерних наук та хірурга й автора Джеймса Гінтона[en][42], який був батьком Чарльза Говарда Гінтона. Батьком Гінтона був Говард Гінтон[en][20][21]. Його друге ім'я від іншого родича, Джорджа Евереста.[26] Він також є племінником економіста Коліна Кларка.[43] У 1994 році він втратив першу дружину внаслідок раку яєчників.[43]

Погляди[ред. | ред. код]

Гінтон переїхав з США до Канади частково через розчарування в політиці епохи Рональда Рейгана і несхвалення військового фінансування штучного інтелекту[26]. Гінтон звернувся з петицією проти смертельної автономної зброї[en]. Що стосується екзистенціального ризику від штучного інтелекту[en], Гінтон зазвичай відмовляється робити прогнози більш ніж на п'ять років у майбутньому, відзначаючи, що експоненційний прогрес робить невизначеність занадто великою.[44] Проте, у неформальній бесіді в грудні 2015 року з панікером щодо екзистенціального ризику від штучного інтелекту Ніком Бостромом, підслухана журналістом Раффі Хатчадуріаном,[45] він повідомив, що не очікує, що сильний штучний інтелект буде створено протягом найближчих десятиліть («Не раніше 2070 року»), і що, у контексті дихотомії, яку раніше запровадив Бостром між людьми, які думають, що управління екзистенціальним ризиком від штучного інтелекту[en] — це, мабуть безнадійно, чи достатньо легко, щоб вона була вирішена автоматично, Гінтон «в таборі зневірених».[45] Він заявив: «Я думаю, що політичні системи використовуватимуть їх для тероризації людей» і висловив переконання, що такі агенції, як Агентство національної безпеки вже намагаються зловживати подібною технологією. На запитання Ніка Бострома, чому він продовжує дослідження, попри серйозність побоювань, Гінтон заявив: «Я можу дати вам звичайні аргументи. Але правда полягає в тому, що перспектива відкриття є дуже солодкою»[45] — посилання на зауваження Дж. Роберта Оппенгеймера під час допиту про те, чому він продовжував свої дослідження в Мангеттенському проєкті. Згідно з тим самим звітом, Гінтон категорично не виключає, що люди контролюють штучний супер інтелект, але попереджає, що «немає хорошого досвіду менш розумних речей, які контролюють речі більшого інтелекту»[45].

Нагороди та відзнаки[ред. | ред. код]

Примітки[ред. | ред. код]

  1. ↑ а б в г Who's who — (untranslated), 1849. — ISSN 0083-937X
  2. ↑ а б https://www.cs.toronto.edu/~hinton/fullcv.pdf
  3. ↑ https://www.cs.toronto.edu/~amnih/
  4. ↑ а б в г д е ж и к л м н п р с т у ф х ц ш Математичний генеалогічний проєкт — 1997.
  5. ↑ https://ellis.eu/members
  6. ↑ Metz, Cade (1 травня 2023). 'The Godfather of A.I.' Leaves Google and Warns of Danger Ahead. The New York Times (англ.). ISSN 0362-4331. Процитовано 1 травня 2023.
  7. ↑ Daniela Hernandez (7 травня 2013). The Man Behind the Google Brain: Andrew Ng and the Quest for the New AI. Wired. Архів оригіналу за 8 лютого 2014. Процитовано 10 травня 2013.
  8. ↑ Geoffrey E. Hinton – Google AI. Google AI (англ.). Архів оригіналу за 1 квітня 2019. Процитовано 9 травня 2019.
  9. ↑ а б Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (9 жовтня 1986). Learning representations by back-propagating errors. Nature (En) . 323 (6088): 533—536. doi:10.1038/323533a0. ISSN 1476-4687.
  10. ↑ а б в Schmidhuber, Jürgen (1 січня 2015). Deep learning in neural networks: An overview. Neural Networks. 61: 85—117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.
  11. ↑ Geoffrey Hinton was briefly a Google intern in 2012 because of bureaucracy – TechCrunch. techcrunch.com (амер.). Архів оригіналу за 17 березня 2020. Процитовано 28 березня 2018.
  12. ↑ Somers, James. Progress in AI seems like it's accelerating, but here's why it could be plateauing. MIT Technology Review (англ.). Архів оригіналу за 20 травня 2018. Процитовано 28 березня 2018.
  13. ↑ How U of T's 'godfather' of deep learning is reimagining AI. University of Toronto News (англ.). Архів оригіналу за 6 квітня 2019. Процитовано 28 березня 2018.
  14. ↑ 'Godfather' of deep learning is reimagining AI. Архів оригіналу за 13 квітня 2019. Процитовано 28 березня 2018.
  15. ↑ Geoffrey Hinton, the 'godfather' of deep learning, on AlphaGo. Macleans.ca (амер.). 18 березня 2016. Архів оригіналу за 6 березня 2020. Процитовано 28 березня 2018.
  16. ↑ Dave Gershgorn (18 червня 2018). The inside story of how AI got good enough to dominate Silicon Valley. Quartz. Архів оригіналу за 12 грудня 2019. Процитовано 5 жовтня 2018.
  17. ↑ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (3 грудня 2012). ImageNet classification with deep convolutional neural networks. Nips'12. Curran Associates Inc.: 1097—1105. Архів оригіналу за 20 грудня 2019. Процитовано 10 травня 2019.
  18. ↑ How a Toronto professor's research revolutionized artificial intelligence | Toronto Star. thestar.com (англ.). Архів оригіналу за 17 квітня 2015. Процитовано 13 березня 2018.
  19. ↑ 27 Mar, Emily Chung · CBC News · Posted:; March 27, 2019 6:00 AM ET | Last Updated:. Canadian researchers who taught AI to learn like humans win $1M award | CBC News. CBC (англ.). Архів оригіналу за 26 лютого 2020. Процитовано 27 березня 2019.
  20. ↑ а б в г Anon (2015) Шаблон:Who's Who DOI:10.1093/ww/9780199540884.013.20261 (необхідна підписка)
  21. ↑ а б Salt, George (1978). Howard Everest Hinton. 24 August 1912-2 August 1977. Biographical Memoirs of Fellows of the Royal Society. 24: 150—182. doi:10.1098/rsbm.1978.0006. ISSN 0080-4606.
  22. ↑ а б Джефрі Гінтон(англ.) в проєкті «Математична генеалогія».
  23. ↑ Geoffrey E. Hinton's Academic Genealogy. Архів оригіналу за 23 березня 2017. Процитовано 10 травня 2019.
  24. ↑ Gregory, R. L.; Murrell, J. N. (2006). Hugh Christopher Longuet-Higgins. 11 April 1923 -- 27 March 2004: Elected FRS 1958. Biographical Memoirs of Fellows of the Royal Society. 52: 149—166. doi:10.1098/rsbm.2006.0012.
  25. ↑ Hinton, Geoffrey Everest (1977). Relaxation and its role in vision. lib.ed.ac.uk (Дипломна робота PhD). University of Edinburgh. hdl:1842/8121. OCLC 18656113. EThOS uk.bl.ethos.482889. Архів оригіналу за 20 листопада 2018. Процитовано 10 травня 2019.
  26. ↑ а б в Smith, Craig S. (23 червня 2017). The Man Who Helped Turn Toronto into a High-Tech Hotbed. The New York Times. Архів оригіналу за 27 січня 2020. Процитовано 27 червня 2017.
  27. ↑ Архівована копія (PDF). Архів оригіналу (PDF) за 23 липня 2020. Процитовано 31 травня 2019.{{cite web}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title (посилання)
  28. ↑ Архівована копія. Архів оригіналу за 31 грудня 2016. Процитовано 31 травня 2019.{{cite web}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title (посилання)
  29. ↑ U of T neural networks start-up acquired by Google (Пресреліз). Toronto, ON. 12 березня 2013. Архів оригіналу за 12 грудня 2020. Процитовано 13 березня 2013.
  30. ↑ Ford, Martin (2018). Architects of Intelligence: The truth about AI from the people building it. Packt Publishing. ISBN 978-1-78913-151-2.
  31. ↑ Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), «A learning algorithm for Boltzmann machines», Cognitive science, Elsevier, 9 (1): 147—169
  32. ↑ Hinton, Geoffrey E. Geoffrey E. Hinton's Publications in Reverse Chronological Order. Архів оригіналу за 18 квітня 2020. Процитовано 2 червня 2019.
  33. ↑ Sabour, Sara; Frosst, Nicholas; Hinton, Geoffrey. October 2017. «Dynamic Routing Between Capsules» [Архівовано 10 червня 2019 у Wayback Machine.]
  34. ↑ «Matrix capsules with EM routing» [Архівовано 10 червня 2019 у Wayback Machine.] 3 November 2017. OpenReview.net
  35. ↑ Geib, Claudia. 2 November 2017. «We've Finally Created an AI Network That's Been Decades in the Making» [Архівовано 10 червня 2019 у Wayback Machine.] Futurism.com
  36. ↑ Zemel, Richard Stanley (1994). A minimum description length framework for unsupervised learning. proquest.com (Дипломна робота PhD). University of Toronto. OCLC 222081343. Архів оригіналу за 3 червня 2019. Процитовано 3 червня 2019.
  37. ↑ Frey, Brendan John (1998). Bayesian networks for pattern classification, data compression, and channel coding. proquest.com (Дипломна робота PhD). University of Toronto. OCLC 46557340. Архів оригіналу за 3 червня 2019. Процитовано 3 червня 2019.
  38. ↑ Neal, Radford (1995). Bayesian learning for neural networks. proquest.com (Дипломна робота PhD). University of Toronto. OCLC 46499792. Архів оригіналу за 3 червня 2019. Процитовано 3 червня 2019.
  39. ↑ Salakhutdinov, Ruslan (2009). Learning deep generative models. proquest.com (Дипломна робота PhD). University of Toronto. ISBN 9780494610800. OCLC 785764071. Архів оригіналу за 3 червня 2019. Процитовано 3 червня 2019.
  40. ↑ Sutskever, Ilya (2013). Training Recurrent Neural Networks. proquest.com (Дипломна робота PhD). University of Toronto. OCLC 889910425. Архів оригіналу за 3 червня 2019. Процитовано 3 червня 2019.
  41. ↑ Yann LeCun's Research and Contributions. yann.lecun.com. Архів оригіналу за 3 березня 2018. Процитовано 13 березня 2018.
  42. ↑ The Isaac Newton of logic. Архів оригіналу за 16 січня 2021. Процитовано 19 травня 2019.
  43. ↑ а б Shute, Joe (26 серпня 2017). The 'Godfather of AI' on making machines clever and whether robots really will learn to kill us all?. The Telegraph. Архів оригіналу за 27 грудня 2017. Процитовано 30 січня 2018.
  44. ↑ Hinton, Geoffrey. Lecture 16d The fog of progress (PDF). Архів оригіналу (PDF) за 13 липня 2019. Процитовано 26 травня 2019.
  45. ↑ а б в г Khatchadourian, Raffi (16 листопада 2015). The Doomsday Invention. The New Yorker. Архів оригіналу за 29 квітня 2019. Процитовано 30 січня 2018.
  46. ↑ Anon (1998). Professor Geoffrey Hinton FRS. London: Royal Society. Архів оригіналу за 3 November 2015. One or more of the preceding sentences incorporates text from the royalsociety.org website where:
    "All text published under the heading 'Biography' on Fellow profile pages is available under Creative Commons Attribution 4.0 International License." --Royal Society Terms, conditions and policies. Архів оригіналу за 11 November 2016. Процитовано 9 березня 2016. {{cite web}}: Недійсний |deadurl=bot: unknown (довідка)
Диференційовні обчислення
Загальне
Поняття
Мови програмування
Застосування
Апаратне забезпечення
Програмні бібліотеки
Втілення
Аудіовізуальні
Словесні
Вирішувальні
Люди
Організації
Генеалогія та некрополістика
Література та бібліографія
Наука
Словники та енциклопедії
Нормативний контроль
Отримано з https://uk.wikipedia.org/w/index.php?title=Джефрі_Гінтон&oldid=41427228