Історія штучного інтелекту

Істо́рія шту́чного інтеле́кту (ШІ, англ. artificial intelligence, AI) почалася у стародавньому світі, з міфів, оповідань та чуток про створення штучних істот, яких майстри обдарували розумом чи свідомістю. Зерна сучасного ШІ заклали філософи, які намагалися описати процес людського мислення як механічне маніпулювання символами. Ця робота досягла найвищої точки винайденням у 1940-х роках програмованого цифрового комп'ютера, машини, що ґрунтується на абстрактній сутності математичного міркування. Цей пристрій та ідеї в його основі надихнули невелику групу науковців почати серйозно обговорювати можливість побудови електронного мозку.

Алан Тюрінг був першим, хто здійснив істотні дослідження в галузі, яку він називав машинним інтелектом (англ. Machine Intelligence). Галузь дослідження ШІ заснували на семінарі, проведеному в кампусі Дартмутського коледжу в США влітку 1956 року. Ті, хто відвідали той семінар, стали лідерами досліджень у галузі ШІ на десятиліття вперед. Багато хто з них прогнозували, що машина з інтелектом, рівносильним людському, з'явиться не більше, ніж за покоління, і їм виділили мільйони доларів для втілення цього бачення.

З часом стало очевидно, що дослідники дуже сильно недооцінили складність цього проєкту. 1974 року, у відповідь на критику з боку Джеймса Лайтгілла та під тиском конгресу, уряди США та Великої Британії припинили фінансування неспрямованих досліджень щодо штучного інтелекту, і наступні складні роки стали відомі як «зима ШІ». Сім років потому візіонерська ініціатива японського уряду надихнула уряди та промисловість надавати ШІ мільярди доларів, але до кінця 1980-х років ці інвестори розчарувалися і знову відкликали фінансування.

Інвестиції та інтерес до ШІ зазнали буму в 2020-х роках, коли до багатьох задач науки та промисловості стали успішно застосовувати машинне навчання завдяки новим методам, використанню потужного обчислювального обладнання, та збиранню величезних наборів даних.

Предтечі

Міфічні, фантастичні, та гіпотетичні предтечі

Міфи та легенди

У грецькій міфології Тал був гігантом, зробленим із бронзи, який був сторожем острова Крит. Він кидав валуни в кораблі загарбників та щоденно здійснював 3 обходи навколо периметра острова. За даними «Бібліотеки» Псевдо-Аполлодора, Гефест викував Тала за допомогою циклопів і подарував цього автоматона Міносу. В «Аргонавтиці» Ясон з аргонавтами перемогли його, витягнувши єдиний штир, розташований біля його стопи, який, бувши вийнятим, дозволив витекти життєдайному іхору з його тіла, залишивши його бездіяльним.

Пігмаліон у грецькій міфології був легендарним царем і скульптором, найвідомішим завдяки «Метаморфозам» Овідія. У 10-й книзі повісті Овідія Пігмаліон починає гидувати жінками після того, як стає свідком проституції Пропоетид. Незважаючи на це, він приносить жертви до храму Венери й благає богиню дату йому жінку, точно таку, як скульптура, яку він вирізьбив.

Середньовічні легенди про штучні створіння

Зображення гомункула з «Фауста» Гете

У творі «Про природу речей», написаному швейцарським алхіміком Парацельсом, описано процедуру, яка, за його твердженням, дозволяє створити «штучну людину». Якщо помістити «чоловічу сперму» до кінського гною, й годувати її «Таємницею людської крові» протягом 40 днів, це місиво стане живим немовлям.

Найраніша писемна згадка про створення голема зустрічається у творах Елеазара бен Юда Вормського на початку XIII століття.^{[сторінка?]} У середньовіччі вважали, що оживлення Голема можливо досягти, вставивши до рота глиняної фігури аркуш паперу з будь-яким з імен бога. На відміну від легендарних автоматів, таких як Бронзові голови, Голем розмовляти не міг.

Таквін, штучне живе створення, було частою темою алхімічних рукописів ісмаїлітів, особливо тих, які приписувалися Джабіру ібн Хаяну. Ісламські алхіміки у своїй роботі намагалися створити різноманітні форми життя, від рослин до тварин.

У творі «Фауст: Друга частина трагедії» Йоганна Вольфганга фон Гете створений алхімічно гомункул, призначений жити вічно у флаконі, в якому його створили, намагається народитися в повному людському тілі. Проте під час цього перетворення флакон розбивається, і гомункул гине.

Сучасна фантастика

Ідеї про штучних людей і мислячі машини розвинулися у фантастиці вже на початку XIX століття, наприклад, у «Франкенштейні» Мері Шеллі та «Р. У. Р. (Россумових Універсальних Роботах)» Карела Чапека, а також у гіпотезах, як у «Дарвіні серед машин» Семюеля Батлера, і реальних випадках, включно з «Шахістом Мельцеля» Едгара Аллана По. ШІ залишається популярною темою у фантастиці й досі.

Автомати

Програмовані автомати Аль-Джазарі (1206 рік)

Реалістичні гуманоїдні автомати створювали ремісники кожної з цивілізацій, зокрема, Янь Ші, Герон Александрійський, Аль-Джазарі, П'єр Жаке-Дро й Вольфганг фон Кемпелен.

Найстародавнішими відомими автоматами були священні статуї стародавнього Єгипту та Греції. Віряни вважали, що ремісники наділи ці фігури справжніми розумами, здатними до мудрості й почуттів. Гермес Трисмегіст писав, що «відкривши справжню природу богів, людина змогла її відтворити». Англійський учений Александр Некем стверджував, що давньоримський поет Вергілій побудував палац з автоматичними статуями.

Протягом ранньомодерністського періоду стверджували, що ці легендарні автомати володіли магічною здатністю відповідати на адресовані їм запитання. Пізньосередньовічний алхімік та протопротестант Роджер Бекон вигадав бронзову голову, розпустивши легенду те, що він чарівник. Ці легенди були схожі на скандинавський міф про Голову Міміра. За легендою, Мімір славився розумом і мудрістю, і був обезголовлений під час війни асів та ванів. Сказано, що Одін «забальзамував» його голову травами й читав заклинання над нею, так що голова Міміра зберегла здатність висловлювати мудрість перед Одіном. Одін відтоді зберігав цю голову при собі, щоби радитися з нею.

Формальне міркування

Штучний інтелект ґрунтується на припущенні, що процес людського мислення можливо механізувати. Вивчення механічного або «формального» міркування має довгу історію. Китайські та грецькі філософи розробили структуровані методи формального виведення в першому тисячолітті до н. е. Їхні ідеї розвинули протягом століть такі філософи як Арістотель (який дав формальний аналіз силогізму), Евклід (чиї «Начала» були моделлю формального міркування), Аль-Хорезмі (який розвинув алгебру і дав своє ім'я «алгоритму») та європейські філософи-схоластики, як-от Вільям Оккам та Дунс Скот.

Іспанський філософ Раймунд Луллій (1232—1315) розробив декілька логічних машин, присвячених вироблянню знань логічними засобами; Луллій описував свої машини як механічні сутності, які могли поєднувати базові й беззаперечні істини за допомогою простих логічних операцій, виконуваних машиною механічними засобами, таким чином, щоби виробити всі можливі знання. Робота Луллія мала великий вплив на Готфріда Лейбніца, який переосмислив його ідеї.

Готфрід Лейбніц, який припускав, що людський розум можливо звести до механічного обчислення

У XVII столітті Лейбніц, Томас Гоббс та Рене Декарт досліджували, чи можливо все раціональне мислення зробити таким же систематизованим, як алгебра та геометрія. Гоббс знаменито написав у «Левіафані»: «розум — це ніщо інше, як обчислення». Лейбніц уявляв універсальну мову міркування, characteristica universalis, яка зводила би аргументування до обчислення, таким чином, що «потреби в суперечці між двома філософами було би не більше, ніж між двома бухгалтерами. Бо достатньо було би взяти їм олівці в руки, сісти до їхніх дощок, і сказати один одному (з другом як свідком, якщо бажають): Порахуймо.» Ці філософи почали формулювати гіпотезу системи фізичних символів, яка стала дороговказною вірою досліджень ШІ.

У XX столітті вивчення математичної логіки забезпечило необхідний прорив, який зробив штучний інтелект позірно правдоподібним. Основи заклали такі праці як «Закони мислення» Буля та «Begriffsschrift» Фреге. Спираючись на систему Фреге, Расселл та Вайтгед представили формальне викладення основ математики у своєму шедеврі, «Principia Mathematica» 1913 року. Надихнувшись успіхом Рассела, Давид Гільберт викликав математиків 1920-х і 30-х років відповісти на фундаментальне питання: «чи можливо формалізувати все математичне міркування?» Відповідь на його питання дали доведення неповноти Геделя, машина Тюрінга та лямбда-числення Черча.

Фото ENIAC армії США у Школі електротехніки Мура

Їхня відповідь була несподіваною з двох боків. По-перше, вони довели, що насправді існують межі того, чого може досягти математична логіка. Але по-друге (і важливіше для ШІ), їхня робота підказувала, що в межах цих обмежень можливо механізувати будь-який вид математичного міркування. Ключовим прозрінням була машина Тюрінга — проста теоретична конструкція, яка вловлювала суть маніпулювання абстрактними символами. Цей винахід надихнув групу науковців почати обговорювати можливість мислячих машин.

Інформатика

Лічильні машини проєктували й будували у давнину та протягом історії багато людей, серед них Готфрід Лейбніц, Жозеф Марі Жаккар, Чарлз Беббідж, Персі Ладгейт, Леонардо Торрес Кеведо, Веннівер Буш та інші. Ада Лавлейс припускала, що машина Беббіджа була «мислячою або … розумною машиною», але застерігала: «Бажано захиститися від можливості перебільшення уявлень, що виникають щодо можливостей» цієї машини. Олександр Щукарьов із Харківського технологічного інституту розглядав дещо вдосконалене ним «логічне піаніно» Джевонса як «машину логічного мислення», технічний засіб механізації тих сторін мислення, що формалізуються.

Перші сучасні комп'ютери були величезними машинами Другої світової війни (такими як Z3 Конрада Цузе, Гіт Робінсон та Колос Алана Тюрінга, ABC Атанасова та Беррі (з використанням теоретичних праць Михайла Кравчука), та ENIAC у Пенсільванському університеті). ENIAC ґрунтувався на теоретичній основі, закладеній Аланом Тюрінгом, розробив його фон Нейман, і він виявився найвпливовішим. Перший електронний комп'ютер на теренах України, МЕЛМ, розробили вже після Другої світової війни в Інституті електротехніки АН УРСР, під керівництвом Сергія Лебедєва.

Народження машинного інтелекту (до 1956)

IBM 702: комп'ютер, який використовувало перше покоління дослідників ШІ.

У 1940-х і 50-х роках група науковців з різних галузей (математики, психології, інженерії, економіки та політології) почали обговорювати можливість створення штучного мозку. Алан Тюрінг був першим, хто здійснив істотні дослідження в галузі, яку він називав машинним інтелектом (англ. Machine Intelligence). Галузь досліджень штучного інтелекту заснували як академічну дисципліну 1956 року.

Кібернетика та ранні нейронні мережі

Найраніші дослідження мислячих машин надихнув збіг ідей, які набули поширення наприкінці 1930-х, у 1940-х, та на початку 1950-х років. Новітні дослідження в неврології показали, що мозок виявився електричною мережею нейронів, які випромінювали імпульси типу «все або нічого». Кібернетика Норберта Вінера описувала керування та стабільність в електричних мережах. Теорія інформації Клода Шеннона описувала цифрові сигнали (тобто сигнали типу «все або нічого»). Теорія алгоритмів Алана Тюрінга показала, що будь-який вид обчислення можливо описати в цифровому вигляді. Тісний зв'язок між цими ідеями підказував, що може існувати можливість побудувати «електронний мозок». Експериментальних роботів, як-от черепах В. Грея Волтера та звіра Джонса Гопкінса, побудували в 1950-х роках. Ці машини не використовували комп'ютери, цифрову електроніку або символьне міркування; вони керувалися суто аналоговою схемотехнікою.

Алан Тюрінг розмірковував про машинний інтелект щонайменше з 1941 року, коли він поширив статтю про машинний інтелект, яка може бути найранішою статтею в галузі ШІ, — хоча наразі її втрачено. Волтер Піттс та Воррен Маккалох аналізували мережі ідеалізованих штучних нейронів і показали, як вони можуть виконувати прості логічні функції, 1943 року. Вони були першими, хто описав те, що пізніше дослідники назвуть нейронною мережею. Ця праця зазнала впливу ранішої праці Тюрінга «Про обчисле́нні числа» 1936 року, яка використовувала подібні двостанові булеві «нейрони», але в ній вперше застосували це до функціювання нейронів. Одним зі студентів, кого надихнули Піттс та Маккалох, був молодий Марвін Мінський, тоді 24-річний аспірант. 1951 року (з Діном Едмондсом) він побудував першу нейромережну машину, SNARC. Мінський став одним із найважливіших лідерів та новаторів у ШІ.

Тест Тюрінга

Протягом свого життя Алан Тюрінг використовував термін «машинний інтелект» (англ. 'Machine Intelligence'), який після його смерті 1954 року часто називають «штучним інтелектом» (англ. 'Artificial Intelligence'). 1950 року Алан Тюрінг опублікував поворотну й найвідомішу його працю «Обчислювальні машини та інтелект», в якій він розмірковував про можливість створення машин, що думають, і яка представила його поняття, відоме тепер загалові як тест Тюрінга. Він зазначив, що поняття «думати» визначити складно, і запропонував свій знаменитий тест Тюрінга. Якщо машина могла би вести розмову (через телетайп) так, що її неможливо було би відрізнити від розмови з людиною, то було би розважливо сказати, що машина «думає». Ця спрощена версія задачі дозволила Тюрінгу переконливо довести, що «мисляча машина» є принаймні можливою, і ця праця відповіла на всі найпоширеніші заперечення проти цього твердження. Тест Тюрінга був першою серйозною пропозицією у філософії штучного інтелекту. Після цього відбулися три радіопередачі про ШІ від Тюрінга: лекції «Розумна машинерія, єретична теорія» (англ. 'Intelligent Machinery, A Heretical Theory'), «Чи можуть цифрові комп'ютери думати?» (англ. 'Can Digital Computers Think?'), та панельна дискусія «Чи можливо сказати, що автоматичні обчислювальні машини думають» (англ. 'Can Automatic Calculating Machines be Said to Think'). До 1956 року комп'ютерний інтелект активно розвивався у Британії протягом понад десятиліття; найперші програми ШІ там було написано в 1951—52 роках.

Ігровий ШІ

1951 року, використовуючи машину Ferranti Mark 1 Манчестерського університету, Крістофер Стрейчі написав програму для гри в шашки, а Дітріх Принц — для гри в шахи. Програма для гри в шашки Артура Семюеля, предмет його статті 1959 року «Деякі дослідження в машинному навчанні з використанням гри в шашки», з часом досягла достатнього рівня майстерності, щоби викликати на поєдинок поважного аматора. Ігровий ШІ продовжуватимуть використовувати як міру поступу в ШІ протягом усієї його історії.

Символьне міркування та Логічний теоретик

Коли у середині п'ятдесятих років уможливився доступ до цифрових комп'ютерів, декілька науковців інтуїтивно зрозуміли, що машина, яка може маніпулювати числами, може також маніпулювати й символами, і що маніпулювання символами може бути суттю людського мислення. Це був новий підхід до створення мислячих машин.

1955 року Аллен Ньюелл і (майбутній лауреат Нобелівської премії) Герберт Саймон створили «Логічного теоретика» (за допомогою Кліффа Шоу). Ця програма згодом довела 38 із перших 52 теорем у «Principia Mathematica» Расселла і Вайтгеда, а для деяких знайшла нові й елегантніші доведення. Саймон сказав, що вони «розв'язали шановану проблему розуму й тіла, пояснивши, як складена з матерії система може мати властивості розуму». (Це була рання заява філософської позиції, яку Джон Серль пізніше назве «Сильним ШІ» (англ. "Strong AI"): що машини можуть містити розум так само, як і людські тіла.)

Народження штучного інтелекту (1956—1974)

Сам термін «штучний інтелект» офіційно запровадив Джон Маккарті під час Дартмутського семінару 1956 року, поворотної події, яка ознаменувала офіційне запровадження ШІ як академічної дисципліни. Основною метою цього семінару було дослідити можливості створення машин, здатних імітувати людський інтелект, що стало початком цілеспрямованого дослідження сфери ШІ.

Дартмутський семінар 1956 року організували Марвін Мінський, Джон Маккарті та двоє старших науковців, Клод Шеннон та Натан Рочестер з IBM. Пропозиція для цієї конференції містила таке твердження: «будь-який аспект навчання або будь-яку іншу ознаку інтелекту можливо описати так точно, що можливо буде зробити машину, яка її імітуватиме». Серед учасників були Рей Соломонов, Олівер Селфрідж, Тренчард Мор, Артур Семюель, Аллен Ньюелл та Герберт Саймон, кожен з яких створить важливі програми протягом перших десятиліть досліджень ШІ. На цьому семінарі Ньюелл та Саймон представили «Логічного теоретика», а Маккарті переконав учасників прийняти «Штучний інтелект» (англ. "Artificial Intelligence") як назву цієї галузі. (Маккарті обрав термін «Штучний інтелект», щоб уникнути асоціацій з кібернетикою та впливом Норберта Вінера.) Семінар у Дартмуті 1956 року був моментом, коли ШІ отримав свою назву, свою місію, свій перший успіх і своїх головних гравців, і його широко вважають народженням ШІ.

Програми, розроблені в перші роки після Дартмутського семінару, були для більшості людей просто «дивовижними»: комп'ютери розв'язували алгебричні задачі, доводили теореми в геометрії, та вчилися говорити англійською. Мало хто в той час вірив, що така «інтелектуальна» поведінка машин взагалі можлива. Дослідники висловлювали надмірний оптимізм приватно й у друці, прогнозуючи, що повністю розумну машину буде побудовано менше ніж за 20 років. Урядові агентства, як-от DARPA, вливали гроші в цю нову галузь. У низці британських та американських університетів наприкінці 1950-х та на початку 1960-х років було створено лабораторії штучного інтелекту, в Україні Віктор Глушков заснував Інститут кібернетики АН УРСР.

Підходи

Було багато успішних програм та нових напрямків наприкінці 50-х та у 60-х роках. Серед найвпливовіших були такі:

Міркування як пошук

Багато ранніх програм ШІ використовували один і той же базовий алгоритм. Щоби досягти якоїсь мети (наприклад, виграти гру або довести теорему), вони крок за кроком просувалися до неї (роблячи хід або виведення) так, ніби шукали шлях у лабіринті, відступаючи, коли потрапляли в тупик. Цю парадигму назвали «міркування як пошук».

Основна складність полягала в тому, що для багатьох задач кількість можливих шляхів цим «лабіринтом» була просто астрономічною (ситуація, відома як «комбінаторний вибух»). Дослідники зменшували простір пошуку, використовуючи евристики або «евристичні формули», які виключали ті шляхи, що малоймовірно вели до розв'язку.

Ньюелл та Саймон намагалися охопити загальну версію цього алгоритму в програмі, яку назвали «Загальний розв'язувач задач» (англ. "General Problem Solver"). Інші програми «пошуку» змогли виконати вражаючі завдання, такі як розв'язування задач з геометрії та алгебри, наприклад «Доводник геометричних теорем» (англ. Geometry theorem prover) Герберта Гелернтера (1958) та «Символьний автоматичний інтегрувальник» (англ. Symbolic automatic integrator, SAINT), написаний студентом Мінського Джеймсом Слейглом (1961). Інші програми шукали цілі та підцілі, щоби планувати дії, як система STRIPS, розроблена у Стенфорді для керування поведінкою їхнього робота Шекі.

Нейронні мережі

Стаття Маккаллоха та Піттса (1944) надихнула підходи до створення обчислювального апаратного забезпечення, яке втілює нейронний підхід до штучного інтелекту в апаратурі. Найвпливовішими були зусилля під проводом Френка Розенблата щодо будівництва перцептронних машин (1957—1962) з кількістю шарів до чотирьох. Фінансувало його переважно Управління військово-морських досліджень США. Бернард Уїдроу та його студент Тед Гофф побудували ADALINE (1960) та MADALINE (1962), які мали до 1000 підлаштовуваних ваг. Група у Стенфордському дослідницькому інституті під керівництвом Чарльза А. Розена та Альфреда Е. (Теда) Брейна побудувала дві нейронні мережі, названі MINOS I (1960) та II (1963), фінансовані переважно Корпусом зв'язку армії США. MINOS II мала 6600 підлаштовуваних ваг, і керувалася комп'ютером SDS 910 у конфігурації під назвою MINOS III (1968), який міг класифікувати символи на армійських картах і розпізнавати символи, написані друкованими літерами на картках Фортран.

Більшість досліджень нейронних мереж у цей ранній період полягала в побудові й використанні спеціалізованого апаратного забезпечення, а не моделюванні на цифрових комп'ютерах. Різноманітність апаратного забезпечення була особливо помітною в різних технологіях, які використовували для втілення підлаштовуваних ваг. Перцептронні машини та SNARC використовували потенціометри, які рухали електричні моторчики. ADALINE використовувала мемістори, які регулювалися електроосадженням, хоча вони також використовували й моделювання на IBM 1620. Машини MINOS використовували феритові осердя з кількома отворами в них, з можливістю індивідуального блокування, причому ступінь блокування подавав ваги.

Хоч були й багатошарові нейронні мережі, як-от метод групового урахування аргументів Олексія Івахненка з Інституту кібернетики АН УРСР, більшість нейронних мереж у цей період мали лише один шар підлаштовуваних ваг. Були емпіричні спроби тренування понад одного шару, але вони були невдалими. Зворотне поширення не набуло поширення для тренування нейронних мереж до 1980-х років.

Приклад семантичної мережі

Природна мова

Одна з важливих цілей досліджень штучного інтелекту — уможливити спілкування комп'ютерів природними мовами, як-от англійською. Раннім успіхом була програма Деніела Боброва STUDENT, яка могла розв'язувати задачі з алгебри середньої школи.

Семантична мережа подає поняття (наприклад, «будинок», «двері») як вузли, а відношення між поняттями (наприклад, «має») як зв'язки між вузлами. Першу програмою ШІ, яка використовувала семантичну мережу, написав Росс Квілліан (англ. Ross Quillian), а найуспішнішою (та найсуперечливішою) версією була теорія поняттєвої залежності Роджера Скенка.

ELIZA Джозефа Вейценбаума могла вести розмови, які були настільки реалістичними, що користувачі іноді помилялися, думаючи, що вони спілкуються з людиною, а не з програмою (див. ефект Елізи). Але насправді ELIZA не мала жодного уявлення про те, про що вона говорила. Вона просто давала готову відповідь або повторювала те, що до неї говорили, перефразовуючи свою відповідь за допомогою кількох граматичних правил. ELIZA була першим чат-ботом.

Мікросвіти

У кінці 60-х років Марвін Мінський та Сеймур Пейперт з Лабораторії ШІ МТІ висунули пропозицію, що дослідження штучного інтелекту повинні зосередитися на штучно простих ситуаціях, відомих як мікросвіти (англ. micro-worlds). Вони вказали, що в успішних науках, як-от фізиці, розуміння основних принципів часто досягали, використовуючи спрощені моделі, як-от безтертьові площини або ідеально жорсткі тіла. Багато досліджень зосереджувалися на «світі кубиків», що складається з кольорових фігур різних форм і розмірів, розташованих на пласкій поверхні.

Ця парадигма привела до інноваційної роботи в машинному баченні Джеральда Сасмена (який очолював команду), Адольфо Гусмана, Девіда Вальца (який винайшов «поширення обмежень», англ. "constraint propagation") та особливо Патріка Вінстона. У той же час Мінський та Пейперт побудували автоматичну руку, яка могла складати кубики, ожививши світ кубиків. Найвищим досягненням програми мікросвітів була SHRDLU Террі Винограда. Вона могла спілкуватися звичайними англійськими реченнями, планувати дії й виконувати їх.

Автомати

У Японії Університет Васеда розпочав проєкт WABOT 1967 року, й 1972 року завершив WABOT-1, перший у світі повномасштабний «розумний» робот-гуманоїд, або андроїд. Його система керування кінцівками дозволяла йому ходити нижніми кінцівками та брати й переносити предмети руками, використовуючи тактильні давачі. Його система зору дозволяла йому вимірювати відстані та напрямки до об'єктів, використовуючи зовнішні рецептори, штучні очі та вуха. А його система розмови дозволяла йому спілкуватися з людиною японською мовою за допомогою штучного рота. В Інституті кібернетики АН УРСР у 1972—1975 роках відділ біокібернетики Миколи Амосова за ініціативою й під проводом Ернста Куссуля створив триколісного автономного транспортного робота ТАІР, обладнаного далекомірами й давачами дотику, керованого втіленою апаратно нейронною мережею. Він міг здійснювати цілеспрямований рух у природному середовищі з обходом перешкод.

Оптимізм

Перше покоління дослідників штучного інтелекту зробило такі прогнози щодо своєї роботи:

• 1958, Г. А. Саймон та Аллен Ньюелл: «протягом десяти років цифровий комп'ютер стане чемпіоном світу з шахів» та «протягом десяти років цифровий комп'ютер відкриє та доведе важливу нову математичну теорему.»
• 1965, Г. А. Саймон: «машини будуть здатні, протягом двадцяти років, робити будь-яку роботу, яку може робити людина.»
• 1967, Марвін Мінський: «Протягом покоління … задачу створення „штучного інтелекту“ буде по суті розв'язано.»
• 1970, Марвін Мінський (в журналі «Life»): «Протягом трьох-восьми років ми матимемо машину із загальним інтелектом середньої людини.»

Фінансування

У червні 1963 року МТІ отримав грант у розмірі 2,2 мільйона доларів від новоствореної Агенції передових дослідницьких проєктів США (пізніше відомої як DARPA). Гроші використали для фінансування проєкту MAC, який поглинув «Групу ШІ» (англ. "AI Group"), засновану Мінським та Маккарті п'ятьма роками раніше. DARPA продовжувала надавати три мільйони доларів на рік до 70-х років. DARPA надавала подібні гранти програмі Ньюелла та Саймона в УКМ, та Стенфордському проєкту ШІ (заснованому Джоном Маккарті 1963 року). Іншу важливу лабораторію ШІ створив 1965 року в Единбурзькому університеті Дональд Мічі. Ці чотири заклади продовжували бути основними центрами досліджень (та фінансування) ШІ в академічному середовищі протягом багатьох років.

Ці гроші було запропоновано з мінімальними обмеженнями: Джозеф Ліклайдер, тодішній директор ARPA, вважав, що його організація повинна «фінансувати людей, а не проєкти!», й дозволяв дослідникам займатися будь-якими напрямками, які їх цікавили. Це створило вільну атмосферу в МТІ, яка породила хакерську культуру, проте цей «бездоглядний» підхід триватиме довго.

Перша зима ШІ (1974—1980)

У 1970-х роках ШІ піддали критиці та затримкам фінансування. Дослідники ШІ не змогли оцінити складність задач, із якими стикнулися. Їхній надмірний оптимізм підняв громадські очікування занадто високо, і коли обіцяні результати не втілилися, спрямоване на ШІ фінансування майже зникло. У той же час дослідження простих, одношарових штучних нейронних мереж було майже повністю припинено на десятиліття частково через книгу Мінського, яка підкреслювала обмеження того, що можуть робити перцептрони. Незважаючи на труднощі з громадським сприйняттям ШІ в кінці 70-х, було досліджено нові ідеї в логічному програмуванні, міркуванні здорового глузду та багатьох інших областях.

Проблеми

На початку 70-х можливості програм ШІ були обмеженими. Навіть найразючіші могли впоратися лише з тривіальними версіями задач, які вони повинні були розв'язувати; всі програми були, в деякому сенсі, «іграшками». Дослідники ШІ почали стикатися з декількома фундаментальними обмеженнями, подолати які в 1970-х роках було неможливо. Хоч деякі з цих обмежень і було подолано протягом наступних десятиліть, інші ускладнюють розвиток цієї галузі й дотепер.

• Обмежена обчислювальна потужність: Не було достатньо пам'яті чи швидкості обробки, щоби досягти чогось дійсно корисного. Наприклад, успішна робота Росса Квілліана над природною мовою була продемонстрована зі словником лише з двадцяти слів, тому що більше не вміщалося у пам'ять. Ганс Моравек стверджував 1976 року, що комп'ютери все ще в мільйони разів слабші, щоби проявити інтелект. Він запропонував аналогію: штучний інтелект вимагає обчислювальної потужності так само, як літаки вимагають кінських сил. Нижче певного порогу це неможливо, але зі зростанням потужності це, нарешті, може стати легко. Щодо комп'ютерного бачення, Моравек оцінив, що просто для відповідності можливостям людської сітківки у виявлянні контурів та руху в реальному часі потрібен універсальний комп'ютер, здатний виконувати 10⁹ операцій/секунду (1000 MIPS). Станом на 2011 рік практичні застосування комп'ютерного бачення вимагають від 10 000 до 1 000 000 MIPS. Для порівняння, найшвидший суперкомп'ютер 1976 року, Cray-1 (із роздрібною ціною від 5 до 8 мільйонів доларів), був здатний лише приблизно на від 80 до 130 MIPS, а типовий настільний комп'ютер того часу досягав менше 1 MIPS.
• Непіддатливість та комбінаторний вибух. 1972 року Річард Карп (на основі теореми Стівена Кука 1971 року) показав, що існує багато задач, які, ймовірно, можливо розв'язувати лише за експоненційний час (відносно розміру даних входу). Знаходження оптимальних рішень для цих задач вимагає неймовірної кількості часу комп'ютера, окрім випадків, коли задачі тривіальні. Це майже напевно означало, що багато з «іграшкових» рішень, які використовув ШІ, ймовірно, ніколи не масштабуються до корисних систем.
• Знання та міркування здорового глузду. Багато важливих застосувань ШІ, як-от бачення та природна мова, вимагають просто величезної кількості інформації про світ: програмі потрібно мати якусь уяву про те, на що вона, можливо, дивиться, або про що вона говорить. Це вимагає, щоби програма знала більшість тих самих речей про світ, що й дитина. Дослідники скоро виявили, що це дійсно величезна кількість інформації. Ніхто в 1970 році не міг побудувати такої великої бази даних, і ніхто не знав, як програма може навчитися такої великої кількості інформації.
• Парадокс Моравека: Доведення теорем і розв'язання геометричних задач порівняно легкі для комп'ютерів, але нібито проста задача, як-от розпізнавання обличчя або перетинання кімнати без зіткнення з чимось, є надзвичайно складною. Це допомагає пояснити, чому дослідження з бачення та робототехніки зробили так мало прогресу до середини 1970-х.
• Проблеми рамок та кваліфікації. Дослідники ШІ (як-от Джон Маккарті), які використовували логіку, виявили, що вони не можуть подавати звичайні виведення, які містять планування чи міркування за замовчуванням, не роблячи змін у структурі самої логіки. Вони розробили нові логіки (як-от немонотонні логіки та модальні логіки), щоби спробувати розв'язати ці проблеми.

Кінець фінансування

Агенції, які фінансували дослідження ШІ (як-от британський уряд, DARPA та NRC), були розчаровані відсутністю прогресу, й урешті-решт припинили майже все фінансування для неспрямованих досліджень з ШІ. Ця картина почалася ще 1966 року, коли з'явився звіт ALPAC, що розкритикував зусилля з машинного перекладу. Після витрати 20 мільйонів доларів NRC припинила всю підтримку. 1973 року доповідь Лайтгілла про стан досліджень ШІ у Великій Британії розкритикувала повну невдачу ШІ досягти своїх «грандіозних цілей» і призвела до розпуску досліджень ШІ в цій країні. (Ця доповідь зокрема згадувала комбінаторний вибух як причину невдач ШІ.) DARPA глибоко розчарувалася в дослідниках, які працювали над програмою дослідження розуміння мовлення в УКМ, і скасувала щорічний грант у три мільйони доларів. Станом на 1974 рік знайти фінансування проєктів ШІ було важко.

Для досліджень нейронних мереж кінець фінансування наступив ще раніше, частково через відсутність результатів, і частково через конкуренцію з дослідженнями символьного ШІ. Проєкт MINOS вичерпав фінансування 1966 року. Розенблат не зміг отримати продовження фінансування в 1960-х.

Ганс Моравек звинуватив цю кризу в нереалістичних прогнозах своїх колег. «Багато дослідників опинилися в павутинні зростаючої перебільшеності». Проте була й іще одна проблема: з часу прийняття поправки Менсфілда 1969 року DARPA була під зростаючим тиском фінансувати «орієнтовані на завдання прямі дослідження, а не базові ненаправлені дослідження». Фінансування для творчого, вільного дослідження, яке відбувалося в 60-х, з боку DARPA не повернулося. Замість цього гроші було спрямовано на конкретні проєкти з чіткими цілями, як-от автономні танки та системи управління боєм.

Критика з іншого боку кампуса

Декілька філософів мали сильні заперечення проти тверджень, які робили дослідники ШІ. Одним із перших був Джон Лукас, який стверджував, що теорема Геделя про неповноту показувала, що формальна система (така як комп'ютерна програма) ніколи не може бачити істину певних тверджень, тоді як людина може. Г'юберт Дрейфус висміяв порушені обіцянки 1960-х і критикував припущення ШІ, стверджуючи, що людське міркування насправді містить дуже мало «символьної обробки», і багато втіленого, інстинктивного, несвідомого «знання-як». Джон Серль у своєму аргументі китайської кімнати, представленому 1980 року, намагався показати, що програма не може сказати, що «розуміє» символи, які використовує (якість, яку називають «інтенціональність»). Якщо символи не мають сенсу для машини, стверджував Серль, то машину неможливо назвати «мислячою».

Дослідники ШІ не сприймали цих критиків всерйоз, часто тому, що вони видавалися такими далекими від суті. Такі проблеми як непіддатливість і знання здорового глузду видавалися набагато безпосереднішими й серйознішими. Було незрозуміло, що змінює «знання-як» чи «інтенціональність» для конкретної комп'ютерної програми. Мінський сказав про Дрейфуса та Серля: «Вони неправильно розуміють, їх слід ігнорувати». Дрейфус, який викладав в МТІ, отримав холодне ставлення: він пізніше сказав, що дослідники ШІ «не наважувалися бути поміченими за обідом зі мною». Джозеф Вейценбаум, автор ELIZA, відчував, що ставлення його колег до Дрейфуса було непрофесійним і дитячим. Хоч він і був голосним критиком позицій Дрейфуса, він «навмисно показав, що це не той спосіб поводитися з людиною».

Вейценбаум почав мати серйозні етичні сумніви щодо ШІ, коли Кеннет Колбі написав «комп'ютерну програму, яка може вести психотерапевтичний діалог» на основі ELIZA. Вейценбаума збентежило, що Колбі сприймав бездумну програму як серйозний терапевтичний інструмент. Почалася сварка, і ситуацію не поліпшувало те, що Колбі не віддав належне Вейценбауму за його внесок у програму. 1976 року Вейценбаум опублікував «Комп'ютерну силу і людський розум», у якій стверджував, що зловживання штучним інтелектом має потенціал знецінити людське життя.

Перцептрони й напад на конекціонізм

Перцептрон був одним із видів нейронних мереж, запропонованим 1958 року Френком Розенблатом, який був однокласником Марвіна Мінського у Вищій науковій школі Бронксу. Як і більшість дослідників ШІ, він був оптимістичним щодо їхньої потужності, прогнозуючи, що «перцептрон може з часом набути здатності вчитися, ухвалювати рішення й перекладати мови». Активну програму досліджень у цій парадигмі проводили протягом 1960-х, але раптово припинили після публікації книги Мінського й Пейперта 1969 року «Перцептрони». Вона підказувала, що існували суворі обмеження того, що могли би робити перцептрони, і що прогнози Френка Розенблатта були надзвичайно перебільшеними. Вплив книги був спустошливим: практично жодних досліджень з конекціонізму не фінансували протягом 10 років.

З основних зусиль щодо нейронних мереж, Розенблат намагався зібрати кошти на побудову більших перцептронних машин, але загинув у човновій аварії 1971 року. Мінський (з боку SNARC) перетворився на запеклого противника чистого конекціоністського ШІ. Уїдроу (з боку ADALINE) звернувся до адаптивної обробки сигналів, використовуючи методи на основі алгоритму НСК. Група СДІ (з боку MINOS) звернулася до символьного ШІ та робототехніки. Основними проблемами були нестача фінансування та нездатність тренувати багатошарові мережі (зворотне поширення було не відоме). Змагання за державне фінансування закінчилося перемогою підходів символьного ШІ.

Логіка в Стенфорді, УКМ та Единбурзі

Логіку до досліджень ШІ ввів ще 1959 року Джон Маккарті у своїй пропозиції приймача порад. 1963 року Джон Алан Робінсон відкрив простий метод втілення виведення на комп'ютерах, алгоритм резолюції та уніфікації. Проте прямі втілення, які спробували Маккарті та його студенти наприкінці 1960-х, були особливо непіддатливими: програми потребували астрономічної кількості кроків, щоби довести прості теореми. Плідніший підхід до логіки розробив у 1970-х роках Роберт Ковальський в Единбурзькому університеті, й незабаром це призвело до співпраці з французькими дослідниками Аланом Кольмерое та Філіпом Русселем, які створили успішну мову логічного програмування Пролог (англ. Prolog). Пролог використовує підмножину логіки (диз'юнкти Горна, тісно пов'язані з «правилами» та «продукційними правилами»), яка дозволяює здійснювати розв'язні обчислення. Правила продовжуватимуть бути впливовими, надаючи основу для експертних систем Едварда Фейгенбаума та наступної роботи Аллена Ньюелла й Герберта Саймона, яка призвела до Soar та їхніх узагальнених теорій пізнання.

Критики логічного підходу зауважили, як і Дрейфус, що люди рідко використовували логіку, коли розв'язували проблеми. Експерименти психологів, як-от Пітера Вейсона, Елеанори Рош, Амоса Тверські, Деніела Канемана та інших, надали докази. Маккарті відповів, що те, що роблять люди, не стосується справи. Він стверджував, що насправді потрібні машини, здатні розв'язувати задачі, а не машини, які мислять, як люди.

«Антилогічний» підхід МТІ

Серед критиків підходу Маккарті були його колеги на іншому кінці країни в МТІ. Марвін Мінський, Сеймур Пейперт та Роджер Скенк намагалися розв'язати такі задачі як «розуміння історій» та «розпізнавання об'єктів», які вимагали, щоб машина думала як людина. Щоби використовувати звичайні поняття, як-от «стілець» або «ресторан», вони мусили робити всі ті ж нелогічні припущення, які зазвичай роблять люди. На жаль, такі неточні поняття, як ці, важко подати в логіці. Джеральд Сасмен зауважив, що «використання точної мови для опису неточних по суті понять не робить їх точнішими». Скенк назвав їхні «антилогічні» (англ. "anti-logic") підходи «нечупарними» (англ. "scruffy"), на противагу до «чепурних» (англ. "neat") парадигм, які використовували Маккарті, Ковальський, Фейгенбаум, Ньюелл та Саймон.

1975 року, у знаковій статті, Мінський зауважив, що багато його колег-дослідників використовували один і той же інструмент: систему рамок, яка вловлює всі наші припущення здорового глузду про щось. Наприклад, якщо ми використовуємо поняття птаха, то в голові виникає сузір'я фактів, які одразу спадають на думку: ми можемо припустити, що він літає, їсть хробаків тощо. Ми знаємо, що ці факти не завжди правдиві, й що висновки, які використовують ці факти, не будуть «логічними», але ці структуровані набори припущень є частиною контексту всього, що ми кажемо й думаємо. Він назвав ці структури «рамками» (англ. "frames"). Скенк використовував версію рамок, яку він називав «сценаріями» (англ. "scripts"), щоби успішно відповідати на питання про короткі історії англійською.

Поява немонотонних логік

Логіки прийняли виклик. Пат Гейз стверджував, що «більшість „рамок“ це лише новий синтаксис для частин логіки першого порядку.» Але він зазначив, що «є одна чи дві здавалося би незначні деталі, які викликають багато проблем, особливо замовчування». Тим часом Реймон Райтер визнав, що «традиційні логіки, такі як логіка першого порядку, не мають достатньої виразності для адекватного подання знань, необхідних для міркування за замовчуванням». Він запропонував доповнити логіку першого порядку припущенням про замкненість світу, що висновок правильний (за замовчуванням), якщо неможливо довести протилежне. Він показав, як таке припущення відповідає загальноприйнятому припущенню, зробленому при міркуванні з рамками. Він також показав, що воно має свій «процедурний еквівалент» як заперечення як відмова в Пролозі.

Припущення про замкненість світу, сформульоване Райтером, «не є поняттям першого порядку. (Це метапоняття.)» Проте, Кіт Кларк показав, що заперечення як скінченну відмову (англ. finite failure) можливо розуміти як неявне міркування з визначеннями в логіці першого порядку, включно з припущенням про унікальні назви, що різні терми позначують різних індивідів.

Протягом кінця 1970-х та протягом 1980-х років було розроблено численні логіки та розширення логіки першого порядку як для заперечення як відмови в логічному програмуванні, так і для міркування за замовчуванням загалом. Разом ці логіки стали відомі як немонотонні.

Бум (1980—1987)

У 1980-х роках корпорації по всьому світу прийняли один з видів програм ШІ, званий «експертними системами», і подання знань стало центром основних досліджень ШІ. У ті ж роки японський уряд активно фінансував ШІ своїм проєктом комп'ютерів п'ятого покоління. Ще одна заохочувальна подія на початку 1980-х була відродженням конекціонізму в роботі Джона Гопфілда та Девіда Румельхарта. Знову ж таки, ШІ досяг успіху.

Поширення експертних систем

Експертна система — це програма, яка відповідає на питання або розв'язує задачі з певної області знань, використовуючи логічні правила, виведені зі знань експертів. Найперші їх приклади розробили Едвард Фейгенбаум і його студенти. Дендрал (англ. Dendral), початок якого було закладено 1965 року, встановлював сполуки за даними спектрометра. MYCIN, розроблена 1972 року, діагностувала інфекційні захворювання крові. Вони продемонстрували здійсненність такого підходу.

Експертні системи обмежували себе невеликою областю специфічних знань (тим самим уникаючи проблеми здорового глузду), а їхній простий дизайн робив відносно легкими побудову та зміну програм після встановлення. Загалом, ці програми виявилися корисними: щось, чого ШІ до цього моменту досягти не міг.

1980 року в УКМ завершили експертну система під назвою XCON для Digital Equipment Corporation. Це був величезний успіх: вона заощаджувала компанії 40 мільйонів доларів щорічно до 1986 року. Корпорації по всьому світу почали розробляти та впроваджувати експертні системи, й до 1985 року вони витрачали понад мільярд доларів на ШІ, більшість з яких — на внутрішні відділи ШІ. З'явилася галузь, що їх підтримувала, включно з компаніями з апаратного забезпечення, як-от Symbolics та Lisp Machines, та компаніями з програмного забезпечення, як-от IntelliCorp та Aion.

Революція знань

Сила експертних систем полягала в експертних знаннях, які вони містили. Вони були частиною нового напряму в дослідженнях ШІ, який набирав обертів протягом 70-х років. «Дослідники ШІ почали підозрювати — неохоче, бо це порушувало науковий принцип ощадливості — що інтелект, можливо, дуже залежить від здатності використовувати великі кількості різноманітних знань різними способами», пише Памела Маккордак. «[В]еликим уроком з 1970-х було те, що інтелектуальна поведінка дуже залежить від роботи зі знаннями, іноді досить докладними знаннями, з області, в якій лежить задана задача». Системи на основі знань та інженерія знань стали основним фокусом досліджень ШІ в 1980-х роках.

У 1980-х роках також народився Cyc (укр. Сайк), перша спроба лобової атаки на проблему здорового глузду, шляхом створення величезної бази даних, яка містила би всі буденні факти, що їх знає середня людина. Дуглас Ленат, який розпочав і очолював цей проєкт, стверджував, що короткого шляху не існує — єдиний спосіб, щоби машини знали значення людських понять, це навчати їх, по поняттю за раз, вручну. Проєкт не очікувався бути завершеним протягом багатьох десятиліть.

Програми для гри в шахи HiTech та Deep Thought перемогли шахових гросмейстерів 1989 року. Обидві розробили в УКМ; розробка Deep Thought проклала шлях для Deep Blue.

Гроші повертаються: проєкт П'ятого покоління

1981 року Міністерство міжнародної торгівлі та промисловості Японії виділило 850 мільйонів доларів на проєкт комп'ютерів п'ятого покоління. Їхніми цілями було написати програми та побудувати машини, які могли би вести розмови, перекладати мови, інтерпретувати зображення та міркувати як людські істоти. До жалю нечупар, як основну мову програмування для проєкту було обрано Пролог.

Інші країни відповіли власними новими програмами. Велика Британія розпочала проєкт Alvey на 350 мільйонів фунтів стерлінгів. Консорціум компаній США створив Корпорацію мікроелектроніки та комп'ютерних технологій (англ. Microelectronics and Computer Technology Corporation, MCC) для фінансування великомасштабних проєктів з ШІ та інформаційних технологій. DARPA також відреагувала, заснувавши Стратегічну комп'ютерну ініціативу, і потроївши свої інвестиції в ШІ між 1984 і 1988 роками.

Мережа Гопфілда з чотирма вузлами

Відродження нейронних мереж

1982 року фізик Джон Гопфілд зміг довести, що певний вигляд нейронної мережі (званий тепер «мережею Гопфілда») може навчатися й обробляти інформацію, і довідно збігатися після достатнього часу за будь-яких незмінних умов. Це був прорив, оскільки раніше вважали, що нелінійні мережі в загальному випадку розвиватимуться хаотично.

Приблизно в той же час Джефрі Гінтон та Девід Румельхарт популяризували метод тренування нейронних мереж, званий «зворотним поширенням» (англ. "backpropagation"), відомий також як зворотний режим автоматичного диференціювання, опублікований Сеппо Ліннаінмаа (1970) та застосований до нейронних мереж Полом Вербосом. Ці два відкриття допомогли відродити дослідження штучних нейронних мереж.

Починаючи з публікації 1986 року «Паралельно розподіленої обробки», двотомної збірки статей під редакцією Румельхарта та психолога Джеймса Макклелланда, дослідження нейронних мереж набули нового імпульсу, й стануть комерційно успішними в 1990-х роках у застосуванні до оптичного розпізнавання символів та розпізнавання мовлення.

Розвиток метал-діелектрик-напівпровідникових (МДН, англ. MOS) схем надвеликого рівня інтеграції (НВРІ, англ. VLSI) у вигляді технології комплементарних метал-оксид-напівпровідників (КМОН, англ. CMOS) уможливив розвиток практичної технології штучних нейронних мереж у 1980-х роках.

Провідною публікацією в цій галузі була книга 1989 року «Аналогове НВРІ-втілення нейронних систем» Карвера А. Міда та Мохаммеда Ісмаїла.

Крах: друга зима ШІ (1987—1993)

Захоплення ділової спільноти штучним інтелектом у 1980-х роках здійнялося й упало за класичним сценарієм економічної бульбашки. Коли десятки компаній зазнали невдач, склалося враження, що ця технологія нежиттєздатна. Проте ця галузь продовжувала робити прогрес, незважаючи на критику. Багато дослідників, включно з розробниками робототехніки Родні Бруксом та Гансом Моравеком, виступали за цілком новий підхід до штучного інтелекту.

Зима ШІ

Термін «Зима ШІ» запровадили дослідники, які вижили після скорочення фінансування 1974 року, коли стали турбуватися, що ентузіазм щодо експертних систем вийшов з-під контролю, і що розчарування неодмінно настане. Їхні побоювання були обґрунтованими: наприкінці 1980-х і на початку 1990-х років ШІ зазнає низки фінансових ударів.

Першою ознакою зміни погоди був раптовий крах ринку спеціалізованого апаратного забезпечення для ШІ 1987 року. Настільні комп'ютери від Apple та IBM постійно збільшували швидкодію й потужність, і 1987 року вони стали потужнішими за дорожчі Лісп-машини, які випускали Symbolics та інші. Купувати їх вже не було жодної доброї причини. Вся індустрія вартістю півмільярда доларів зруйнувалася за одну ніч.

Зрештою, найраніші успішні експертні системи, такі як XCON, виявилися занадто дорогими в обслуговуванні. Їх було важко оновлювати, вони не могли навчатися, вони були «крихкими» (тобто могли робити абсурдні помилки за незвичайних даних входу) й пали жертвою проблем (як-от проблеми кваліфікації), які було виявлено ще роки тому. Експертні системи виявилися корисними, але тільки в декількох особливих контекстах.

Наприкінці 1980-х років Стратегічна комп'ютерна ініціатива обрізала фінансування ШІ «різко і жорстоко». Нове керівництво DARPA вирішило, що ШІ не є «наступною хвилею», і спрямувало кошти на проєкти, отримання негайних результатів від яких видавалося правдоподібнішим.

До 1991 року вражаючого переліку цілей, сформульованих 1981 року для японського п'ятого покоління комп'ютерів, досягнуто не було. Насправді, деяких із них, як-от «підтримувати неформальну розмову», не було досягнуто навіть до 2010 року. Як і з іншими проєктами ШІ, очікування були набагато вищими за те, що було можливим насправді.

Понад 300 компаній, які займалися ШІ, закрилися, збанкрутували або були придбані до кінця 1993 року, фактично завершивши першу комерційну хвилю ШІ. 1994 року ГП Найквіст заявив у книзі «The Brain Makers», що «Найближче майбутнє штучного інтелекту — в його комерційному вигляді — здається, залежить частково від продовження успіху нейронних мереж.»

Нувельний ШІ та втілений розум

Наприкінці 1980-х років декілька дослідників пропагували цілком новий підхід до штучного інтелекту, на основі робототехніки. Вони вважали, що для того, щоби проявити справжній інтелект, машині потрібно мати тіло — вона повинна сприймати, рухатися, виживати та взаємодіяти зі світом. Вони стверджували, що ці чуттєо-моторні навички необхідні для вищих рівнів навичок, як-от міркування здорового глузду, і що абстрактне міркування насправді є найменш цікавою чи важливою людською навичкою (див. парадокс Моравека). Вони пропагували побудову інтелекту «знизу вгору.»

Цей підхід відродив ідеї з кібернетики й теорії керування, які були непопулярними з 1960-х років. Іншим предтечею був Девід Марр, який прийшов до МТІ наприкінці 1970-х років з успішним досвідом у теоретичній нейробіології, щоби очолити групу, яка вивчала бачення. Він відкинув усі символьні підходи (як логіку Маккарті, так і рамки Мінського), стверджуючи, що ШІ потрібно було розуміти фізичну механіку зору знизу вгору, перш ніж відбувалася би будь-яка символьна обробка. (1980 року роботу Марра обірвала лейкемія.)

У своїй статті 1990 року «Слони не грають у шахи» дослідник з робототехніки Родні Брукс спрямував свою критику безпосередньо на гіпотезу системи фізичних символів, стверджуючи, що символи не завжди необхідні, оскільки «світ є найкращою моделлю самого себе. Він завжди точно актуальний. Він завжди має всі деталі, які треба знати. Секрет полягає в тому, щоби сприймати його доречним чином і достатньо часто.» У 1980-х і 1990-х роках багато когнітивістів також відкинули модель символьної обробки розуму і стверджували, що для міркування необхідне тіло, теорію, названу тезою про втілений розум.

ШІ (1993—2011)

Галузь ШІ, якій вже понад півстоліття, нарешті досягла деяких своїх найдавніших цілей. Її почали успішно використовувати в усій технологічній промисловості, хоча й дещо за лаштунками. Деякі з цих успіхів були пов'язані зі зростанням обчислювальної потужності, а деяких було досягнуто шляхом зосередження на конкретних ізольованих задачах і розв'язанні їх за найвищими стандартами наукової відповідальності. Проте репутація ШІ, принаймні в діловому світі, була не дуже бездоганною. Усередині галузі бракувало згоди щодо причин невдачі ШІ у втіленні мрії про людський рівень інтелекту, яка захопила уяву світу в 1960-х роках. Разом усі ці чинники допомогли розколоти ШІ на конкурентні підгалузі, зосереджені на певних задачах або підходах, іноді навіть під новими назвами, які приховували потьмяніле походження від «штучного інтелекту». ШІ став як обережнішим, так і успішнішим, ніж будь-коли раніше.

Віхи та закон Мура

11 травня 1997 року Deep Blue став першою комп'ютерною шаховою системою, яка перемогла чинного чемпіона світу з шахів Гаррі Каспарова. Цей суперкомп'ютер був спеціалізованою версією платформи, створеної IBM, і міг обробляти вдвічі більше ходів за секунду, ніж під час першого матчу (який Deep Blue програв), а саме 200 000 000 ходів за секунду.

2005 року робот зі Стенфорду виграв DARPA Grand Challenge, автономно проїхавши 121 км непідготовленою пустельною трасою. Через два роки команда з УКМ виграла DARPA Urban Challenge, автономно проїхавши 89 км у міському середовищі, дотримуючись усіх дорожніх небезпек і правил дорожнього руху. У лютому 2011 року в телевікторині Jeopardy! в показовому матчі система відповідей на запитання IBM, Watson, перемогла двох найкращих чемпіонів Jeopardy!, Бреда Раттера та Кена Дженнінгса, зі значною перевагою.

Ці успіхи не були наслідком якоїсь революційної нової парадигми, а переважно ґрунтувалися на наполегливому застосуванні інженерних навичок та величезному зростанні швидкості й обсягу пам'яті комп'ютерів у 90-х роках. Насправді, Deep Blue був у 10 мільйонів разів швидший за Ferranti Mark 1, якого Крістофер Стрейчі навчив грати в шахи у 1951 році. Це драматичне зростання вимірюється законом Мура, який передбачує, що швидкість і обсяг пам'яті комп'ютерів подвоюються кожні два роки внаслідок щодворічного подвоєння кількості МДН-транзисторів. Основну проблему «сирої обчислювальної потужності» поступово вдавалося подолати.

Інтелектуальні агенти

Нова парадигма, яку назвали «інтелектуальними агентами» (англ. "intelligent agents"), стала широко прийнятою протягом 1990-х років. Хоч раніше дослідники й пропонували модульні підходи «розділяй і володарюй» до ШІ, інтелектуальний агент не набув свого сучасного вигляду, доки Джуда Перл, Аллен Ньюелл, Леслі П. Келблінг та інші не привнесли поняття з теорії рішень та економіки до вивчення ШІ. Коли економістське визначення раціонального агента було поєднано з інформатичним визначенням об'єкта або модуля, парадигму інтелектуального агента було завершено.

Інтелектуальний агент — це система, яка сприймає своє середовище і вживає дії, які максимізують її шанси на успіх. За цим визначенням, прості програми, які розв'язують конкретні задачі, є «інтелектуальними агентами», так само як і людські істоти та організації людських істот, такі як фірми. Парадигма інтелектуальних агентів визначає дослідження ШІ як «вивчення інтелектуальних агентів». Це узагальнення деяких попередніх визначень ШІ: воно виходить за рамки вивчення людського інтелекту; воно вивчає всі види інтелекту.

Ця парадигма дала дослідникам можливість вивчати окремі задачі й знаходити рішення, які були одночасно перевірними й корисними. Вона надала спільну мову для опису задач та обміну їхніми рішеннями між собою та з іншими галузями, які також використовували поняття абстрактних агентів, як-от з економікою та теорією керування. Сподівалися, що завершена агентна архітектура (як-от SOAR Ньюелла) колись дозволить дослідникам побудувати універсальніші та інтелектуальніші системи із взаємодійних інтелектуальних агентів.

Імовірнісне міркування та більша строгість

Дослідники ШІ почали розробляти й використовувати складніші математичні інструменти, ніж будь-коли раніше. Було загальне усвідомлення, що над багатьма задачами, які треба було розв'язати ШІ, вже працювали дослідники з таких галузей як математика, електротехніка, економіка та дослідження операцій. Спільна математична мова уможливила вищий рівень співпраці з усталенішими й успішнішими галузями та досягнення результатів, які були вимірюваними й довідними; ШІ став більш строгою «науковою» дисципліною.

Впливова книга Джуди Перла 1988 року привнесла до ШІ ймовірність та теорію рішень. Серед багатьох нових інструментів у вжитку були баєсові мережі, приховані марковські моделі, теорія інформації, статистичне моделювання та класична оптимізація. Також було розроблено точні математичні описи для таких парадигм «обчислювального інтелекту» як нейронні мережі та еволюційні алгоритми.

ШІ за лаштунками

Алгоритми, первинно розроблені дослідниками ШІ, почали з'являтися як частини більших систем. ШІ розв'язав багато дуже складних задач і їхні розв'язки виявилися корисними в усій технологічній промисловості, як-от у розробленні даних, промисловій робототехніці, логістиці, розпізнаванні мовлення, банківському програмному забезпеченні, медичному діагностуванні та пошуковій системі Google.

Галузь ШІ отримала мало або жодного визнання за ці успіхи у 1990-х та на початку 2000-х років. Багато з найбільших нововведень ШІ було зведено до статусу просто ще одного предмета в скриньці інструментів інформатики. Нік Бостром пояснює: «Багато передового ШІ просочилося в загальні застосування, часто без називання цього ШІ, тому що коли щось стає достатньо корисним і поширеним, його вже не мітять як ШІ.»

Багато дослідників ШІ у 1990-х навмисно називали свою роботу іншими назвами, як-от інформатикою, системами на основі знань, когнітивними системами та обчислювальним інтелектом. Можливо, частково через те, що вони вважали свою галузь принципово відмінною від ШІ, але також ці нові назви допомагали залучати фінансування. У комерційному світі, принаймні, невиконані обіцянки зими штучного інтелекту продовжували переслідувати дослідження ШІ у 2000-х роках, як повідомляла New York Times 2005 року: «Інформатики та програмісти уникали терміну „штучний інтелект“ через побоювання бути сприйнятими як мрійники з шаленими очима.»

Глибоке навчання, великі дані (2011—2020)

У перших десятиліттях XXI століття доступ до великої кількості даних (відомих як «великі дані», англ. "big data"), дешевші та швидші комп'ютери та передові методики машинного навчання успішно застосували до багатьох задач по всій економіці. Справді, McKinsey Global Institute оцінили у своїй відомій статті «Великі дані: наступний рубіж для інновацій, конкуренції та продуктивності» (англ. "Big data: The next frontier for innovation, competition, and productivity"), що «до 2009 року майже всі сектори економіки США мали принаймні середній рівень 200 терабайт збережених даних».

До 2016 року ринок продуктів, апаратного та програмного забезпечення, пов'язаних із ШІ, досяг понад 8 мільярдів доларів, а New York Times повідомили, що інтерес до ШІ досяг «божевільного» рівня. Застосування великих даних почали досягати й інших галузей, як-от тренування моделей в екології та для різних застосувань в економіці. Просування й дослідження в глибокому навчанні (особливо в глибоких згорткових нейронних мережах та рекурентних нейронних мережах) підштовхнули просування й дослідження в обробці зображень і відео, аналізі тексту, й навіть розпізнаванні мовлення.

На першому глобальному саміті з безпеки ШІ, що відбувся в Блечлі-Парку в листопаді 2023 року, обговорили найближчі та віддалені ризики штучного інтелекту й можливість обов'язкових та добровільних регуляторних рамок. 28 країн, включно зі США, Китаєм та ЄС, оприлюднили декларацію на початку саміту, закликаючи до міжнародної співпраці для управління викликами та ризиками штучного інтелекту.

Глибоке навчання

Глибоке навчання (англ. deep learning) — це галузь машинного навчання, яка моделює високорівневі абстракції в даних за допомогою глибокого графа з багатьма шарами обробки. За теоремою про універсальне наближення (теоремою Цибенка), глибина не є необхідною для нейронної мережі, щоби наближувати довільні неперервні функції. Незважаючи на це, є багато проблем, поширених для неглибоких мереж (як-от перенавчання), яких глибокі мережі допомагають уникати. Як такі, глибокі нейронні мережі здатні насправді породжувати набагато складніші моделі порівняно з їхніми неглибокими аналогами.

Проте, глибоке навчання має свої власні проблеми. Поширеною проблемою для рекурентних нейронних мереж є проблема зникання градієнту, яка полягає в тому, що градієнти, які передаються між шарами, поступово знижуються й буквально зникають, коли округлюються до нуля. Було розроблено багато методів, щоби підійти до цієї проблеми, як-от вузли довгої короткочасної пам'яті.

Глибокі нейронні архітектури рівня останніх досягнень іноді навіть можуть змагатися з людською точністю в таких галузях як комп'ютерне бачення, зокрема в таких речах, як база даних MNIST та розпізнавання дорожніх знаків.

Мовні обробники, які працюють на основі розумних пошукових систем, можуть легко перемагати людей у відповідях на загальні питання (як-от IBM Watson), а нещодавні розробки в глибокому навчанні дали дивовижні результати у змаганні з людьми в таких речах як Ґо та Doom (який, будучи стрілялкою від першої особи, викликав деякі суперечки).

Великі дані

Великі дані (англ. big data) — це збірка даних, якими неможливо оволодіти, управляти та обробляти їх звичайними програмними інструментами протягом певного часового проміжку. Це величезна кількість можливостей для ухвалювання рішень, розуміння та оптимізації процесів, які вимагають нових моделей обробки. У книзі «Ера великих даних» (англ. The Big Data Era), написаній Віктором Майєром Шонбергом та Кеннетом Куком, великі дані означають, що замість випадкового аналізу (вибіркового дослідження) для аналізу використовують усі дані. Характеристики 5 «V» великих даних (запропоновані IBM): обсяг (англ. Volume), швидкість (англ. Velocity), різноманітність (англ. Variety), цінність (англ. Value), достовірність (англ. Veracity).

Стратегічна значущість технології великих даних полягає не в тому, щоби оволодіти величезною кількістю інформації, а в тому, щоби спеціалізуватися на цих змістовних даних. Іншими словами, якщо великі дані порівняти з промисловістю, то ключем до досягнення прибутковості в цій промисловості є підвищення «можливостей процесу» цими даними та реалізація їхньої «доданої вартості» шляхом «обробки».

Ера ШІ, сильний штучний інтелект (2020—дотепер)

Ера ШІ починається з початкової розробки ключових архітектур й алгоритмів, таких як трансформерна архітектура 2017 року, що призвела до масштабування та розвитку великих мовних моделей, які виявляють подібні до людських риси розуміння, пізнання, уваги та творчості. Початком ери ШІ вважають приблизно 2022—2024 роки із розробкою масштабованих великих мовних моделей, як-от ChatGPT.

Великі мовні моделі

2017 року дослідники з Google запропонували трансформерну архітектуру. Вона використовує механізм уваги, й пізніше стала широко використовуваною у великих мовних моделях.

Моделі-основи (англ. foundation models), що є великими мовними моделями, натренованими на величезних кількостях немічених даних, які можливо пристосовувати для широкого спектра підзадач, почали розробляти 2018 року.

Моделі, такі як GPT-3, випущену організацією OpenAI 2020 року, та Gato, випущену компанією DeepMind 2022 року, описували як важливі досягнення машинного навчання.

2023 року Microsoft Research перевірили велику мовну модель GPT-4 на великому розмаїтті завдань та зробили висновок, що «її можливо стерпно розглядати як ранню (але все ще неповну) версію системи сильного штучного інтелекту (СШІ, англ. artificial general intelligence, AGI)»

Див. також

• Історія штучних нейронних мереж
• Історія подань знань та міркування
• Історія обробки природних мов
• Нарис зі штучного інтелекту
• Поступ у штучному інтелекті
• Хронологія розвитку штучного інтелекту
• Хронологія розвитку машинного навчання

Література

• Russell, Stuart J.; Norvig, Peter. (2021). Artificial Intelligence: A Modern Approach (англ.) (вид. 4th). Hoboken: Pearson. ISBN 978-0134610993. LCCN 20190474.
• Couturat, Louis (1901), La Logique de Leibniz (фр.)
• Byrne, J. G. (8 Dec 2012). The John Gabriel Byrne Computer Science Collection (PDF) (англ.). Архів оригіналу за 16 квітня 2019. Процитовано 8 серпня 2019.
• Mulvihill, Mary (17 жовтня 2012). Ingenious Ireland (англ.).
• Quevedo, L. Torres Quevedo (1914), Revista de la Academia de Ciencias Exacta, Ensayos sobre Automática – Su definicion. Extension teórica de sus aplicaciones (ісп.), т. 12, с. 391—418
• Quevedo, L. Torres Quevedo (1915), Revue Génerale des Sciences Pures et Appliquées, Essais sur l'Automatique - Sa définition. Etendue théorique de ses applications (фр.), т. 2, с. 601—611
• Randall, Brian (1982), From Analytical Engine to Electronic Digital Computer: The Contributions of Ludgate, Torres, and Bush, fano.co.uk (англ.), процитовано 29 October 2018
• Berlinski, David (2000), The Advent of the Algorithm (англ.), Harcourt Books, ISBN 978-0-15-601391-8, OCLC 46890682.
• Buchanan, Bruce G. (2005), A (Very) Brief History of Artificial Intelligence (PDF), AI Magazine (англ.), с. 53—60, архів оригіналу (PDF) за 26 вересня 2007, процитовано 30 серпня 2007.
• Butler, Samuel (13 June 1863), Darwin Among the Machines, The Press, Christchurch, New Zealand (англ.), процитовано 10 October 2008.
• Colby, Kenneth M.; Watt, James B.; Gilbert, John P. (1966), A Computer Method of Psychotherapy: Preliminary Communication, The Journal of Nervous and Mental Disease (англ.), т. 142, № 2, с. 148—152, doi:10.1097/00005053-196602000-00005, PMID 5936301, S2CID 36947398.
• Colby, Kenneth M. (September 1974), Ten Criticisms of Parry (PDF) (англ.), Stanford Artificial Intelligence Laboratory, REPORT NO. STAN-CS-74-457, процитовано 17 June 2018.
• AI set to exceed human brain power, CNN.com (англ.), 26 July 2006, процитовано 16 October 2007.
• Copeland, Jack (2000), Micro-World AI (англ.), процитовано 8 October 2008.
• Cordeschi, Roberto (2002), The Discovery of the Artificial (англ.), Dordrecht: Kluwer..
• Crevier, Daniel (1993). AI: The Tumultuous Search for Artificial Intelligence. New York, NY: BasicBooks. ISBN 0-465-02997-3.
• Darrach, Brad (20 November 1970), Meet Shaky, the First Electronic Person, Life Magazine (англ.), с. 58—68.
• Doyle, J. (1983), What is rational psychology? Toward a modern mental philosophy, AI Magazine (англ.), т. 4, № 3, с. 50—53.
• Dreyfus, Hubert (1965), Alchemy and AI (англ.), RAND Corporation Memo.
• Dreyfus, Hubert (1972), What Computers Can't Do (англ.), New York: MIT Press, ISBN 978-0-06-090613-9, OCLC 5056816.
• Dreyfus, Hubert; Dreyfus, Stuart (1986). Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer (англ.). Oxford, UK: Blackwell. ISBN 978-0-02-908060-3. Процитовано 22 серпня 2020.
• The Economist (7 June 2007), Are You Talking to Me?, The Economist (англ.), процитовано 16 October 2008.
• Feigenbaum, Edward A.; McCorduck, Pamela (1983), The Fifth Generation: Artificial Intelligence and Japan's Computer Challenge to the World (англ.), Michael Joseph, ISBN 978-0-7181-2401-4.
• Haugeland, John (1985). Artificial Intelligence: The Very Idea (англ.). Cambridge, Mass.: MIT Press. ISBN 978-0-262-08153-5.
• Hawkins, Jeff; Blakeslee, Sandra (2004), On Intelligence (англ.), New York, NY: Owl Books, ISBN 978-0-8050-7853-4, OCLC 61273290.
• Hebb, D.O. (1949), The Organization of Behavior (англ.), New York: Wiley, ISBN 978-0-8058-4300-2, OCLC 48871099.
• Hewitt, Carl; Bishop, Peter; Steiger, Richard (1973), A Universal Modular Actor Formalism for Artificial Intelligence (PDF) (англ.), IJCAI, архів оригіналу (PDF) за 29 грудня 2009
• Hobbes, Thomas (1651), Leviathan (англ.).
  • Гоббс, Томас (2000), Левіафан (укр.), Дух і літера, ISBN ISBN 966-7888-04-5 {{citation}}: Перевірте значення |isbn=: недійсний символ (довідка).
• Hofstadter, Douglas (1999) [1979], Gödel, Escher, Bach: an Eternal Golden Braid (англ.), Basic Books, ISBN 978-0-465-02656-2, OCLC 225590743.
• Howe, J. (November 1994), Artificial Intelligence at Edinburgh University: a Perspective (англ.), процитовано 30 August 2007.
• Kahneman, Daniel; Slovic, D.; Tversky, Amos (1982). Judgment under uncertainty: Heuristics and biases. Science (англ.). New York: Cambridge University Press. 185 (4157): 1124—1131. Bibcode:1974Sci...185.1124T. doi:10.1126/science.185.4157.1124. ISBN 978-0-521-28414-1. PMID 17835457. S2CID 143452957.
• Kaplan, Andreas; Haenlein, Michael (2018), Siri, Siri in my Hand, who's the Fairest in the Land? On the Interpretations, Illustrations and Implications of Artificial Intelligence, Business Horizons (англ.), 62: 15—25, doi:10.1016/j.bushor.2018.08.004, S2CID 158433736.
• Kolata, G. (1982), How can computers get common sense?, Science (англ.), 217 (4566): 1237—1238, Bibcode:1982Sci...217.1237K, doi:10.1126/science.217.4566.1237, PMID 17837639.
• Kurzweil, Ray (2005), The Singularity is Near (англ.), Viking Press, ISBN 978-0-14-303788-0, OCLC 71826177.
• Lakoff, George (1987), Women, Fire, and Dangerous Things: What Categories Reveal About the Mind (англ.), University of Chicago Press., ISBN 978-0-226-46804-4.
• Lakoff, G; Johnson, M (1999). Philosophy in the flesh: The embodied mind and its challenge to western thought (англ.). Basic Books. ISBN 978-0-465-05674-3.
• Lenat, Douglas; Guha, R. V. (1989), Building Large Knowledge-Based Systems (англ.), Addison-Wesley, ISBN 978-0-201-51752-1, OCLC 19981533.
• Levitt, Gerald M. (2000), The Turk, Chess Automaton (англ.), Jefferson, N.C.: McFarland, ISBN 978-0-7864-0778-1.
• Lighthill, Professor Sir James (1973), Artificial Intelligence: A General Survey, Artificial Intelligence: a paper symposium (англ.), Science Research Council
• Lucas, John (1961), Minds, Machines and Gödel, Philosophy (англ.), 36 (XXXVI): 112—127, doi:10.1017/S0031819100057983, S2CID 55408480
• Luger, George; Stubblefield, William (2004). Artificial Intelligence: Structures and Strategies for Complex Problem Solving (англ.) (вид. 5th). Benjamin/Cummings. ISBN 978-0-8053-4780-7. Процитовано 17 грудня 2019.
• Maker, Meg Houston (2006), AI@50: AI Past, Present, Future (англ.), Dartmouth College, архів оригіналу за 8 жовтня 2008, процитовано 16 жовтня 2008
• Markoff, John (14 October 2005), Behind Artificial Intelligence, a Squadron of Bright Real People, The New York Times (англ.), процитовано 16 October 2008
• McCarthy, John; Minsky, Marvin; Rochester, Nathan; Shannon, Claude (31 August 1955), A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence (англ.), архів оригіналу за 30 September 2008, процитовано 16 October 2008
• McCarthy, John; Hayes, P. J. (1969), Some philosophical problems from the standpoint of artificial intelligence, у Meltzer, B. J.; Mitchie, Donald (ред.), Machine Intelligence 4 (англ.), Edinburgh University Press, с. 463—502, процитовано 16 October 2008
• McCorduck, Pamela (2004), Machines Who Think (англ.) (вид. 2nd), Natick, MA: A. K. Peters, Ltd., ISBN 978-1-56881-205-2, OCLC 52197627.
• McCullough, W. S.; Pitts, W. (1943), A logical calculus of the ideas immanent in nervous activity, Bulletin of Mathematical Biophysics (англ.), 5 (4): 115—127, doi:10.1007/BF02478259
• Menabrea, Luigi Federico; Lovelace, Ada (1843), Sketch of the Analytical Engine Invented by Charles Babbage, Scientific Memoirs (англ.), 3, процитовано 29 серпня 2008 З примітками перекладача до цього мемуару
• Minsky, Marvin (1967), Computation: Finite and Infinite Machines (англ.), Englewood Cliffs, N.J.: Prentice-Hall
• Minsky, Marvin; Papert, Seymour (1969), Perceptrons: An Introduction to Computational Geometry (англ.), The MIT Press, ISBN 978-0-262-63111-2, OCLC 16924756
• Minsky, Marvin (1974), A Framework for Representing Knowledge (англ.), процитовано 16 October 2008
• Minsky, Marvin (1986), The Society of Mind (англ.), Simon and Schuster, ISBN 978-0-671-65713-0, OCLC 223353010
• Minsky, Marvin (2001), It's 2001. Where Is HAL? (англ.), Dr. Dobb's Technetcast, процитовано 8 August 2009
• Moravec, Hans (1976), The Role of Raw Power in Intelligence (англ.), архів оригіналу за 3 March 2016, процитовано 16 October 2008
• Moravec, Hans (1988), Mind Children (англ.), Harvard University Press, ISBN 978-0-674-57618-6, OCLC 245755104
• Needham, Joseph (1986). Science and Civilization in China: Volume 2 (англ.). Taipei: Caves Books Ltd.
• NRC (1999), Developments in Artificial Intelligence, Funding a Revolution: Government Support for Computing Research (англ.), National Academy Press, ISBN 978-0-309-06278-7, OCLC 246584055
• Newell, Allen; Simon, H. A. (1963), GPS: A Program that Simulates Human Thought, у Feigenbaum, E.A.; Feldman, J. (ред.), Computers and Thought (англ.), New York: McGraw-Hill, ISBN 978-0-262-56092-4, OCLC 246968117
• Newquist, HP (1994), The Brain Makers: Genius, Ego, And Greed in the Quest For Machines That Think (англ.), New York: Macmillan/SAMS, ISBN 978-0-9885937-1-8, OCLC 313139906
• Nick, Martin (2005), Al Jazari: The Ingenious 13th Century Muslim Mechanic (англ.), Al Shindagah, процитовано 16 October 2008.*
• O'Connor, Kathleen Malone (1994), The alchemical creation of life (takwin) and other concepts of Genesis in medieval Islam (англ.), University of Pennsylvania, с. 1—435, процитовано 10 січня 2007
• Olsen, Stefanie (10 May 2004), Newsmaker: Google's man behind the curtain (англ.), CNET, процитовано 17 October 2008.
• Olsen, Stefanie (18 August 2006), Spying an intelligent search engine (англ.), CNET, процитовано 17 October 2008.
• Pearl, J. (1988), Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (англ.), San Mateo, California: Morgan Kaufmann, ISBN 978-1-55860-479-7, OCLC 249625842.
• Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach (англ.) (вид. 2nd), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.
• Poole, David; Mackworth, Alan; Goebel, Randy (1998), Computational Intelligence: A Logical Approach (англ.), Oxford University Press., ISBN 978-0-19-510270-3.
• Samuel, Arthur L. (July 1959), Some studies in machine learning using the game of checkers, IBM Journal of Research and Development (англ.), 3 (3): 210—219, CiteSeerX 10.1.1.368.2254, doi:10.1147/rd.33.0210, S2CID 2126705, процитовано 20 серпня 2007.
• Searle, John (1980), Minds, Brains and Programs, Behavioral and Brain Sciences, 3 (3): 417—457, doi:10.1017/S0140525X00005756, архів оригіналу за 10 грудня 2007, процитовано 13 травня 2009.
• Simon, H. A.; Newell, Allen (1958), Heuristic Problem Solving: The Next Advance in Operations Research, Operations Research (англ.), 6: 1—10, doi:10.1287/opre.6.1.1.
• Simon, H. A. (1965), The Shape of Automation for Men and Management (англ.), New York: Harper & Row.
• Skillings, Jonathan (2006), Newsmaker: Getting machines to think like us (англ.), CNET, процитовано 8 October 2008.
• Tascarella, Patty (14 August 2006), Robotics firms find fundraising struggle, with venture capital shy, Pittsburgh Business Times (англ.), процитовано 15 March 2016.
• Turing, Alan (1936–37), On Computable Numbers, with an Application to the Entscheidungsproblem, Proceedings of the London Mathematical Society, 2 (англ.), s2-42 (42): 230—265, doi:10.1112/plms/s2-42.1.230, S2CID 73712, процитовано 8 October 2008.
• Turing, Alan (October 1950), Computing Machinery and Intelligence, Mind (англ.), LIX (236): 433—460, doi:10.1093/mind/LIX.236.433, ISSN 0026-4423.
• Turkle, Sherry (1984). The second self: computers and the human spirit (англ.). Simon and Schuster. ISBN 978-0-671-46848-4. OCLC 895659909.
• Wason, P. C.; Shapiro, D. (1966). Reasoning. У Foss, B. M. (ред.). New horizons in psychology (англ.). Harmondsworth: Penguin. Процитовано 18 листопада 2019.
• Weizenbaum, Joseph (1976), Computer Power and Human Reason, W.H. Freeman & Company, ISBN 978-0-14-022535-8, OCLC 10952283.
• Енциклопедія кібернетики : у 2 т. / за ред. В. М. Глушкова. — Київ : Гол. ред. Української радянської енциклопедії, 1973.
• Малиновський, Б. М. (1995). Історія обчислювальної техніки в особах (PDF) (укр.). Київ: Фірма "КІТ", ПТОО "А.С.К.". ISBN 5-7707-6131-8. Архів оригіналу (PDF) за 9 липня 2022. Процитовано 20 листопада 2023.
• Малиновський, Б. М. (2004). Відоме і невідоме в історії інформаційних технологій в Україні (PDF) (укр.). Київ: Інтерлінк. ISBN 966-8122-14-3. Архів (PDF) оригіналу за 25 січня 2022. Процитовано 20 листопада 2023.
• Кратко, М. І. (2009). З розвитку історії інформатики в Україні (PDF). Світогляд (укр.). Київ. 4 (6): 56—62. Архів (PDF) оригіналу за 3 травня 2022. Процитовано 20 листопада 2023.