Штучна нейронна мережа

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Схема простої нейромережі. Зеленим кольором позначено вхідні нейрони, блактитним — приховані нейрони, жовтим — вихідний нейрон

Штучна нейронна мережа (ШНМ, англ. artificial neural network, ANN) — це математична модель, а також її програмна та апаратна реалізація, побудовані за принципом функціювання біологічних нейронних мереж — мереж нервових клітин живого організму. Це поняття виникло при вивченні процесів, які відбуваються в мозку, та при намаганні змоделювати ці процеси. Першою такою спробою були нейронні мережі У. Маккалока та У. Піттса. Після розробки алгоритмів навчання отримувані моделі стали використовуватися в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах керування тощо.

ШНМ являють собою систему з'єднаних між собою простих обробників (штучних нейронів), які взаємодіють. Такі обробники зазвичай є доволі простими (особливо в порівнянні з процесорами, що застосовуються в персональних комп'ютерах). Кожен обробник подібної мережі має справу лише з сигналами, які він періодично отримує, і сигналами, які він періодично надсилає іншим обробникам. І тим не менш, будучи з'єднаними в достатньо велику мережу з керованою взаємодією, такі локально прості обробники разом здатні виконувати доволі складні завдання.

• З точки зору машинного навчання, нейронна мережа є окремим випадком методів розпізнавання образів, дискримінантного аналізу, методів кластерування тощо.
• З математичної точки зору, навчання нейронних мереж — це багатопараметрична задача нелінійної оптимізації.
• З точки зору кібернетики, нейронна мережа використовується в задачах адаптивного керування, і як алгоритми для робототехніки.
• З точки зору розвитку обчислювальної техніки та програмування, нейронна мережа — спосіб розв'язання задачі ефективного паралелізму.
• А з точки зору штучного інтелекту, ШНМ є основою філософської течії коннективізму й основним напрямком в структурному підході до вивчення можливості побудови (моделювання) природного інтелекту за допомогою комп'ютерних алгоритмів.

Нейронні мережі не програмуються в звичайному розумінні цього слова, вони навчаються. Можливість навчання — одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно, навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. В процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними й вихідними, а також здійснювати узагальнення. Це означає, що в разі успішного навчання мережа зможе повернути правильний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних та/або «зашумлених», частково спотворених даних.

Огляд

Біологічна нейронна мережа складається з групи або декількох груп хімічно або функціонально пов'язаних нейронів. Один нейрон може бути пов'язаний з багатьма іншими нейронами, а загальна кількість нейронів та зв'язків між ними може бути дуже великою. Зв'язки, які називаються синапсами, як правило формуються від аксонів до дендритів, хоча дендро-дендритичні мікросхеми та інші зв'язки є можливими. Крім електричної передачі сигналів, також є інші форми передачі, які виникають з нейротрансмітерної дифузії, і мають вплив на електричну передачу сигналів. Таким чином, біологічні нейронні мережі є надзвичайно складними.

Штучний інтелект і когнітивне моделювання намагаються імітувати деякі властивості біологічних нейронних мереж. Хоч вони й аналогічні в своїх методах, перша має на меті розв'язання конкретних завдань, а друге спрямоване на створення математичних моделей біологічних нейронних систем.

У сфері штучного інтелекту штучні нейронні мережі було успішно застосовано для розпізнавання мовлення, аналізу зображень та адаптивного керування, для того, щоб побудувати так званих програмних агентів (в комп'ютерних і відео іграх) або автономних роботів. На даний час, більшість розроблених штучних нейронних мереж для штучного інтелекту базуються на статистичних оцінках, класифікації, оптимізації та теорії керування.

Сфера когнітивного моделювання включає в себе фізичне або математичне моделювання поведінки нейронних систем; від індивідуального нейронного рівня, через нейронний кластерний рівень до завершеного організму (наприклад, моделювання поведінки відповіді організму на подразники). Штучний інтелект, когнітивне моделювання і нейронні мережі є парадигмами обробки інформації, натхненні системами біологічних нейронів обробки інформації.

Історія розвитку

Розуміння функціонування нейрона і картини його зв'язків дозволило дослідникам створити математичні моделі для перевірки своїх теорій. У перших же роботах з'ясувалося, що ці моделі не тільки повторюють функції мозку, але і здатні виконувати функції, що мають свою власну цінність. Тому виникли й залишаються до сьогодні дві взаємнозбагачуючі цілі нейронного моделювання:

• перша — зрозуміти функціонування нервової системи людини на рівні фізіології і психології
• друга — створити обчислювальні системи (штучні нейронні мережі), що виконують функції, схожі з функціями мозку.

Перший крок був зроблений у 1943 р. з появою статті нейрофізіолога Уоррена Маккалоха (англ. Warren McCulloch) і математика Уолтера Піттса (англ. Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах.

Паралельно з прогресом в нейроанатомії і нейрофізіології психологами було створено моделі людського навчання. Однією з таких моделей, що виявилася найбільш плідною, була модель Дональда Геба (англ. Donald Hebb), який 1949 року в своїй книзі «Організація поведінки» запропонував закон навчання, що був стартовою точкою для алгоритмів навчання штучних нейронних мереж (процес навчання нейромереж ще називають нейроеволюцією).^{[джерело?]}

У 1950-ті — 1960-ті роки група дослідників, об'єднавши ці біологічні та фізіологічні підходи, створила перші штучні нейронні мережі. В 1950-х рр. з'являються програмні моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер (англ. Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливе зростання традиційних обчислень залишило нейронні дослідження в тіні.

Перші успіхи викликали вибух активності й оптимізму. Мінскі, Розенблат, Відроу та інші розробили мережі, що складалися з одного прошарку штучних нейронів, які назвали перцептронами. Ці мережі застосовували для розв'язання широкого класу задач: прогноз погоди, аналіз електрокардіограм, штучний зір.

В 1956 Дартмутський дослідний проект зі штучного інтелекту забезпечив розвиток дослідження штучного інтелекту, зокрема, нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось у двох напрямках:

• промислові застосування систем штучного інтелекту (експертні системи) та
• моделювання мозку.

В 1958 р. Джон фон Нейман (англ. John fon Neumann) запропонував імітацію простих функцій нейронів із використанням вакуумних трубок. У 1959 р. Бернард Уідроу (англ. Bernard Widrow) та Марсіан Гофф (англ. Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи, англ. Multiple ADAptive LINear Elements). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях. Ця нейромережа й досі в комерційному використанні.

Нейробіолог Френк Розенблатт (англ. Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів.

Протягом деякого часу здавалося, що ключ до інтелекту знайдено, і відтворення людського мозку є лише питанням конструювання досить великої мережі. Але ця ілюзія скоро розсіялася. Мережі не могли розвязувати задачі, зовні схожі з тими, які вони успішно вирішували. З цих невдач почався період інтенсивного аналізу. Марвін Мінскі (англ. Marvin Minsky), використовуючи точні математичні методи, довів ряд теорем, що відносяться до функціонування мереж. Його дослідження привели до написання книги «Перцептрони», в якій він разом з Пайпертом довів, що одношарові мережі, які використовувались в той час, теоретично нездатні розв'язувати багато простих задач, в тому числі реалізувати функцію «виключне або» (XOR). Блиск і суворість аргументації Мінскі, а також його престиж породили величезне довір'я до книги її висновки були незаперечливими. Розчаровані дослідники залишили поле досліджень заради перспективніших областей, а уряди перерозподілили свої субсидії, і штучні нейронні мережі були забуті майже на два десятиріччя.

Проте декілька найбільш наполегливих вчених, таких як Теуво Кохонен, Стів Гросберг, Джеймс Андерсон (англ. James A. Anderson) продовжили дослідження. Поступово з'явився теоретичний фундамент, на основі якого сьогодні конструюються найпотужніші багатошарові мережі. Оцінка Мінскі виявилася надто песимістичною, багато з поставлених в його книзі задач розв'язуються зараз мережами за допомогою стандартних процедур.

Наприкінці 1980-х років теорія стала застосовуватися в прикладних областях і з'явилися нові корпорації, що займалися комерційним використанням цієї технології. Наростання наукової активності мало вибуховий характер. У 1987 було проведено чотири великих наради зі штучних нейронних мереж і опубліковано понад 500 наукових статей.

Після двох десятиріч майже повного забуття інтерес до штучних нейронних мереж швидко зріс. Фахівці з таких далеких областей, як технічне конструювання, філософія, фізіологія і психологія, заінтриговані можливостями, що надає ця технологія, і шукають застосування їм всередині своїх дисциплін.

Це відродження інтересу було викликане як теоретичними, так і прикладними досягненнями. Несподівано відкрилися можливості використання обчислень в сферах, які до цього відносились лише до області людського інтелекту, можливості створення машин, здатність яких вчитися і запам'ятовувати дивним чином нагадує процеси мислення людини, і наповнення новим значним змістом терміну «штучний інтелект».

Сучасність

Медицина

2017 року науковці з Університету Аделаїди розробили систему, за допомогою якої можна було б автоматизувати процес пошуку захворювання у пацієнтів. Для цього використали 15 тис знімків грудної клітини людей, старших за 60 років. Після обробки даних нейромережею за допомогою біомаркерів, остання змогла передбачити летальний результат для 69% випадків. Науковці стверджують, що такий результат притаманний і звичайним лікарям. Дослідники вважають, що розробка відкриває нові можливості для застосування штучного інтелекту в аналізі томограм, що може привести до більш раннього виявлення захворювань людини.

Кулінарія

У травні 2017 року команда науковців з Франції, Японії та Росії розробили штучну нейромережу, що може пристосовувати рецепти до традиційної кухні різних країн світу. Для навчання науковці використали базу даних з 32 тисяч рецептів традиційної кухні 20 країн світу. Для навчання штучного інтелекту дослідники застосували векторну модель Word2vec. Її зазвичай використовують для аналізу тексту, щоби встановити асоціацію між словами.

Музика

2016 року фахівці групи Magenta представили широкому загалу першу мелодію, яку написала нейромережа. Перші напрацювання в області музичної творчості машин група Magenta продемонструвала на музичному фестивалі Moogfest у травні 2016 року. На основі п'яти отриманих нот програма зіграла складнішу і довшу мелодію.

Малювання

Google AI Experiments 2017-го року розробила інструмент AutoDraw, заснований на машинному навчанні, який вгадує, що хотіла намалювати людина. AutoDraw являє собою інтернет-майданчик для малювання. Після того, як штучний інтелект зрозуміє, що користувач хоче зобразити, програма запропонує кілька варіантів для уточнення. Тільки-но художник вибере із запропонованих варіантів найбільш підходящий, система тут же змінить малюнок на такий, ніби він був виконаний професіоналом.

Класифікація за типом вхідної інформації

• Аналогові нейронні мережі (використовують інформацію у формі дійсних чисел);
• Двійкові нейронні мережі (оперують з інформацією, представленою в двійковому вигляді).

Класифікація за характером навчання

• Навчання з учителем — відомі вихідні результати нейронної мережі;
• Навчання без вчителя — нейронна мережа опрацьовує тільки вхідні дані та самостійно формує вихідні результати. Такі мережі називають самоорганізаційними;
• Навчання з підкріпленням — система призначення штрафів і заохочень від середовища.

Класифікація за характером налаштування синапсів

• Мережі з фіксованими зв'язками (вагові коефіцієнти нейронної мережі вибираються відразу, виходячи з умов завдання, при цьому: dW / dt = 0 , де W — вагові коефіцієнти мережі);
• Мережі з динамічними зв'язками (для них в процесі навчання відбувається налаштування синаптичних зв'язків, тобто dW / dt ≠ 0, де W — вагові коефіцієнти мережі).

Класифікація за представленнями

Якщо обчислювальна мережа має представляти елементи з якоїсь множини і кожному елементу відповідає якийсь вузол мережі, таке представлення називається локальним представленням. Його просто зрозуміти і реалізувати. Проте іноді представляти елементи множини вигідніше певним шаблоном активності розподіленої на багатьох елементах мережі. Таке представлення називають розподіленим. Використання такого представлення може збільшити ефективність мережі.

Джерела інформації

• Wasserman, P. D. (1989). Neural computing theory and practice. (Ф. Восермен Нейрокомп'ютерна техніка: Теорія і практика)

Див. також

• 20Q
• ADALINE
• Адаптивне табулювання на місці (англ. ISAT)
• Автокодувальник
• Асоціативна пам'ять
• Біокібернетика
• Біологічно натхнені обчислення
• Генетичне програмування
• Генетичний алгоритм
• Генно-експресійне програмування (англ. GEP)
• Глибинне навчання
• Encog
• Звикання
• Згорткова нейронна мережа
• Катастрофічна інтерференція
• Когнітивна архітектура
• Когнітивна наука
• Конектоміка
• Конекціоністська експертна система
• Культивована нейронна мережа
• Мережа радіально-базисних функцій
• Метод групового урахування аргументів
• Моделі нейронного обчислення
• Навчання полілінійного підпростору
• Нейроеволюція
• Нейронаука
• Нейронна мережа з потенціалом дії (англ. SNN)
• Нейронна мережа з часовою затримкою (англ. TDNN)
• Нейронний газ
• Нейронний машинний переклад (англ. NMT)
• Нелінійна ідентифікація систем
• Нервове кодування
• Нечітка логіка
• Мікросхема Ni1000
• Оптична нейронна мережа
• Паралельна розподілена обробка
• Програмне забезпечення нейронних мереж
• Проект Blue Brain
• Процеси паралельного задоволення обмежень (англ. PCSP)
• Рекурентні нейронні мережі
• Роботи BEAM
• Самоорганізаційне відображення
• Систолічний масив
• Тензорно-добуткова мережа
• Теорія адаптивного резонансу
• Церебральна модель артикуляційного контролера (англ. CMAC)
• Цифровий морфогенез
• Штучне життя

Посилання

Укр. мовою

• Курс Лекцій «Штучні нейронні мережі»
• книга Ф.Уосермена «Нейрокомп'ютерна техніка: Теорія і практика»

Англ. мовою

• Performance comparison of neural network algorithms tested on UCI data sets
• A close view to Artificial Neural Networks Algorithms
• A Brief Introduction to Neural Networks (D. Kriesel) - Illustrated, bilingual manuscript about artificial neural networks; Topics so far: Perceptrons, Backpropagation, Radial Basis Functions, Recurrent Neural Networks, Self Organizing Maps, Hopfield Networks.
• Neural Networks in Materials Science
• A practical tutorial on Neural Networks
• Applications of neural networks

Рос. мовою

• Artificial Neural Network for PHP 5.x — проект по разработке нейронных сетей на языке программирования PHP 5.X
• Лекции по нейроинформатике
• Форум, посвященный Нейронным Сетям и Генетическим Алгоритмам
• Форум по нейросетям на BaseGroup Labs
• Описание нейросетевых алгоритмов
• Миркес Е. М., Нейроинформатика: Учеб. пособие для студентов с программами для выполнения лабораторных работ.
• Forecasting Financial Markests using Artificial Neural Networks
• Пошаговые примеры реализации наиболее известных типов нейронных сетей на MATLAB, Neural Network Toolbox
• Лекции по нейронным сетям
• Подборка материалов по нейронным сетям и интеллектуальному анализу
• Компьютерное моделирование и интеллектуальные системы: нейронные сети, нечеткая логика
• Статья противника применения нейронных сетей в прогнозировании цен на акции
• Подборка статей по нейронным сетям
• Программные проекты с использованием нейросетей
• Простой пример сети, с комментариями. Написан на php.
• Статьи о применении нейросетей в задачах идентификации и прогнозировании
• Лекции по нейроинформатике и смежным вопросам обучения машин
• О приоритете авторства в вопросе пригодности любой нелинейной функции нейрона для возможности представления нейросетью любой функции многих переменных
• Пример нейросети в MatLab
• Реализация ИНС в виде программы, угадывающей задуманного персонажа