Штучна нейронна мережа

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук
Схема простої нейромережі. Зеленим кольором позначено вхідні нейрони, блактитним — приховані нейрони, жовтим — вихідний нейрон

Штучна нейронна мережа (ШНМ, англ. artificial neural network, ANN, рос. искусственная нейронная сеть, ИНС) — це математична модель, а також її програмна та апаратна реалізація, побудовані за принципом функціювання біологічних нейронних мереж — мереж нервових клітин живого організму. Це поняття виникло при вивченні процесів, які відбуваються в мозку, та при намаганні змоделювати ці процеси. Першою такою спробою були нейронні мережі У. Маккалока та У. Піттса[en]. Після розробки алгоритмів навчання отримувані моделі стали використовуватися в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах керування тощо.

ШНМ являють собою систему з'єднаних між собою простих обробників (штучних нейронів), які взаємодіють. Такі обробники зазвичай є доволі простими (особливо в порівнянні з процесорами, що застосовуються в персональних комп'ютерах). Кожен обробник подібної мережі має справу лише з сигналами, які він періодично отримує, і сигналами, які він періодично надсилає іншим обробникам. І тим не менш, будучи з'єднаними в достатньо велику мережу з керованою взаємодією, такі локально прості обробники разом здатні виконувати доволі складні завдання.

Нейронні мережі не програмуються в звичайному розумінні цього слова, вони навчаються. Можливість навчання — одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно, навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. В процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними й вихідними, а також здійснювати узагальнення. Це означає, що в разі успішного навчання мережа зможе повернути правильний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних та/або «зашумлених», частково спотворених даних.

Огляд[ред.ред. код]

Біологічна нейронна мережа складається з групи або декількох груп хімічно або функціонально пов'язаних нейронів. Один нейрон може бути пов'язаний з багатьма іншими нейронами, а загальна кількість нейронів та зв'язків між ними може бути дуже великою. Зв'язки, які називаються синапсами, як правило формуються від аксонів до дендритів, хоча дендро-дендритичні мікросхеми та інші зв'язки є можливими. Крім електричної передачі сигналів, також є інші форми передачі, які виникають з нейротрансмітерної дифузії, і мають вплив на електричну передачу сигналів. Таким чином, біологічні нейронні мережі є надзвичайно складними.

Штучний інтелект і когнітивне моделювання намагаються імітувати деякі властивості біологічних нейронних мереж. Хоч вони й аналогічні в своїх методах, перша має на меті розв'язання конкретних завдань, а друге спрямоване на створення математичних моделей біологічних нейронних систем.

У сфері штучного інтелекту штучні нейронні мережі було успішно застосовано для розпізнавання мовлення, аналізу зображень та адаптивного керування, для того, щоб побудувати так званих програмних агентів (в комп'ютерних і відео іграх) або автономних роботів. На даний час, більшість розроблених штучних нейронних мереж для штучного інтелекту базуються на статистичних оцінках, класифікації, оптимізації та теорії керування.

Сфера когнітивного моделювання включає в себе фізичне або математичне моделювання поведінки нейронних систем; від індивідуального нейронного рівня, через нейронний кластерний рівень до завершеного організму (наприклад, моделювання поведінки відповіді організму на подразники). Штучний інтелект, когнітивне моделювання і нейронні мережі є парадигмами обробки інформації, натхненні системами біологічних нейронів обробки інформації.

Історія розвитку[ред.ред. код]

Розуміння функціонування нейрона і картини його зв'язків дозволило дослідникам створити математичні моделі для перевірки своїх теорій. У перших же роботах з'ясувалося, що ці моделі не тільки повторюють функції мозку, але і здатні виконувати функції, що мають свою власну цінність. Тому виникли й залишаються до сьогодні дві взаємнозбагачуючі цілі нейронного моделювання:

Перший крок був зроблений у 1943 р. з появою статті нейрофізіолога Уоррена Маккалоха (англ. Warren McCulloch) і математика Уолтера Піттса[en] (англ. Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах.

Паралельно з прогресом в нейроанатомії[en] і нейрофізіології психологами було створено моделі людського навчання. Однією з таких моделей, що виявилася найбільш плідною, була модель Дональда Геба[en] (англ. Donald Hebb), який 1949 року в своїй книзі «Організація поведінки»[en] запропонував закон навчання, що був стартовою точкою для алгоритмів навчання штучних нейронних мереж (процес навчання нейромереж ще називають нейроеволюцією).[Джерело?]

У 1950-ті — 1960-ті роки група дослідників, об'єднавши ці біологічні та фізіологічні підходи, створила перші штучні нейронні мережі. В 1950-х рр. з'являються програмні моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер[en] (англ. Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливе зростання традиційних обчислень залишило нейронні дослідження в тіні.

Перші успіхи викликали вибух активності й оптимізму. Мінскі, Розенблат, Відроу та інші розробили мережі, що складалися з одного прошарку штучних нейронів, які назвали перцептронами. Ці мережі застосовували для розв'язання широкого класу задач: прогноз погоди, аналіз електрокардіограм, штучний зір.

В 1956 Дартмутський дослідний проект зі штучного інтелекту забезпечив розвиток дослідження штучного інтелекту, зокрема, нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось у двох напрямках:

  • промислові застосування систем штучного інтелекту (експертні системи) та
  • моделювання мозку.

В 1958 р. Джон фон Нейман (англ. John fon Neumann) запропонував імітацію простих функцій нейронів із використанням вакуумних трубок. У 1959 р. Бернард Уідроу[en] (англ. Bernard Widrow) та Марсіан Гофф (англ. Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи, англ. Multiple ADAptive LINear Elements). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях[en]. Ця нейромережа й досі в комерційному використанні.

Нейробіолог Френк Розенблатт (англ. Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів.

Протягом деякого часу здавалося, що ключ до інтелекту знайдено, і відтворення людського мозку є лише питанням конструювання досить великої мережі. Але ця ілюзія скоро розсіялася. Мережі не могли розвязувати задачі, зовні схожі з тими, які вони успішно вирішували. З цих невдач почався період інтенсивного аналізу. Марвін Мінскі (англ. Marvin Minsky), використовуючи точні математичні методи, довів ряд теорем, що відносяться до функціонування мереж. Його дослідження привели до написання книги «Перцептрони»,[1] в якій він разом з Пайпертом довів, що одношарові мережі, які використовувались в той час, теоретично нездатні розв'язувати багато простих задач, в тому числі реалізувати функцію «виключне або» (XOR). Блиск і суворість аргументації Мінскі, а також його престиж породили величезне довір'я до книги її висновки були незаперечливими. Розчаровані дослідники залишили поле досліджень заради перспективніших областей, а уряди перерозподілили свої субсидії, і штучні нейронні мережі були забуті майже на два десятиріччя.

Проте декілька найбільш наполегливих вчених, таких як Теуво Кохонен, Стів Гросберг, Джеймс Андерсон[en] (англ. James A. Anderson) продовжили дослідження. Поступово з'явився теоретичний фундамент, на основі якого сьогодні конструюються найпотужніші багатошарові мережі. Оцінка Мінскі виявилася надто песимістичною, багато з поставлених в його книзі задач розв'язуються зараз мережами за допомогою стандартних процедур.

Наприкінці 1980-х років теорія стала застосовуватися в прикладних областях і з'явилися нові корпорації, що займалися комерційним використанням цієї технології. Наростання наукової активності мало вибуховий характер. У 1987 було проведено чотири великих наради зі штучних нейронних мереж і опубліковано понад 500 наукових статей.

Після двох десятиріч майже повного забуття інтерес до штучних нейронних мереж швидко зріс. Фахівці з таких далеких областей, як технічне конструювання, філософія, фізіологія і психологія, заінтриговані можливостями, що надає ця технологія, і шукають застосування їм всередині своїх дисциплін.

Це відродження інтересу було викликане як теоретичними, так і прикладними досягненнями. Несподівано відкрилися можливості використання обчислень в сферах, які до цього відносились лише до області людського інтелекту, можливості створення машин, здатність яких вчитися і запам'ятовувати дивним чином нагадує процеси мислення людини, і наповнення новим значним змістом терміну «штучний інтелект».

Класифікація за типом вхідної інформації[ред.ред. код]

  • Аналогові нейронні мережі (використовують інформацію у формі дійсних чисел);
  • Двійкові нейронні мережі (оперують з інформацією, представленою в двійковому вигляді).

Класифікація за характером навчання[ред.ред. код]

Класифікація за характером налаштування синапсів[ред.ред. код]

  • Мережі з фіксованими зв'язками (вагові коефіцієнти нейронної мережі вибираються відразу, виходячи з умов завдання, при цьому: dW / dt = 0 , де W — вагові коефіцієнти мережі);
  • Мережі з динамічними зв'язками (для них в процесі навчання відбувається налаштування синаптичних зв'язків, тобто dW / dt ≠ 0, де W — вагові коефіцієнти мережі).

Примітки[ред.ред. код]

  1. Minsky M., and Papert S., 1969. Perseptrons. Cambridge, MA: MIT Press. (англ.)

Джерела інформації[ред.ред. код]

  • Wasserman, P. D. (1989). Neural computing theory and practice. (Ф. Восермен Нейрокомп'ютерна техніка: Теорія і практика)

Див. також[ред.ред. код]

Посилання[ред.ред. код]

Укр. мовою[ред.ред. код]

Англ. мовою[ред.ред. код]

Рос. мовою[ред.ред. код]