Штучна нейронна мережа

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук
Схема простої нейронної мережі. Зеленим кольором позначеннівхідні нейрони, голубим приховані нейрони, жовтим  — вихідний нейрон

Штучні нейронні мережі (ШНМ) — математичні моделі, а також їхня програмна та апаратна реалізація, побудовані за принципом функціонування біологічних нейронних мереж — мереж нервових клітин живого організму. Системи, архітектура і принцип дії базується на аналогії з мозком живих істот. Ключовим елементом цих систем виступає штучний нейрон як імітаційна модель нервової клітини мозку — біологічного нейрона. Цей термін виник при вивченні процесів, які відбуваються в мозку, та при спробі змоделювати ці процеси. Першою такою спробою були нейронні мережі Маккалока і Піттса. Як наслідок, після розробки алгоритмів навчання, отримані моделі стали використовуватися в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах керування та інші.

ШНМ являють собою систему з'єднаних між собою простих процесорів(штучних нейронів), які взаємодіють. Такі процесори зазвичай достатньо прості, особливо в порівнянні з процесорами, що використовуються в персональних комп'ютерах. Кожен процесор схожої мережі має справу тільки з сигналами, які він періодично отримує, і сигналами, які він періодично посилає іншим процесорам. І тим не менш, будучи з'єднаними в досить велику мережу з керованою взаємодією, такі локально прості процесори разом здатні виконувати достатньо складні завдання. З точки зору машинного навчання, нейронна мережа являє собою окремий випадок методів розпізнавання образів, дискримінантного аналізу, методів кластеризації тощо. З математичної точки зору, навчання нейронних мереж — це багатопараметрична задача нелінійної оптимізації. З точки зору кібернетики, нейронна мережа використовується в задачах адаптивного управління і як алгоритми для робототехніки. З точки зору розвитку обчислювальної техніки та програмування, нейронна мережа — спосіб вирішення проблеми ефективного паралелізму . А з точки зору штучного інтелекту, ШНМ є основою філософської течії коннективізму і основним напрямком в структурному підході з вивчення можливості побудови (моделювання) природного інтелекту за допомогою комп'ютерних алгоритмів. Нейронні мережі не програмуються в звичайному розумінні цього слова, вони навчаються. Можливість навчання — одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. У процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними і вихідними, а також виконувати узагальнення. Це означає, що у разі успішного навчання мережа зможе повернути правильний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних та / або «зашумлених», частково перекручених даних.

Огляд[ред.ред. код]

Біологічна нейронна мережа складається з групи або декількох груп хімічно або функціонально пов'язаних нейронів. Один нейрон може бути пов'язаний з багатьма іншими нейронами, а загальна кількість нейронів та зв'язків між ними може бути дуже великою. Зв'язки, які називаються синапсами, як правило формуються від аксонів до дендритів, хоча дендро-дендритичні мікросхем та інші зв'язки є можливими. Крім електричної передачі сигналів, також є інші форми передачі, які виникають з нейротрансмітерної(хімічний передавач імпульсів між нервовими клітинами) дифузії, і мають вплив на електричну передачу сигналів. Таким чином, нейронні мережі є надзвичайно складними.

Штучний інтелект і когнітивне моделювання намагаються імітувати деякі властивості біологічних нейронних мереж. Хоча аналогічні в своїх методах, перша має на меті вирішення конкретних завдань, а друга спрямована на створення математичних моделей біологічних нейронних систем.

У сфері штучного інтелекту, штучні нейронні мережі були успішно застосовані для розпізнавання мови, аналізу зображень та адаптивного управління, для того, щоб побудувати так званих програмних агентів (в комп'ютерних і відео ігор) або автономні роботи. На даний час, більшість розроблених штучних нейронних мереж для штучного інтелекту базуються на статистичних оцінках, класифікації оптимізації та теорії керування.

Сфера когнітивного моделювання включає в себе фізичне або математичне моделювання поведінки нейронних систем; від індивідуального нейроного рівня, через нейронний кластерний рівень до завершеного організму (наприклад, моделювання поведінки відповіді організму на подразники). Штучний інтелект, когнітивне моделювання і нейронні мережі є парадигмами обробки інформації натхненні системами біологічних нейроннів обробки інформації.

Історія розвитку[ред.ред. код]

Розуміння функціонування нейрона і картини його зв'язків дозволило дослідникам створити математичні моделі для перевірки своїх теорій. У перших же роботах з'ясувалося, що ці моделі не тільки повторюють функції мозку, але і здатні виконувати функції, що мають свою власну цінність. Тому виникли й залишаються до сьогодні дві взаємнозбагачуючі цілі нейронного моделювання:

Перший крок був зроблений у 1943 р. з появою статті нейрофізіолога Уоррена Маккалоха (Warren McCulloch) і математика Волтера Піттса (Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах.

Паралельно з прогресом в нейроанатомії і нейрофізіології психологами були створені моделі людського навчання. Однією з таких моделей, що виявилася найбільш плідною, була модель Дональда Геба (Donald Hebb), який в 1949 році в своїй книзі «Організація поведінки» запропонував закон навчання, що був стартовою точкою для алгоритмів навчання штучних нейронних мереж (процес навчання нейромереж ще називають нейроеволюцією)[Джерело?].

У 1950-ті — 1960-ті роки група дослідників, об'єднавши ці біологічні і фізіологічні підходи, створила перші штучні нейронні мережі. В 1950-х рр. з'являються програмні моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер (Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливе зростання традиційних обчислень залишило нейронні дослідження в тіні.

Перші успіхи викликали вибух активності й оптимізму. Мінскі, Розенблат, Відроу і інші розробили мережі, що складалися з одного прошарку штучних нейронів, які назвали перцептронами. Ці мережі застосовували для розв'язання широкого класу задач: прогноз погоди, аналіз електрокардіограм, штучний зір.

В 1956 Дартмутський дослідний проект з штучного інтелекту забезпечив розвиток дослідження штучного інтелекту, зокрема, нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось у двох напрямках:

  • промислові застосування систем штучного інтелекту (експертні системи) та
  • моделювання мозку.

В 1958 р. Джон фон Нейман (John fon Neumann) запропонував імітацію простих функцій нейронів із використанням вакуумних трубок. У 1959 р. Бернард Відров (Bernard Widrow) та Марсіан Гофф (Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи (Multiple ADAptive LINear Elements)). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях. Ця нейромережа досі в комерційному використанні.

Нейробіолог Френк Розенблатт (Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів.

Протягом деякого часу здавалося, що ключ до інтелекту знайдений і відтворення людського мозку є лише питанням конструювання досить великої мережі. Але ця ілюзія скоро розсіялася. Мережі не могли розвязувати задачі, зовні схожі з тими, які вони успішно вирішували. З цих невдач почався період інтенсивного аналізу. Марвін Мінскі (Marvin Minsky), використовуючи точні математичні методи, довів ряд теорем, що відносяться до функціонування мереж. Його дослідження привели до написання книги «Перцептрони» (Minsky M., and Papert S., 1969. Perseptrons. Cambridge, MA: MIT Press.), в якій він разом з Пайпертом довів, що одношарові мережі, які використовувались в той час, теоретично нездатні розв'язувати багато простих задач, в тому числі реалізувати функцію «виключне або» (XOR). Блиск і суворість аргументації Мінскі, а також його престиж породили величезне довір'я до книги її висновки були незаперечливими. Розчаровані дослідники залишили поле досліджень заради перспективніших областей, а уряди перерозподілили свої субсидії, і штучні нейронні мережі були забуті майже на два десятиріччя.

Проте декілька найбільш наполегливих вчених, таких як Тейво Кохонен, Стів Гросберг, Джеймс Андерсон (James A. Anderson) продовжили дослідження. Поступово з'явився теоретичний фундамент, на основі якого сьогодні конструюються найпотужніші багатошарові мережі. Оцінка Мінскі виявилася надто песимістичною, багато з поставлених в його книзі задач розв'язуються зараз мережами за допомогою стандартних процедур.

Наприкінці 1980-х років теорія стала застосовуватися в прикладних областях і з'явилися нові корпорації, що займалися комерційним використанням цієї технології. Наростання наукової активності носило вибуховий характер. У 1987 було проведено чотири великих наради зі штучних нейронних мереж і опубліковано понад 500 наукових статей.

Після двох десятиріч майже повного забуття інтерес до штучних нейронних мереж швидко зріс. Фахівці з таких далеких областей, як технічне конструювання, філософія, фізіологія і психологія, заінтриговані можливостями, що надає ця технологія, і шукають застосування їм всередині своїх дисциплін.

Це відродження інтересу було викликане як теоретичними, так і прикладними досягненнями. Несподівано відкрилися можливості використання обчислень в сферах, які до цього відносились лише до області людського інтелекту, можливості створення машин, здатність яких вчитися і запам'ятовувати дивним образом нагадує процеси мислення людини, і наповнення новим значним змістом терміну «штучний інтелект».

Класифікація за типом вхідної інформації[ред.ред. код]

  • Аналогові нейронні мережі (використовують інформацію у формі дійсних чисел);
  • Двійкові нейронні мережі (оперують з інформацією, представленою в двійковому вигляді).

Класифікація за характером навчання[ред.ред. код]

Класифікація за характером налаштування синапсів[ред.ред. код]

  • Мережі з фіксованими зв'язками (вагові коефіцієнти нейронної мережі вибираються відразу, виходячи з умов завдання, при цьому: dW / dt = 0 , де W — вагові коефіцієнти мережі);
  • Мережі з динамічними зв'язками (для них в процесі навчання відбувається налаштування синаптичних зв'язків, тобто dW / dt ≠ 0, де W — вагові коефіцієнти мережі).

Джерела інформації[ред.ред. код]

  • Wasserman, P. D. (1989). Neural computing theory and practice. (Ф. Восермен Нейрокомп'ютерна техніка: Теорія і практика)

Див. також[ред.ред. код]

Посилання[ред.ред. код]

Укр. мовою[ред.ред. код]

Англ. мовою[ред.ред. код]

Рос. мовою[ред.ред. код]