Рекурентні нейронні мережі

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Рекуре́нтні нейро́нні мере́жі — це тип нейронних мереж, в яких є зворотний зв'язок. При цьому під зворотним зв'язком мається на увазі зв'язок від логічно найвіддаленішого елементу до менш віддаленого. Наявність зворотних зв'язків дозволяє запам'ятовувати і відтворювати цілі послідовності реакцій на один стимул. З точки зору програмування в таких мережах з'являється аналог циклічного виконання, а з точки зору систем — така мережа еквівалентна скінченному автомату. Такі особливості потенційно надають безліч можливостей для моделювання біологічних нейронних мереж. Але, на жаль, більшість можливостей в цей час погано вивчені у зв'язку з можливістю побудови всілякої архітектури і складністю їх аналізу.

Перцептрони Розенблатта із зворотним зв'язком[ред.ред. код]

Перші ідеї про нейронні мережі із зворотними зв'язками описав Ф. Розенблатт на закінчення своєї книги про перцептрони в 1962 році. Ф. Розенблатт дав якісний опис декількох видів перцептронів з зворотним зв'язком. Перша група таких перцептронів була призначена для вироблення вибіркової уваги, а друга група для вчення послідовності реакцій.

Одношарові мережі із зворотним зв'язком[ред.ред. код]

Після виходу книги Мінського з критикою можливостей елементарного перцептрона в 1969 році роботи по вивченню штучних нейронних мереж практично припинилися. Лише невеликі групи продовжували дослідження в цьому напрямі. Одна з таких груп в 1978 році почала свою роботу в Массачусетскому Технологічному інституті. Джон Гопфілд був запрошений як консультант з відділення біофізики лабораторії Бела. Його ідеї так само як і Розенблатта базувалися на результатах дослідження в нейрофізіології.

Головною заслугою Гопфілда є енергетична інтерпретація роботи штучної нейронної мережі. Що ж до самої нейронної мережі Гопфілда, то вона має низку недоліків через які вона не може бути практично використана. Згодом Косько розвинув ідеї Гопфілда і розробив модель гетероасоціативної пам'яті — Нейронна мережа Косько. Основним недоліком цих мереж є відсутність стійкості, а у випадках коли вона досягається мережа стає еквівалентною одношаровій нейронній мережі через що вона не в змозі вирішувати лінійно нероздільні завдання.

У результаті ємкість таких мереж украй мала. Не зважаючи на ці практичні недоліки в області розпізнавання, дана мережа успішно застосовувалася в дослідженнях енергетичного хаосу, виникнення атракторів, а також з того часу почалась історія штучних нейронних мереж з асоціативною пам'яттю.

Рекурентні мережі з одиничною затримкою[ред.ред. код]

Починаючи з нейронної мережі Джордана, звіт про яку він публікує в 1986 році починається новий етап в розвитку нейронних мереж із зворотним зв'язком. Потім в 1990 році Елман пропонує модифікувати мережу Джордана. У результаті виходить найвідоміша зараз Нейронна мережа Елмана. З цього часу такі мережі називають рекурентними. Як правило всі вони базуються на багатошаровому перцептроні, який стає в той час дуже популярним. Такі мережі за своєю будововю і різноманітності набагато простіші від своїх попередників, проте вони пристосовані для вирішення завдання запам'ятовування послідовностей без проблем із стійкістю.

Це досягається тим, що сигнал з вихідного шару маючи лише одиничну затримку поступає на додаткові входи (мережа Джордана), і не поступає на первинні входи (як в мережі Гопфілда) — через що не відбувається змішування сигналів і немає питання про стійкість. Мережа Елмана відрізняється лише тим, що сигнал з внутрішнього шару поступає на додаткові входи. Такі додаткові входи називають контекстом, які служать для зберігання інформації про попередню стимул-реакцію, завдяки чому реакція мережі тепер залежить не лише від поточної стимул-реакції, але і попередньої.

Посилання[ред.ред. код]

Див. також[ред.ред. код]

Література[ред.ред. код]

Ресурси інтернету[ред.ред. код]