Нейронна мережа Хопфілда

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Нейронна мережа Хопфілда — це тип рекурентної, повнозв'язної, штучної нейронна мережа із симетричною матрицею зв'язків. У процесі роботи динаміка таких мереж сходиться (конвергує) до одного з положень рівноваги. Ці положення рівноваги є локальними мінімумами функціоналу, що називається енергія мережі (у найпростішому випадку — локальними мінімумами негативно певної квадратичної форми на n-вимірному кубі). Така мережа може бути використана як автоасоціативна пам'ять, як фільтр, а також для вирішення деяких завдань оптимізації. На відміну від багатьох нейронних мереж, що працюють до отримання відповіді через певну кількість тактів, мережі Хопфілда працюють до досягнення рівноваги, коли наступний стан мережі дорівнює попередньому.

Архітектура мережі[ред.ред. код]

Схема мережі Хопфілда з трьома нейронами

Нейронна мережа Хопфілда складається з  N штучних нейронів. Кожен нейрон системи може приймати один з двох станів (що аналогічно виходу нейрона з пороговою функцією активації):


y_i = \left\{\begin{matrix} 1, \\
-1\end{matrix}\right.

Через їх біполярну природи нейрони мережі Хопфілда іноді називають спінами.

Взаємодія спінів мережі описується виразом:

E= \frac{1}{2}\sum_{i,j=1}^{N}w_{ij}x_ix_j

де  w_{ij}  — елемент матриці взаємодій  W , яка складається з вагових коефіцієнтів зв'язків між нейронами. У цю матрицю в процесі навчання записується М «образів» — N-вимірних бінарних векторів: S_m=(s_{m1}, s_{m2}, ..., s_{mN})

У мережі Хопфілда матриця зв'язків є симетричною (w_{ij}=w_{ji}), а діагональні елементи матриці покладаються рівними нулю (w_{ii}=0), що виключає ефект впливу нейрона на самого себе та є необхідним для мережі Хопфілда, але не достатньою умовою стійкості в процесі роботи мережі. Достатнім є асинхронний режим роботи мережі. Подібні властивості визначають тісний зв'язок з реальними фізичними речовинами, що назваються спіновими стеклами.

Література[ред.ред. код]

  • J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities», Proceedings of National Academy of Sciences, vol. 79 no. 8 pp. 2554—2558, April 1982. PNAS Reprint (Abstract) PNAS Reprint (PDF)
  • J. J. Hopfield Neural with graded response have collective computational properties like those of two-state neurons.. — 1984.
  • J. J. Hopfield Learning algorithms and probability distributions in feed-forward and feed-back networks. — 1987.
  • Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9
  • McEliece R.J., Posner E.C., Rodemich E.R., Venkatesh S.S., The capacity of the Hopfield associative memory, IEEE Transactions on Information Theory, Volume 33, Issue 4 (July 1987), 461—482.
  • B.V.Kryzhanovsky, L.B.Litinskii, A.L.Mikaelian. «Vector-neuron models of associative memory», Proc. of Int. Joint Conference on Neural Networks IJCNN-04, Budapest-2004, pp.909-1004.
  • B.V.Kryzhanovsky, B.M.Magomedov, A.L.Mikaelian. «A Domain model of neural network», Doklady Mathematics vol.71, pp.310-314 (2005).