Мережа з відлунням стану

Мере́жа з відлу́нням ста́ну (англ. echo state network, ESN) — це рекурентна нейронна мережа з розріджено з'єднаним прихованим шаром (як правило, зі зв'язністю 1%). Зв'язність та ваги прихованих нейронів є незмінними й призначеними випадково. Ваги виходових нейронів можуть навчатися таким чином, що мережа відтворюватиме/створюватиме певні часові образи.

Головна цікавість цієї мережі полягає в тому, що хоча її поведінка й є нелінійною, єдиними вагами, що змінюються під час навчання, є ваги синапсів, що з'єднують приховані нейрони з виходовими. Таким чином, функція похибки є квадратичною відносно вектора параметрів, і може бути легко диференційованою до лінійної системи.

Див. також

• Машини екстремального навчання
• Рідкий скінченний автомат: подібне поняття з узагальненим сигналом та мережею.
• Резервуарне обчислення

Примітки

• Herbert Jaeger and Harald Haas. Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication. Science 2 April 2004: Vol. 304. no. 5667, pp. 78 – 80 DOI:10.1126/science.1091277 PDF (preprint) (англ.)
• Herbert Jaeger (2007) Echo State Network. Scholarpedia. (англ.)
• aureservoir: ефективна бібліотека C++ для різних видів мереж з відлунням стану з обв'язками для python/numpy.
• Matlab code: ефективний matlab для мереж з відлунням стану.