Нейронна мережа Кохонена

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Нейронні мережі Кохонена — клас нейронних мереж, основним елементом яких є шар Кохонена. Шар Кохонена складається з адаптивних лінійних суматорів («лінійних формальних нейронів»). Як правило, вихідні сигнали шару Кохонена обробляються за правилом «переможець забирає все»: найбільший сигнал перетворюється в одиничний, решта звертаються в нуль.

За способами настройки вхідних ваг суматорів і по розв'язуваним завданням розрізняють багато різновидів мереж Кохонена.[1] Найбільш відомі з них:

Шар кохонена[ред.ред. код]

Базова версія[ред.ред. код]

Шар Кохонена складається з деякої кількості паралельно діючих лінійних елементів. Всі вони мають однакову кількість входів і отримують на свої входи один і той же вектор вхідних сигналів . На виході -го лінійного елемента отримуємо сигнал

де  — ваговий коефіціент -го входу нейрона,  — пороговий коефіціент.

Після проходження шару лінійних елементів сигнали посилаються на обробку за правилом «переможець забирає все»: серед вихідних сигналів шукається максимальний; його номер . Остаточно, на виході сигнал з номером дорівнює одиниці, решта — нулю. Якщо максимум одночасно досягається для декількох . То або приймають всі відповідні сигнали рівними одиниці, або тільки перший у списку (за згодою). «Нейрони Кохонена можна сприймати як набір електричних лампочок, так що для будь-якого вхідного вектора загоряється одна з них.»[4]

Геометрична інтерпретація[ред.ред. код]

Розбиття площини на багатокутники Вороного-Діріхле для випадково вибраних точок (кожна точка вказана в своєму багатокутнику).

Великого поширення набули шари Кохонена, побудовані таким чином: кожному (-му) нейрону зіставляється точка в -мірному просторі (просторі сигналів). Для вхідного вектора обчислюються його евклідові відстані до точок і «найближчий отримує все» — той нейрон, для якого ця відстань мінімально, видає одиницю, решта — нулі. Слід зауважити, що для порівняння відстаней достатньо обчислювати лінійну функцію сигналу:

(тут  — Евклідова довжина вектора: ). Останній доданок однаково для всіх нейронів, тому для знаходження найближчої точки воно не потрібно. Задача зводиться до пошуку номера найбільшого з значень лінійних функцій:

Таким чином, координати точки збігаються з вагами лінійного нейрона шару Кохонена (при цьому значення порогового коефіцієнта ).

Якщо задані точки , то -мірний простір розбивається на відповідні комірки триангуляції Вороного-Делоне : багатогранник складається з точок, які ближче до , ніж до інших ().[5]

Самоорганізаційні Карти Кохонена[ред.ред. код]

Ідея та алгоритм навчання[ред.ред. код]

Завдання векторного квантування полягає, по своїй суті, в найкращій апроксимації всієї сукупності векторів даних кодовими векторами . Самоорганізаційні карти Кохонена також апроксимують дані, проте за наявності додаткової структури в сукупності кодових векторів (англ. codebook). Передбачається, що апріорі задана деяка симетрична таблиця «заходів сусідства» (або «заходів близькості») вузлів: для кожної пари () визначено число () при цьому діагональні елементи таблиці близькості дорівнюють одиниці ().

Вектори вхідних сигналів обробляються по одному, для кожного з них знаходиться найближчий кодовий вектор («переможець», який «забирає все») . Після цього всі кодові вектори , для яких , перераховуються за формулою:

де  — Крок навчання. Сусіди кодового вектора — переможця (по апріорно заданою таблицею близькості) зсуваються в ту ж сторону, що і цей вектор, пропорційний мірі близькості.

Найчастіше, таблиця кодових векторів представляється у вигляді фрагмента квадратної решітки на площині, а міра близькості визначається, виходячи з евклідової відстані на площині.

Самоорганізаційні карти Кохонена служать, в першу чергу, для візуалізації та первісного («розвідувального») аналізу даних.[6] Кожна точка даних відображається відповідним кодовим вектором з решітки. Так отримують уявлення даних на площині ("карту даних"). На цій карті можливе відображення багатьох шарів: кількість даних, що потрапляють у вузли (тобто "щільність даних"), різні функції даних і так далі. При відображенні цих шарів корисний апарат географічних інформаційних систем (ГІС). У ГІС підкладкою для зображення інформаційних шарів служить географічна карта. Карта даних є підкладкою для довільного за своєю природою набору даних. Вона служить заміною географічній карті там, де її просто не існує. Принципова відмінність в наступному: на географічній карті сусідні об'єкти володіють близькими географічними координатами, на карті даних близькі об'єкти володіють близькими властивостями. За допомогою карти даних можна візуалізувати дані, одночасно наносячи на підкладку супроводжуючу інформацію (підписи, анотації, атрибути, інформаційні розмальовки). Карта служить також інформаційною моделлю даних. З її допомогою можна заповнювати прогалини в даних. Ця здатність використовується, наприклад, для вирішення завдань прогнозування.

Самоорганізаційні карти і головні різноманіття[ред.ред. код]

Ідея самоорганізаційних карт дуже приваблива і породила масу узагальнень, однак, строго кажучи, ми не знаємо, що ми будуємо: карта - це результат роботи алгоритму і не має окремого ("об'єктного") визначення. Є, однак, близька теоретична ідея - головні різноманіття (principal manifolds).[7] Ці різноманіття узагальнюють лінійні головні компоненти. Вони були введені як лінії або поверхневі, що проходять через "середину" розподілу даних, за допомогою умови самоузгодження: кожна точка на головному різномінітті є умовним математичним очікуванням тих векторів , які проектуються на (за умови , де - оператор проектування околиці на ),

Самоорганізаційні карти можуть розглядатися як апроксимації головних різноманіть і популярні в цій якості[8].

Примітки[ред.ред. код]

  1. How many kinds of Kohonen networks exist? Internet FAQ Archives. Online Education
  2. Hecht-Nielsen, R. (1990), Neurocomputing, Reading, MA: Addison-Wesley, ISBN 0-201-09355-3.
  3. Kohonen, T. (1988), Learning Vector Quantization, Neural Networks, 1 (suppl 1), 303.
  4. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика — Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9
  5. Real time interactive Voronoi and Delaunay diagrams with source code
  6. Зінов'єв А. Ю. Візуалізація багатовимірних даних - pca.narod.ru / ZINANN.htm. - Красноярськ: Изд. Красноярського державного технічного університету, 2000. - 180 с.
  7. С этой работы началось изучение главных многообразий. Диссертация T. Хасти: Hastie T., Principal Curves and Surfaces, Ph.D Dissertation, Stanford Linear Accelerator Center, Stanford University, Stanford, California, US, November 1984. А также на сайте PCA
  8. Yin H. Learning Nonlinear Principal Manifolds by Self-Organising Maps, In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007 ISBN 978-3-540-73749-0