Типи штучних нейронних мереж

Існує багато типів штучних нейронних мереж (ШНМ, англ. artificial neural networks, ANN).

Штучні нейронні мережі — це обчислювальні моделі, натхнені біологічними нейронними мережами, й які використовують, щоби наближувати функції, зазвичай невідомі. Зокрема, їх надихає поведінка нейронів та електричних сигналів, які вони передають між входом (наприклад, від очей або нервових закінчень у руці), обробкою, та виходом із мозку (наприклад, реакцією на світло, дотик або тепло). Спосіб забезпечення нейронами семантичного зв'язку є областю поточних досліджень. Більшість штучних нейронних мереж лише дещо схожі на свої складніші біологічні аналоги, але вони дуже ефективні у виконанні поставлених завдань (наприклад, класифікування чи сегментування).

Деякі штучні нейронні мережі є адаптивними системами, і їх використовують, наприклад, для моделювання популяцій та середовищ, які постійно змінюються.

Нейронні мережі можуть бути апаратними (нейрони подано фізичними складовими) та програмними (комп'ютерні моделі), й можуть використовувати різноманітні топології та алгоритми навчання.

Прямого поширення

Нейронна мережа прямого поширення (англ. feedforward neural network) була першим і найпростішим типом. У цій мережі інформація рухається лише від шару входу безпосередньо крізь будь-які приховані шари до шару виходу, без циклів/петель. Мережі прямого поширення можливо будувати за допомогою різних типів вузлів, таких як бінарні нейрони Маккаллоха — Піттса, найпростішим з яких є перцептрон. Неперервні нейрони, часто з сигмоїдною передавальною функцією, використовують у контексті зворотного поширення.

Метод групового урахування аргументів

Метод групового урахування аргументів (МГУА, англ. Group Method of Data Handling, GMDH) має повністю автоматичну структурну та параметричну оптимізацію моделі. Передавальними функціями вузлів є поліноми Колмогорова — Габора, які допускають додавання та множення. Він використовує глибокий багатошаровий перцептрон із вісьмома шарами. Це мережа керованого навчання, яка зростає шар за шаром, де кожен шар тренується за допомогою регресійного аналізу. Непотрібні елементи виявляються за допомогою затверджувального набору й відсікаються за допомогою регуляризації. Розмір та глибина отримуваної мережі залежать від поставленого завдання.

Автокодувальник

Автокодувальник (англ. autoencoder), автоасоціатор, або мережа діаболо^:19 схожий на багатошаровий перцептрон (БШП, англ. MLP) — із шаром входу, шаром виходу й одним або декількома прихованими шарами, що їх з'єднують. Проте шар виходу має таку ж кількість вузлів, що й шар входу. Його призначення — відбудовувати власні дані входу (замість видавати цільове значення). Тож автокодувальники — моделі некерованого навчання. Автокодувальник використовують для некерованого навчання ефективних кодувань, зазвичай з метою зниження розмірності та для навчання породжувальних моделей даних.

Імовірнісний

Імовірнісна нейронна мережа (ІНМ, англ. PNN) — це чотирирівнева нейронна мережа прямого поширення. Шари: входу, приховані образів та підсумовування, та виходу. В алгоритмі ІНМ батьківську функцію густини ймовірності (ФГІ, англ. PDF) кожного класу наближують вікном Парцена та непараметричною функцією. Потім, використовуючи ФГІ кожного класу, оцінюють класову ймовірність нового входу й використовують правило Баєса, щоби віднести його до класу з найвищою апостеріорною ймовірністю. Її отримали з баєсової мережі та статистичного алгоритму під назвою ядровий фішерів розділювальний аналіз. Її використовують для класифікування та розпізнавання образів.

Часова затримка

Нейронна мережа з часовою затримкою (англ. time delay neural network, TDNN) — це архітектура прямого поширення для послідовних даних, яка розпізнає ознаки незалежно від положення в послідовності. Щоби досягти інваріантності щодо зсуву в часі, до даних входу додають затримки, щоби кілька точок даних (точок у часі) аналізувалися разом.

Зазвичай вона є частиною більшої системи розпізнавання образів. Її втілювали за допомогою мережі перцептрона, вагові коефіцієнти з'єднань якої було треновано зворотним поширенням (керованим навчанням).

Згорткова

Згорткова нейронна мережа (ЗНМ, англ. CNN, ConvNet, або зсувоінваріанта чи просторовоінваріантна, англ. shift invariant, space invariant) — це клас глибоких мереж, складених з одного або кількох згорткових шарів, із повноз'єднаними шарами (що відповідають шарам типових ШНМ) нагорі. Вона використовує зв'язані ваги та шари агрегування. Зокрема, максимізаційного агрегування (англ. max-pooling). Її часто структурують за допомогою згорткової архітектури Фукусіми. Вони є видозмінами багатошарових перцептронів, які використовують мінімальну попередню обробку. Ця архітектура дозволяє ЗНМ використовувати переваги двовимірної структури даних входу.

Її схема з'єднання вузлів натхнена будовою зорової кори. Вузли реагують на стимули в обмеженій області простору, відомій як рецептивне поле. Рецептивні поля частково перекриваються, накриваючи все поле зору. Відгук вузла можливо наблизити математично операцією згортки.

ЗНМ підходять для обробки візуальних та інших двовимірних даних. Вони показали чудові результати у застосуваннях як до зображень, так і до мовлення. Їх можливо тренувати стандартним зворотним поширенням. ЗНМ тренувати легше, ніж інші звичайні глибокі нейронні мережі прямого поширення, і вони мають набагато менше параметрів для оцінювання.

Капсульні нейронні мережі (англ. CapsNet) додають до ЗНМ структури, звані капсулами (англ. capsules), й перевикористовують дані виходу кількох капсул для формування стабільніших (щодо різних збурень) подань.

До прикладів застосувань у комп'ютерному зорі належать DeepDream і навігація роботів. Вони мають широке застосування в розпізнаванні зображень і відео, рекомендаційних системах та обробці природної мови.

Глибока складальна мережа

Глибока складальна мережа (ГСМ, англ. deep stacking network, DSN) (глибока опукла мережа, англ. deep convex network) ґрунтується на ієрархії блоків спрощених нейромережних модулів. Її запропонували 2011 року Ден та Ю. Вона формулює навчання як задачу опуклої оптимізації з розв'язком замкненого вигляду, підкреслюючи подібність цього механізму до складального узагальнювання. Кожен блок ГСМ — це простий модуль, який сам по собі легко натренувати керованим чином без зворотного поширення для цілих блоків.

Кожен блок складається зі спрощеного багатошарового перцептрона (БШП) з єдиним прихованим шаром. Прихований шар h має логістичні сигмоїдні вузли, а шар виходу — лінійні. З'єднання між цими шарами подано ваговою матрицею U; з'єднання входу з прихованим шаром мають вагову матрицю W. Цільові вектори t утворюють стовпці матриці T, а вектори даних входу x утворюють стовпці матриці X. Матрицею прихованих вузлів є ${\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})$. Модулі тренують по черзі, тож ваги нижчого шару W на кожному етапі відомі. Функція виконує поелементну логістичну сигмоїдну дію. Кожен із блоків оцінює один і той же клас кінцевих міток y, і його оцінка поєднується з первинним входом X для утворення розширеного входу для наступного блоку. Таким чином, вхід першого блоку містить лише первинні дані, тоді як до входів наступних блоків додаються також і виходи попередніх блоків. Тоді навчання вагової матриці U вищого шару за заданих інших ваг у мережі можливо сформулювати як задачу опуклої оптимізації:

$\min _{U^{T}}f=\|{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}\|_{F}^{2},$

що має розв'язок замкненого вигляду.

На відміну від інших глибоких архітектур, таких як ГМП, метою є не виявляння перетвореного подання ознак. Структура ієрархії такого типу архітектури робить паралельне навчання прямолінійним, як задача оптимізації в пакетному режимі. У суто розрізнювальних завданнях ГСМ перевершують звичайні ГМП.

Тензорні глибокі складальні мережі

Ця архітектура — розширення ГСМ. Вона пропонує два важливі вдосконалення: вона використовує інформацію вищого порядку з коваріаційних статистик, і вона перетворює неопуклу задачу нижчого шару на опуклу підзадачу вищого шару. ТГСМ використовують коваріаційну статистику в білінійному відображенні з кожного з двох окремих наборів прихованих вузлів одного й того ж шару до передбачень за допомогою тензора третього порядку.

В той час як розпаралелювання й масштабованість у звичайних ГНМ не розглядають серйозно, все навчання для ГСМ і ТГСМ здійснюється в пакетному режимі, що уможливлює розпаралелювання. Розпаралелювання дозволяє масштабувати цю конструкцію на більші (глибші) архітектури та набори даних.

Ця базова архітектура підходить для різноманітних завдань, таких як класифікування та регресія.

Регуляторний зворотній зв'язок

Мережі з регуляторним зворотним зв'язком (англ. regulatory feedback networks) мали початок як модель для пояснення мозкових явищ, виявляних під час розпізнавання, включно пакетуванням в усій мережі та труднощами зі схожістю, універсальними при сенсорному розпізнаванні. Механізм для виконання оптимізації під час розпізнавання створюють за допомогою гальмівних з'єднань зворотного зв'язку з тими же входами, які їх активують. Це зменшує вимоги під час навчання та дозволяє полегшити навчання та уточнення, залишаючи можливість виконувати складне розпізнавання.

Мережа з регуляторним зворотним зв'язком здійснює висновування з використанням негативного зворотного зв'язку. Зворотній зв'язок використовується для пошуку оптимального збудження вузлів. Це найбільше схоже на непараметричний метод, але відрізняється від k-найближчих сусідів тим, що математично емулює мережі прямого поширення.

Радіальні базисні функції (РБФ)

Радіальні базисні функції (англ. radial basis functions) — це функції, які мають критерій відстані відносно якогось центру. Радіальні базисні функції застосовували як заміну сигмоїдної передавальної характеристики прихованого шару в багатошарових перцептронах. Радіальнобазисні мережі (РБМ) мають два шари: на першому дані входу відображувано на кожну РБФ у «прихованому» шарі. Як РБФ зазвичай обирають гауссіани. У задачах регресії шар виходу це лінійна комбінація значень прихованого шару, що подає середній передбачуваний результат. Інтерпретація цього значення шару виходу така же, як і регресійна модель у статистиці. У задачах класифікування шар виходу це зазвичай сигмоїдна функція лінійної комбінації значень прихованого шару, що подає апостеріорну ймовірність. Продуктивність в обох випадках часто покращують за допомогою стискальних методик, відомих у класичній статистиці як гребенева регресія. Це відповідає апріорному переконанню в малих значеннях параметрів (а відтак і гладких функціях виходу) в баєсовій системі.

Радіальнобазисні мережі мають перевагу уникання локальних мінімумів так само, як і багатошарові перцептрони. Це пов'язано з тим, що єдині параметри, які підлаштовуються в процесі навчання, це лінійне відображення з прихованого шару до шару виходу. Лінійність гарантує, що поверхня похибки квадратична, і відтак має єдиний мінімум, який легко знаходити. У задачах регресії його можливо знаходити за одну матричну операцію. У задачах класифікування із фіксованою нелінійністю, яку вносить сигмоїдна функція виходу, найефективніше впоруватися за допомогою ітеративно перезважуваних найменших квадратів.

РБМ мають недолік вимагання доброго покриття простору входу радіальними базисними функціями. Центри РБФ визначають із прив'язкою до розподілу даних входу, але без прив'язки до завдання передбачування. Як результат, ресурси подання можуть марнуватися на ділянках простору входу, що не мають відношення до цього завдання. Поширене розв'язання — пов'язати кожну точку даних з її власним центром, хоча це може розширювати лінійну систему для розв'язування на кінцевому шарі, й потребувати стискальних методик задля уникнення перенавчання.

Пов'язування кожних вхідних даних із РБФ природним чином призводить до таких ядрових методів як опорновекторні машини (ОВМ) та гауссові процеси (РБФ — ядрова функція). Усі три підходи використовують нелінійну ядрову функцію для проєціювання даних входу до простору, в якому задачу навчання можливо розв'язати за допомогою лінійної моделі. Подібно до гауссових процесів, і на відміну від ОВМ, радіальнобазисні мережі зазвичай тренують за системою максимальної правдоподібності, максимізуючи ймовірність (мінімізуючи похибку). ОВМ уникають перенавчання, максимізуючи натомість розділення. ОВМ перевершують РБМ у більшості застосувань класифікування. У застосуваннях регресії вони можуть бути конкурентоспроможними, коли розмірність простору входу відносно мала.

Як працюють РБМ

Радіальнобазисні нейронні мережі концептуально подібні моделям k-найближчих сусідів (k-НС). Основна ідея полягає в подібності виходів для подібних входів.

Припустімо, що кожен випадок у тренувальному наборі має дві змінні—передбачувачі, x та y, а цільова змінна має дві категорії, позитивну та негативну. Як обчислюється цільова змінна за заданого нового випадку з передбачувальними значеннями x = 6, y = 5,1?

Класифікація найближчих сусідів, виконувана для цього прикладу, залежить від того, скільки сусідніх точок розглядають. Якщо використовують 1-НС, і найближча точка негативна, то нову точку слід класифікувати як негативну. Іншим чином, якщо використовують класифікацію 9-НС і враховують найближчі 9 точок, то вплив навколишніх 8 позитивних точок може переважити найближчу 9-ту (негативну) точку.

РБМ розташовує нейрони в просторі, описуваному змінними—передбачувачами (x, y у цьому прикладі). Цей простір має стільки вимірів, скільки змінних—передбачувачів. Евклідову відстань обчислюють від нової точки до центру кожного нейрона, а радіальну базисну функцію (РБФ, також звану ядровою функцією) застосовують до відстані для обчислення ваги (впливу) для кожного нейрона. Радіальну базисну функцію називають так тому, що аргументом цією функції є радіусна відстань.

Вага = РБФ (відстань)

Радіальна базисна функція

Значення для нової точки визначають підсумовуванням значень виходу функцій РБФ, помножених на ваги, обчислені для кожного нейрона.

Радіальна базисна функція для нейрона має центр і радіус (також званий розкидом, англ. spread). Радіус може бути різним для кожного нейрона, а в РБМ, породжуваних DTREG, радіус може відрізнятися й у кожному вимірі.

За більшого розкиду віддалені від точки нейрони мають більший вплив.

Архітектура

РБМ мають три шари:

• Шар входу: у шарі входу по одному нейрону для кожної змінної—передбачувача. У випадку категорійних змінних використовують N-1 нейронів, де N — кількість категорій. Нейрони входу стандартизують діапазони значень відніманням медіани та діленням на міжквартильний розмах. Потім нейрони входу передають значення кожному з нейронів прихованого шару.
• Прихований шар: цей шар має змінну кількість нейронів (визначувану процесом тренування). Кожен нейрон складається з радіальної базисної функції з центром у точці з такою кількістю вимірів, скільки змінних—передбачувачів. Розкид (радіус) РБФ може відрізнятися для кожного виміру. Центри та розкиди визначає тренування. Коли подано вектор x значень входу з шару входу, прихований нейрон обчислює евклідову відстань цього випробувального випадку від своєї центральної точки, а потім застосовує ядрову РБФ до цієї відстані, використовуючи значення розкиду. Отримане значення передається на рівень підсумовування.
• Рівень підсумовування: значення, що надходить із нейрона в прихованому шарі, множиться на вагу, пов'язану з цим нейроном, і додається до зважених значень інших нейронів. Ця сума стає результатом. Для задач класифікування видається по одному виходу (з окремим набором вагових коефіцієнтів та одиницею підсумовування) для кожної цільової категорії. Вихідним значенням для категорії є ймовірність того, що оцінюваний випадок має цю категорію.

Тренування

Процес тренування визначає такі параметри:

• Кількість нейронів у прихованому шарі
• Координати центру кожної РБФ прихованого шару
• Радіус (розкид) кожної РБФ у кожному вимірі
• Ваги, застосовувані до виходів РБФ, коли вони переходять на рівень підсумовування

Для тренування РБМ використовували різні методи. Один підхід спочатку використовує кластерування методом k-середніх для пошуку центрів кластерів, які потім використовують як центри для РБФ. Проте кластерування методом k-середніх обчислювально витратне й часто не породжує оптимальної кількості центрів. Інший підхід полягає у використанні випадкової підмножини тренувальних точок як центрів.

DTREG використовує алгоритм тренування, який використовує еволюційний підхід для визначання оптимальних точок центрів та розкидів для кожного нейрона. Він визначає, коли припинити додавання нейронів до мережі, відстежуючи оцінювану похибку виключення по одному (англ. LOO, leave-one-out error), і припиняючи, коли похибка LOO починає збільшуватися через перенавчання.

Обчислення оптимальних ваг між нейронами в прихованому шарі та шарі підсумовування виконують за допомогою гребеневої регресії. Ітеративна процедура обчислює оптимальний параметр лямбда регуляризації, який мінімізує похибку узагальненого перехресного затверджування (англ. generalized cross-validation, GCV).

Узагальнена регресійна нейронна мережа

Узагальнена регресійна нейронна мережа (англ. General regression neural network, GRNN) — це нейронна мережа асоціативної пам'яті, подібна до ймовірнісної нейронної мережі, але яку використовують для регресії та наближення, а не для класифікування.

Глибока мережа переконань

Обмежена машина Больцмана (ОМБ, англ. RBM) із повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднань прихований—прихований та видимий—видимий немає.

Глибока мережа переконань (ГМП, англ. deep belief network, DBN) — це ймовірнісна породжувальна модель, що складається з кількох прихованих шарів. Її можливо вважати композицією простих модулів, що вчаться.

ГМП можливо використовувати для породжувального попереднього тренування глибокої нейронної мережі (ГНМ, англ. deep neural network, DNN), використовуючи отримані ваги ГМП як початкові ваги ГНМ. Потім різні розрізнювальні алгоритми можуть доналаштовувати ці ваги. Це особливо корисно, коли тренувальні дані обмежені, оскільки погано встановлені початкові ваги можуть значно перешкоджати тренуванню. Ці попередньо натреновані ваги потрапляють в область простору ваг, ближчу до оптимальних ваг, ніж випадкові варіанти. Це забезпечує як покращене моделювання, так і швидшу остаточну збіжність.

Рекурентна нейронна мережа

Рекурентні нейронні мережі (РНМ, англ. Recurrent neural networks, RNN) поширюють дані вперед, але також і назад, від пізніших етапів обробки до попередніх. РНМ можливо використовувати як загальні обробники послідовностей.

Повнорекурентна

Цю архітектуру розроблено в 1980-х роках. Її мережа створює орієнтоване з'єднання між кожною парою вузлів. Кожен має змінне в часі дійснозначне (більше ніж просто нуль або одиниця) збудження (вихід). Кожне з'єднання має змінювану дійснозначну вагу. Деякі з вузлів називаються міченими вузлами, деякі — вузлами виходу, решту — прихованими вузлами.

Для керованого навчання в дискретночасовій постановці тренувальні послідовності дійснозначних векторів входу стають послідовностями збудження вузлів входу, по одному вектору входу за раз. На кожному кроці часу кожен невхідний вузол обчислює своє поточне збудження як нелінійну функцію зваженої суми збуджень усіх вузлів, від яких він отримує з'єднання. Система може явно збуджувати (незалежно від сигналів входу) деякі вузли виходу в певні моменти часу. Наприклад, якщо послідовність входу ще мовленнєвий сигнал, що відповідає вимовленій цифрі, кінцевим цільовим виходом у кінці послідовності може бути мітка, яка класифікує цю цифру. Для кожної послідовності її похибка це сума відхилень усіх збуджень, обчислених мережею, від відповідних цільових сигналів. Для тренувального набору численних послідовностей загальна похибка це сума помилок усіх окремих послідовностей.

Щоби мінімізувати загальну похибку, можливо використовувати градієнтний спуск, щоби змінювати кожну вагу пропорційно її похідній відносно похибки, за умови, що нелінійні передавальні функції диференційовні. Стандартний метод називають «зворотним поширенням у часі» або ЗПЧ (англ. backpropagation through time, BPTT), це узагальнення зворотного поширення для мереж прямого поширення. Обчислювально витратніший інтерактивний варіант називають «реальночасовим рекурентним навчанням» або РЧРН (англ. Real-Time Recurrent Learning, RTRL). На відміну від ЗПЧ цей алгоритм локальний у часі, але не локальний у просторі. Існує інтерактивний гібрид ЗПЧ та ЗЧРН із проміжною складністю з варіантами для безперервного часу. Основна проблема з градієнтним спуском для стандартних архітектур РНМ полягає в тому, що градієнти похибок зникають експоненційно швидко з розміром часової затримки між важливими подіями. Ці проблеми долає архітектура довгої короткочасної пам'яті.

У постановці навчання з підкріпленням жоден учитель не надає цільових сигналів. Натомість для оцінювання продуктивності час від часу використовується функція допасованості, або функція винагороди, або функція корисності, яка впливає на потік входу через вузли виходу, з'єднані з приводами, які впливають на середовище. Для оптимізації вагової матриці часто використовують варіанти еволюційного обчислення.

Гопфілда

Мережа Гопфілда (як і подібні мережі на основі атракторів) становить історичний інтерес, хоча вона не є загальною РНМ, оскільки вона не призначена для обробки послідовностей зразків. Натомість їй потрібні стаціонарні входи. Це РНМ, у якій усі з'єднання симетричні. Вона гарантує свою збіжність. Якщо з'єднання треновано з використанням геббового навчання, мережа Гопфілда може працювати як робастна асоціативна пам'ять, стійка до змін з'єднань.

Машина Больцмана

Машину Больцмана можливо розглядати як зашумлену мережу Гопфілда. Це одна з перших нейронних мереж, яка продемонструвала навчання латентних змінних (прихованих вузлів). Навчання машини Больцмана спочатку симулювалося повільно, але алгоритм контрастивного розходження пришвидшує тренування машин Больцмана та добутків експертів.

Самоорганізаційна карта

Самоорганізаційна карта (СОК, англ. self-organizing map, SOM) використовує некероване навчання. Набір нейронів навчається відображувати точки простору входу на координати у просторі виходу. Простір входу може мати відмінні виміри та топологію, ніж простір виходу, і СОК намагається їх зберегти.

Навчане векторне квантування

Навчане векторне квантування (НВК, англ. learning vector quantization, LVQ) можливо інтерпретувати як нейромережну архітектуру. Прототипні представники класів параметризують, разом із відповідною мірою відстані, у схемі класифікації на основі відстані.

Проста рекурентна

Прості рекурентні мережі (англ. simple recurrent networks) мають три шари з додаванням набору «контекстних вузлів» на шарі входу. До цих вузлів надходять з'єднання з прихованого шару або шару виходу з фіксованою одиничною вагою. На кожному часовому кроці вхідні дані поширюються стандартним прямим чином, а потім застосовується подібне до зворотного поширення правило навчання (без виконання градієнтного спуску). Фіксовані зворотні з'єднання залишають копію попередніх значень прихованих вузлів у контекстних вузлах (оскільки вони поширюються з'єднаннями до застосування правила навчання).

Резервуарне обчислення

Резервуарне обчислення (англ. reservoir computing) — це обчислювальна система, яку можливо розглядати як розширення нейронних мереж. Зазвичай сигнал входу подають у фіксовану (випадкову) динамічну систему, звану резервуаром (англ. reservoir), чия динаміка відображає сигнал входу до вищої вимірності. Механізм зчитування (англ. readout) тренують відображувати цей резервуар до бажаного виходу. Тренування здійснюють лише на етапі зчитування. Одним із типів резервуарного обчислення є рідкі скінченні автомати.

Відлуння стану

Мережа з відлунням стану (МВС, англ. echo state network, ESN) використовує розріджено з'єднаний випадковий прихований шар. Єдиною тренованою частиною мережі є ваги нейронів виходу. МВС добре відтворюють певні часові ряди.

Довга короткочасна пам'ять

Довга короткочасна пам'ять (ДКЧП, англ. long short-term memory, LSTM) дозволяє уникати проблеми зникання градієнта. Вона працює навіть із великими затримками між входами та може обробляти сигнали, які змішують низькочастотні та високочастотні складові. РНМ ДКЧП перевершували інші РНМ та інші методи навчання послідовностей, такі як ПММ, у таких застосуваннях як вивчення мови та розпізнавання неперервного рукописного тексту.

Двонапрямна

Двонапрямна РНМ, або ДРНМ (англ. bi-directional RNN, BRNN), використовує скінченну послідовність для передбачування або мічення кожного елемента послідовності на основі як минулого, так і майбутнього контексту цього елемента. Це здійснюють додаванням виходів двох РНМ: одна оброблює послідовність зліва направо, інша — справа наліво. Поєднані виходи це передбачувачі надаваних учителем цільових сигналів. Ця методика виявилася особливо корисною у поєднанні з ДКЧП.

Ієрархічна

Ієрархічна РНМ (англ. hierarchical RNN) поєднує елементи різними способами, щоби розкласти ієрархічну поведінку на корисні підпрограми.

Стохастична

Відмінну форму звичайних нейронних мереж, стохастичну штучну нейронну мережу (англ. stochastic artificial neural network), використовували як наближення випадкових функцій.

Генетичний масштаб

РНМ (часто ДКЧП), де ряд розкладають на кілька масштабів, кожен з яких інформує про основну відстань між двома послідовними точками. Масштаб першого порядку складається з нормальної РНМ, другого порядку складається з усіх точок, розділених двома індексами, і так далі. РНМ N-го порядку з'єднує перший та останній вузол. Результати з усіх різних масштабів розглядають як комітетну машину, а пов'язані оцінки використовують генетично для наступної ітерації.

Модульна

Біологічні дослідження показали, що людський мозок працює як сукупність невеликих мереж. Це усвідомлення породило поняття модульних нейронних мереж, у яких кілька невеликих мереж співпрацюють або змагаються для розв'язання задачі.

Комітет машин

Комітет машин (КМ, англ. committee of machines, CoM) — це набір різних нейронних мереж, які разом «голосують» за певний приклад. Загалом це дає набагато кращий результат, ніж окремі мережі. Оскільки нейронні мережі страждають на локальні мінімуми, починання з тієї самої архітектури та тренування, але з використанням випадково різних початкових ваг, часто дають дуже різні результати.^{[джерело?]} КМ прагне стабілізувати цей результат.

КМ схожий на загальний метод машинного навчання натяжкове агрегування (англ. bagging), за винятком того, що необхідну різноманітність машин у комітеті отримують тренуванням з різними початковими вагами, а не тренуванням на різних випадково вибраних підмножинах тренувальних даних.

Асоціативна

Асоціативна нейронна мережа (АСНМ, англ. associative neural network, ASNN) — це розширення комітету машин, яке поєднує декілька нейронних мереж прямого поширення та методику k-найближчих сусідів. Вона використовує кореляцію між відгуками ансамблю як міру відстані серед проаналізованих випадків для kНС. Це виправляє зміщення ансамблю нейронної мережі. Асоціативна нейронна мережа має пам'ять, яка може збігатися з тренувальним набором. Якщо стають доступними нові дані, мережа миттєво покращує свою передбачувальну здатність і забезпечує наближення даних (самонавчається) без перетреновування. Інша важлива особливість АСНМ це можливість інтерпретування результатів нейронної мережі шляхом аналізу кореляцій між випадками даних у просторі моделей.

Фізична

Фізична нейронна мережа (англ. physical neural network) містить електрично регульований опірний матеріал для імітування штучних синапсів. До прикладів належить нейронна мережа ADALINE на основі мемристорів. Оптична нейронна мережа це фізичне втілення штучної нейронної мережі на оптичних складових.

Динамічна

Динамічні нейронні мережі (англ. dynamic neural networks) розглядають нелінійну багатовимірну поведінку та включають (навчання) залежної від часу поведінки, такої як перехідні явища та ефекти затримки. Методики оцінювання системного процесу на основі спостережуваних даних підпадають під загальну категорію виявляння системи.

Каскадна

Каскадна кореляція (англ. cascade correlation) — це архітектура та алгоритм керованого навчання. Замість простого підлаштовування ваг у мережі з фіксованою топологією каскадна кореляція починається з мінімальної мережі, а потім автоматично тренується й додає нові приховані вузли один за одним, створюючи багатошарову структуру. Щойно новий прихований вузол додано до мережі, його ваги з боку входу заморожуються. Тоді цей вузол стає постійним виявлячем ознак у мережі, доступним для отримування виходів або для створення інших, складніших виявлячів ознак. Архітектура каскадної кореляції має кілька переваг: вона швидко навчається, визначає власний розмір і топологію, зберігає створені структури, навіть якщо тренувальний набір змінюється, і не вимагає зворотного поширення.

Нейронечітка

Нейронечітка мережа (англ. neuro-fuzzy network) — це система нечіткого висновування (СНВ, англ. fuzzy inference system, FIS) в тілі штучної нейронної мережі. Залежно від типу СНВ кілька шарів імітують процеси, залучені у подібних до нечіткого висновування внесенні нечіткості (англ. fuzzification), висновуванні, агрегуванні та відновленні чіткості (англ. defuzzification). Вбудовування СНВ у загальну структуру ШНМ має перевагу використання доступних методів тренування ШНМ для знаходження параметрів нечіткої системи.

Композиційна шаблоностворювальна

Композиційні шаблоностворювальні мережі (КШСМ, англ. compositional pattern-producing networks, CPPN) — це різновид штучних нейронних мереж, які відрізняються своїм набором передавальних функцій та способом їх застосовування. У той час як типові штучні нейронні мережі часто містять лише сигмоїдні функції (й іноді гауссові), КШСМ можуть містити обидва типи функцій та багато інших. Крім того, на відміну від типових штучних нейронних мереж, КШСМ застосовують над усім простором можливих даних входу, щоби вони могли подавати повне зображення. Оскільки вони є композиціями функцій, КШСМ фактично кодують зображення з нескінченною роздільністю, і їх можливо дискретизувати для конкретного дисплея з будь-якою оптимальною роздільністю.

Мережі з пам'яттю

Мережі з пам'яттю (англ. memory networks) включають довготривалу пам’ять. Цю довготривалу пам'ять можливо читати та записувати до неї з метою використання її для передбачування. Ці моделі застосовували в контексті відповідання на питання (англ. question answering, QA), де довготривала пам'ять фактично діє як (динамічна) база знань, а виходом є текстова відповідь.

У розрідженій розподіленій пам’яті та ієрархічній часовій пам'яті образи, закодовані нейронними мережами, використовуються як адреси асоціативної пам'яті, причому «нейрони» по суті слугують кодувальниками та декодувальниками адрес. Проте ранні контролери таких видів пам'яті не були диференційовними.

Асоціативна пам'ять з одного погляду

Цей тип мережі (англ. one-shot associative memory) може додавати нові образи без перетреновування. Це здійснюється шляхом створення спеціальної структури пам'яті, яка призначує кожен новий образ ортогональній площині за допомогою суміжно з'єднаних ієрархічних масивів. Ця мережа пропонує реальночасове розпізнавання образів та високу масштабованість; це вимагає паралельної обробки й тому найкраще підходить для таких платформ, як бездротові сенсорні мережі, мережні обчислення та ГПЗП.

Ієрархічна часова пам'ять

Ієрархічна часова пам'ять (ІЧП, англ. hierarchical temporal memory, HTM) моделює деякі структурні та алгоритмічні властивості нової кори. ІЧП — біоміметична модель, що ґрунтується на теорії пам'яті — передбачування. ІЧП — це метод для виявляння та висновування високорівневих причин спостережуваних вхідних образів та послідовностей, і відтак побудови дедалі складнішої моделі світу.

ІЧП поєднує наявні ідеї щоби імітувати нову кору простою конструкцією, яка пропонує багато можливостей. ІЧП поєднує та розширює підходи, використовувані в баєсових мережах, алгоритмах просторового та часового кластерування, використовуючи при цьому деревоподібну ієрархію вузлів, поширену в нейронних мережах.

Голографічна асоціативна пам'ять

Голографічна асоціативна пам'ять (ГАП, англ. Holographic Associative Memory, HAM) — це аналогова кореляційна асоціативна система «стимул-відгук». Інформація відображається на фазове спрямування комплексних чисел. Ця пам'ять ефективна для завдань асоціативного запам'ятовування, узагальнювання та розпізнавання образів зі змінною увагою. Динамічна локалізація пошуку є центральною для біологічної пам'яті. При зоровому сприйнятті люди зосереджуються на конкретних об'єктах в образі. Люди можуть змінювати зосередження з об'єкта на об'єкт без навчання. ГАП може імітувати цю здатність, створюючи явні подання для зосереджування. Вона використовує бімодальне подання образа та схожий на голограму комплексний сферичний ваговий простір станів. ГАМ корисні для оптичного втілювання, оскільки гіперсферичні обчислення в їхній основі можливо втілювати за допомогою оптичних обчислень.

Пов'язані з ДКЧП диференційовні структури пам'яті

Окрім довгої короткочасної пам'яті (ДКЧП), інші підходи також додали диференційовну пам'ять до рекурентних функцій. Наприклад:

• Диференційовні дії проштовхування та виштовхування для мереж альтернативної пам'яті, звані нейронними стековими машинами (англ. neural stack machines)
• Мережі пам'яті, в яких зовнішнє диференційовне сховище керівної мережі знаходиться у швидких вагах іншої мережі
• Забувальні вентилі ДКЧП
• Автореферентні РНМ з особливими вузлами виходу для адресування та швидкого маніпулювання власними вагами РНМ на диференційовний манір (внутрішнє сховище)
• Навчання перетворення з необмеженою пам'яттю

Нейронні машини Тюрінга

Нейронні машини Тюрінга (НМТ, англ. neural Turing machines) спаровують мережі ДКЧП із зовнішніми ресурсами пам'яті, з якими вони можуть взаємодіяти за допомогою процесів уваги (англ. attentional processes). Ця зв'язана система аналогічна машині Тюрінга, але диференціюється наскрізно, що дозволяє ефективно тренувати її градієнтним спуском. Попередні результати показують, що нейронні машини Тюрінга можуть висновувати з прикладів входу та виходу прості алгоритми, такі як копіювання, впорядковування та асоціативне пригадування.

Диференційовні нейронні комп'ютери (англ. differentiable neural computers, DNC) — це розширення НМТ. На задачах обробки послідовностей вони перевершили нейронні машини Тюрінга, системи довгої короткочасної пам'яті та мережі з пам'яттю.

Семантичне гешування

Підходи, які подають попередній досвід безпосередньо, і використовують схожий досвід для формування локальної моделі, часто називають методами найближчого сусіда або k-найближчих сусідів. В семантичному гешуванні (англ. semantic hashing) корисне глибоке навчання, де з великого набору документів отримують глибоку графову модель векторів кількостей слів. Документи відображуються на комірки пам'яті таким чином, що семантично схожі документи розташовуються за близькими адресами. Потім документи, схожі на документ із запиту, можливо знаходити шляхом простого доступу до всіх адрес, що відрізняються від адреси документа із запиту лише кількома бітами. На відміну від розрідженої розподіленої пам’яті, що оперує 1000-бітними адресами, семантичне гешування працює на 32- або 64-бітних адресах, що зустрічаються в традиційній комп'ютерній архітектурі.

Вказівникові мережі

Глибокі нейронні мережі можливо потенційно поліпшувати поглибленням та скороченням параметрів, за збереження здатності до тренування. В той час як тренування надзвичайно глибоких (наприклад, завглибшки в мільйон шарів) нейронних мереж може бути непрактичним, ЦП-подібні архітектури, такі як вказівникові мережі (англ. pointer networks), та нейронні машини з довільним доступом (англ. neural random-access machines), долають це обмеження завдяки застосуванню зовнішньої пам'яті з довільним доступом та інших складових, що зазвичай належать до комп'ютерної архітектури, таких як регістри, АЛП та вказівники. Такі системи працюють на векторах розподілів імовірностей, що зберігаються в комірках пам'яті та регістрах. Таким чином, ця модель повністю диференційовна, й тренується з краю в край. Ключовою характеристикою цих моделей є те, що їхня глибина, розмір їхньої короткочасної пам'яті та число параметрів можливо змінювати незалежно.

Гібриди

Кодувально—декодувальні мережі

Кодувально-декодувальні системи (англ. encoder–decoder frameworks) ґрунтуються на нейронних мережах, що відображують високоструктурований вхід на високоструктурований вихід. Цей підхід виник у контексті машинного перекладу, де вхід та вихід є писаними реченнями двома природними мовами. В тій праці використовували РНМ або ЗНМ ДКЧП як кодувальник для отримання зведення про вхідне речення, і це зведення декодували умовною РНМ-моделлю мови для продукування перекладу. Для цих систем є спільними будівельні блоки: вентильні (англ. gated) РНМ та ЗНМ, і треновані механізми уваги.

Інші типи

Миттєво треновані

Миттєво треновані нейронні мережі (МТНН, англ. Instantaneously trained neural networks, ITNN) були натхнені явищем короткочасного навчання (англ. short-term learning), яке, здається, відбувається миттєво. У цих мережах ваги прихованого шару та шару виходу відображаються безпосередньо з даних тренувального вектора. Зазвичай вони працюють з двійковими даними, але існують версії й для неперервних даних, які потребують невеликої додаткової обробки.

Спайкові

Спайкові нейронні мережі (СНМ, англ. spiking neural networks, SNN) явно враховують хронометраж вхідних даних. Вхід та вихід цієї мережі зазвичай подано у вигляді рядів спайків (дельта-функції або складнішого вигляду). СНМ може обробляти інформацію в часовій області (сигналів, які змінюються в часі). Їх часто втілюють як рекурентні мережі. СНМ також є одним із видів імпульсних комп'ютерів.

Спайкові нейронні мережі з затримками аксональної провідності демонструють поліхронізацію, і відтак можуть мати дуже велику ємність пам'яті.

СНМ та часові кореляції нейронних збірок у таких мережах використовували для моделювання поділу фігур/тла та з'єднування областей у зоровій системі.

Просторові

Просторові нейронні мережі (ПНМ, англ. spatial neural networks, SNN) становлять надкатегорію спеціалізованих нейронних мереж (НМ) для подавання та передбачування географічних явищ. Вони загалом покращують як статистичну точність, так і надійність а-просторових/класичних НМ, коли обробляють геопросторові набори даних, а також інших просторових (статистичних) моделей (наприклад, просторових регресійних моделей), коли змінні цих геопросторових наборів даних описують нелінійні зв'язки. Прикладами ПНМ є поросторові нейронні мережі OSFA, SVANN та GWNN.

Неокогнітрон

Неокогнітрон (англ. neocognitron) — це ієрархічна багатошарова мережа, змодельована на основі зорової кори. Він використовує кілька типів вузлів (первинно два, звані простими, англ. simple, та складними, англ. complex, клітинами) як каскадну модель для використання в задачах розпізнавання образів. Локальні ознаки виділяють S-клітини, деформацію яких допускають C-клітини. Локальні ознаки у вході поступово інтегруються та класифікуються на вищих шарах. Серед різних видів неокогнітронів є системи, які можуть виявляти декілька образів в одному вході за допомогою зворотного поширення для досягнення вибіркової уваги. Його використовували для завдань розпізнавання образів, він надихнув згорткові нейронні мережі.

Змішані ієрархічно—глибокі моделі

Змішані ієрархічно-глибокі моделі (англ. compound hierarchical-deep models) компонують глибокі мережі з непараметричними баєсовими моделями. Ознак можливо навчатися із застосуванням таких глибоких архітектур як ГМП, глибокі машини Больцмана (ГМБ), глибокі автокодувальники, згорткові варіанти, ппОМБ, глибокі кодувальні мережі, ГМП з розрідженим навчанням ознак, РНМ, умовні ГМП, знешумлювальні автокодувальники. Це забезпечує краще подання, швидше навчання та точніше класифікування з даними високої вимірності. Проте ці архітектури слабкі в навчанні нововведених класів на кількох прикладах, оскільки всі вузли мережі залучено до подання входу (розподілене подання) і мусить бути підлаштовувано разом (високий ступінь свободи). Обмеження ступеню свободи знижує кількість параметрів для навчання, допомагаючи навчанню нових класів з кількох прикладів. Ієрархічні баєсові (ІБ) моделі дозволяють навчатися з кількох прикладів, наприклад для комп'ютерного бачення, статистики та когнітивної науки.

Змішані ІГ-архітектури мають на меті поєднання характеристик як ІБ, так і глибоких мереж. Змішана архітектура ІПД-ГМБ це ієрархічний процес Діріхле (ІПД, англ. hierarchical Dirichlet process, HDP) як ієрархічна модель, що включає архітектуру ГМБ. Це повна породжувальна модель, узагальнювана з абстрактних понять, що течуть крізь шари цієї моделі, здатна синтезувати нові приклади нововведених класів, що виглядають «досить» природно. Всіх рівнів навчаються спільно, зведенням до максимуму функції внеску спільної логарифмічної ймовірності.

У ГМБ з трьома прихованими шарами ймовірність видимого входу ''ν'' становить

$p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right),$

де ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ — набір прихованих вузлів, а $\psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$ — параметри моделі, що подають умови симетричної взаємодії видимі—приховані та приховані—приховані.

Навчена модель ГМБ це неорієнтована модель, яка визначає спільний розподіл $P(\nu ,h^{1},h^{2},h^{3})$. Одним зі способів вираження навченого є умовна модель $P(\nu ,h^{1},h^{2}\mid h^{3})$ та апріорний член $P(h^{3})$.

Тут $P(\nu ,h^{1},h^{2}\mid h^{3})$ подає умовну модель ГМБ, яку можливо розглядати як двошарову ГМБ, але з членами зміщення, заданими станами $h^{3}$:

$P(\nu ,h^{1},h^{2}\mid h^{3})={\frac {1}{Z(\psi ,h^{3})}}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right).$

Глибокі передбачувальні кодувальні мережі

Глибока передбачувальна кодувальна мережа (ГПКМ, англ. deep predictive coding network, DPCN) — це передбачувальна схема кодування, що використовує спадну (англ. top-down) інформацію для емпіричного підлаштовування апріорних, необхідних для процедури висхідного (англ. bottom-up) висновування, засобами глибокої локально з'єднаної породжувальної моделі. Це працює шляхом виділяння розріджених ознак зі спостережень, що змінюються в часі, із застосуванням лінійної динамічної моделі. Потім для навчання інваріантних подань ознак застосовується стратегія агрегування (англ. pooling). Ці блоки компонуються, щоби сформувати глибоку архітектуру, і тренуються жадібним пошаровим некерованим навчанням. Шари утворюють щось на зразок марковського ланцюга, такого, що стани на будь-якому шарі залежать лише від наступного та попереднього шарів.

ГПКМ передбачують подання шару, використовуючи спадний підхід із застосуванням інформації з вищого шару та часових залежностей від попередніх станів.

ГПКМ можливо розширювати таким чином, щоби утворювати згорткову мережу.

Багатошарова ядрова машина

Багатошарові ядрові машини (БЯМ, англ. Multilayer Kernel Machine, MKM) — це спосіб навчання високонелінійних функцій за допомогою ітеративного застосування слабко нелінійних ядер. Вони використовують ядровий метод головних компонент (ЯМГК, англ. kernel principal component analysis, KPCA) як метод для жадібного пошарового передтренувального кроку глибокого некерованого навчання.

$\ell +1$-й шар навчається подання попереднього шару $\ell$, виділяючи $n_{l}$ головних компонент (ГК, англ. principal component, PC) виходу проєкційного шару $l$ в області ознак, що виводить ядро. Щоби знижувати розмірність уточненого подання на кожному шарі, керована стратегія обирає найінформативніші серед ознак, виділених ЯМГК. Процес такий:

• вишикувати $n_{\ell }$ ознак відповідно до їхньої взаємної інформації з мітками класів;
• для різних значень K та $m_{\ell }\in \{1,\ldots ,n_{\ell }\}$ обчислити рівень похибки класифікації методом k-найближчих сусідів (k-НС, англ. K-nearest neighbor, K-NN), використовуючи лише $m_{l}$ найінформативніших ознак на затверджувальному наборі;
• значення $m_{\ell }$ з яким класифікатор досяг найнижчого рівня похибки, визначає число ознак, які потрібно зберегти.

Метод ЯМГК як будівельні блоки для БЯМ супроводжують деякі недоліки.

Для розуміння усного мовлення розробили простіший спосіб застосування ядрових машин для глибокого навчання. Головна ідея полягає у використанні ядрової машини для наближення неглибокої нейронної мережі з нескінченним числом прихованих вузлів, і подальшому застосуванні глибокої складальної мережі для зрощування виходу цієї ядрової машини та сирого входу при побудові наступного, вищого рівня ядрової машини. Число рівнів у цій глибокій опуклій мережі є гіперпараметром системи в цілому, який повинен визначатися перехресним затверджуванням.

Див. також

• Автоасоціативна пам'ять
• Автокодувальник
• Адаптивне табулювання на місці
• Багатошаровий перцептрон
• Біологічно натхнені обчислення
• Blue Brain
• Генетичний алгоритм
• Графова нейронна мережа
• Дерева рішень
• Експертна система
• Імітація відпалу
• Конективістська експертна система
• Лінійний розділювальний аналіз
• Логістична регресія
• Метод головних компонент
• Метод рою часток
• Нейроеволюція, нейроеволюція доповнюваних топологій (англ. NEAT)
• Нейронна мережа з часовою затримкою
• Нейронний газ
• Нейронні мережі зберігання та вибірки великої пам'яті
• Ni1000 (мікропроцесор)
• Оптична нейронна мережа
• Передбачувальна аналітика
• Систолічний масив
• Теорія адаптивного резонансу
• Штучне життя

Література

• Fukushima, Kunihiko (1987). A hierarchical neural network model for selective attention. У Eckmiller, R.; Von der Malsburg, C. (ред.). Neural computers (англ.). Springer-Verlag. с. 81—90.
• Fukushima, Kunihiko (2007). Neocognitron. Scholarpedia (англ.). 2 (1): 1717. Bibcode:2007SchpJ...2.1717F. doi:10.4249/scholarpedia.1717.