Глибока мережа переконань

Схематичний огляд глибокої мережі переконань. Стрілки подають спрямовані з'єднання в графовій моделі, яку подає ця мережа.

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

У машинному навчанні глибо́ка мере́жа перекона́нь (ГМП, англ. deep belief network, DBN, також іноді глиби́нна мере́жа перекона́нь) — це породжувальна графова модель або, інакше, клас глибоких нейронних мереж, що складено з кількох шарів латентних змінних («прихованих вузлів»), зі з'єднаннями між шарами, але не між вузлами всередині кожного шару.

При тренуванні на наборі прикладів без керування ГМП може навчатися ймовірнісно відбудовувати свої входи. Шари тоді діють як виявлячі ознак. Після цього етапу навчання ГМП можливо тренувати далі з керуванням для виконання класифікування.

ГМП можливо розглядати як композицію простих некерованих мереж, таких як обмежені машини Больцмана (ОМБ) або автокодувальники, в якій прихований шар кожної підмережі слугує видимим шаром для наступної. ОМБ — це неорієнтована породжувальна модель на основі енергії з «видимим» шаром входу та прихованим шаром і зв'язками між шарами, але не всередині них. Така композиція веде до швидкої пошарової процедури некерованого тренування, де контрастове розходження застосовують по черзі до кожної підмережі, починаючи з «найнижчої» пари шарів (найнижчий видимий шар — це тренувальний набір).

Спостереження щодо того, що ГМП можливо тренувати жадібно, по одному шару за раз, привело до створення одного з перших дієвих алгоритмів глибокого навчання.^:6 Загалом існує багато привабливих втілень та використань ГМП у реальних застосуваннях та сценаріях (наприклад, електроенцефалографії, пошуку нових ліків).

Тренування

Обмежена машина Больцмана (ОМБ) з повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднань прихований-прихований та видимий-видимий немає.

Метод тренування ОМБ, запропонований Джефрі Гінтоном для використання в тренуванні моделей «добуток експертів», називають контрастовим розходженням (КР, англ. contrastive divergence, CD). КР забезпечує наближення методу максимальної правдоподібності, застосовувати який для навчання ваг було би ідеально. Під час тренування однієї ОМБ уточнювання ваг виконують градієнтним спуском за таким рівнянням: $w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}$

де $p(v)$ — ймовірність видимого вектора, задана як $p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}$. $Z$ це статистична сума (яку використовують для нормування), а $E(v,h)$ — функція енергії, приписаної станові мережі. Нижча енергія вказує на те, що мережа має «бажанішу» конфігурацію. Градієнт ${\frac {\partial \log(p(v))}{\partial w_{ij}}}$ має простий вигляд $\langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}$, де $\langle \cdots \rangle _{p}$ подають усереднення відносно розподілу $p$. Проблема виникає у вибиранні $\langle v_{i}h_{j}\rangle _{\text{model}}$, оскільки воно вимагає розширеного навперемінного ґіббзового вибирання. КР замінює цей крок виконанням альтернативного ґіббзового вибирання для $n$ кроків (значення $n=1$ працюють добре). Після $n$ кроків дані вибирають, і цю вибірку використовують замість $\langle v_{i}h_{j}\rangle _{\text{model}}$. Процедура КР працює наступним чином:

1. Встановити видимі вузли у значення тренувального вектора.
2. Уточнити приховані вузли паралельним чином, враховуючи видимі вузли: $p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})$. $\sigma$ — сигмоїдна функція, а $b_{j}$ — зміщення $h_{j}$.
3. Уточнити видимі вузли паралельним чином, враховуючи приховані вузли: $p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})$. $a_{i}$ — зміщення $v_{i}$. Це називають етапом «відбудовування».
4. Переуточнити приховані вузли паралельним чином, враховуючи відбудовані видимі вузли, використовуючи те саме рівняння, що й у кроці 2.
5. Виконати уточнення ваг: $\Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}$.

Щойно ОМБ натреновано, поверх неї «накладають» іншу ОМБ, беручи її вхід з останнього натренованого рівня. Новий видимий шар встановлюють у значення тренувального вектора, а значення для вузлів у вже навчених шарах встановлюють з використанням поточних ваг і зміщень. Потім нову ОМБ тренують за описаною вище процедурою. Весь цей процес повторюють, доки не буде досягнуто бажаного критерію зупинки.

Хоч наближення КР до максимальної правдоподібності й грубе (не слідує градієнтові жодної функції), воно емпірично ефективне.

Див. також

• Складена обмежена машина Больцмана
• Баєсова мережа
• Глибоке навчання
• Згорткова глибока мережа переконань
• Модель на основі енергії

Посилання

• Deep Belief Networks. Deep Learning Tutorials (англ.).
• Deep Belief Network Example. Deeplearning4j Tutorials (англ.). Архів оригіналу за 3 жовтня 2016. Процитовано 22 лютого 2015.