Машина екстремального навчання

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Маши́ни екстрема́льного навча́ння (МЕН, англ. extreme learning machines, ELM) — це нейронні мережі прямого поширення для класифікування або регресії з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» (англ. extreme learning machine, ELM) цим моделям дав Гуан-Бін Хуан (англ. Guang-Bin Huang).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням зворотного поширення.

Алгоритм

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

$\mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)$

де W₁ є матрицею ваг від входового до прихованого шару, σ є деякою передавальною функцією, а W₂ є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

1. Заповнити W₁ випадковим гауссовим шумом;
2. оцінити W₂ допасовуванням найменшими квадратами до матриці змінних відгуку Y, обчисленої застосуванням псевдообернення ⋅⁺ для заданої матриці плану X:

   $\mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y}$

Надійність

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу. Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень, які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення машинного навчання в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

Полеміка

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з мереж РБФ кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з багатошаровими перцептронами з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей. У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж, включно з ієрархічно структурованими МЕН. Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.

Див. також

• Рідкий скінченний автомат