Багатошаровий перцептрон

Архітектура багатошарового перцептрона

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Багатошаровий перцептрон Румельхарта — окремий випадок перцептрона Розенблатта, в якому один алгоритм зворотного поширення помилки навчає всі шари. На жаль, назва з історичних причин не відображає особливості даного виду перцептрона, тобто не пов'язана з тим, що в ньому кілька шарів (тому що кілька шарів було і у перцептрона Розенблатта). Особливістю є наявність більш ніж одного учня шару (як правило — два чи три, для застосування більшої кількості наразі немає обґрунтування — втрачається швидкість без придбання якості). Необхідність у великій кількості шарів-учнів відпадає, оскільки теоретично єдиного прихованого шару достатньо, щоб перекодувати вхідний сигнал таким чином, щоб отримати лінійну карту для вихідного сигналу. Але є припущення, що, використовуючи більше число шарів, можна зменшити число елементів у них, тобто сумарне число елементів у шарах буде менше, ніж при використанні одного прихованого шару.

Відмінності багатошарового перцептрона від перцептрону Розенблатта

• Використання нелінійної функції активації, як правило сигмоїдної.
• Число шарів, які навчають, більше одного. Найчастіше використовується не більше трьох.
• Сигнали, що надходять на вхід, та одержувані з виходу не бінарні, а можуть кодуватися десятковими числами, які потрібно нормалізувати, так щоб значення були на відрізку була від 0 до 1 (нормалізація необхідна як мінімум для вихідних даних, згідно з функцією активації — сигмоїдою).
• Допускається довільна архітектура зв'язків (у тому числі, і повнозв'язані мережі).
• Помилка мережі обчислюється не як число неправильних образів після ітерації навчання, а як деяка статистична міра нев'язаності між потрібним і одержаним значенням.
• Навчання проводиться не до відсутності помилок після навчання, а до стабілізації вагових коефіцієнтів при навчанні або переривається раніше, щоб уникнути перенавчання.

Багатошаровий перцептрон буде володіти функціональними перевагами в порівнянні з перцептроном Розенблатта лише в тому випадку, якщо у відповідь на стимули буде виконана не просто якась реакція (оскільки вже в перцептроні може бути отримана реакція кожного типу), а виразиться у підвищенні ефективності вироблення таких реакцій. Наприклад, покращиться здатність до узагальнення, тобто до правильних реакцій на стимули, яким перцептрон не навчався. Але зараз таких узагальнюючих теорем немає, існує лише маса досліджень різних стандартизованих тестів, на яких порівнюються різні архітектури.

Див. також

• Перцептрон
• Багатошаровий перцептрон Розенблатта
• Метод зворотного поширення помилки

Література

• Ф. Уоссермен Нейрокомпьютерная техника: Теория и практика. — М.: «Мир», 1992.
• Саймон Хайкин Нейронные сети: полный курс = Neural Networks: A Comprehensive Foundation. — 2-е изд. — М.: «Вильямс», 2006. — С.

1104. — ISBN 0-13-273350-1

Посилання

• Миркес Е. М., Нейроинформатика. Учебное пособие с программами для выполнения лабораторных работ. 2003. ISBN 5-7636-0477-6. Містить лекції і програмне забезпечення, в тому числі і для моделювання багатошарових перцептронів.
• Сайт Віктора Царегородцева, які містить наукові статті по застосуванню багатошарового перцептрону [Архівовано 11 січня 2010 у Wayback Machine.]