Компроміс зсуву та дисперсії

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Семантичний аналіз Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик Навчання онтологій Мультимодальне навчання
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе
Навчання з людьми Активне навчання (машинне навчання) Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Еластично-сіткова Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання

Функція та зашумлені дані.

розмах=5

розмах=1

розмах=0.1

Функцію (червону) наближують із застосуванням радіальних базисних функцій (синіх). На кожному графіку показано кілька спроб. Для кожної зі спроб як навчальний набір надається кілька із зашумлених точок даних (нагорі). Для широкого розмаху (мал. 2) зсув є сильним: РБФ не можуть повністю наближувати функцію (особливо у центральному заглибленні), але дисперсія між різними наближеннями є низькою. Зі зниженням розмаху (мал. 3 та 4) зсув зменшується: сині криві наближують червону щільніше. Проте, в залежності від шуму в різних спробах дисперсія між спробами зростає. У найнижчому зображенні наближені значення для x=0 різняться дико в залежності від того, де були розташовані точки даних.

У статистиці та машинному навчанні, компромі́с (або диле́ма) зсу́ву та диспе́рсії (англ. bias–variance tradeoff or dilemma) — це задача одночасної мінімізації двох джерел похибки, які перешкоджають алгоритмам керованого навчання робити узагальнення на основі їхніх тренувальних наборів:

• Зсув (англ. bias) — це похибка, викликана помилковими припущеннями в алгоритмі навчання. Великий зсув може спричиняти нездатність алгоритму знаходити доречні взаємозв'язки між ознаками та цільовими виходами (недонавчання).
• Дисперсія (англ. variance) — це похибка від чутливості до малих флуктуацій в тренувальному наборі. Висока дисперсія може спричиняти перенавчання: моделювання випадкового шуму в тренувальних даних замість моделювання бажаних виходів.

Ро́зклад на зсув та диспе́рсію (англ. bias–variance decomposition) — це спосіб аналізувати очікувану похибку узагальнення алгоритму навчання по відношенню до тієї чи іншої задачі як суму трьох членів: зсуву, дисперсії, та величини, що називається незнижуваною похибкою (англ. irreducible error), яка виникає внаслідок шуму в самій задачі.

Цей компроміс застосовується до всіх видів керованого навчання: класифікації, регресії (узгодження функцій) та навчання структурованого виходу. Його також залучали для пояснення дієвості евристик у людському навчанні.

Задача

Компроміс зсуву та дисперсії є центральною задачею в керованому навчанні. В ідеалі потрібно обирати модель, яка і закономірності в своїх тренувальних даних схоплює добре, але й добре узагальнює їх для ще не бачених даних. На жаль, зазвичай неможливо робити те і друге одночасно. Методи навчання з високою дисперсією можуть бути здатними добре представляти свої тренувальні набори, але перебувають під загрозою перенавчання зашумлених або нехарактерних тренувальних даних. На противагу їм, алгоритми з великим зсувом зазвичай видають простіші моделі, не схильні до перенавчання, але можуть недопідлаштовуватися до своїх тренувальних даних, виявляючись нездатними схопити важливі закономірності.

Моделі з малим зсувом зазвичай є складнішими (наприклад, регресійними многочленами високого порядку), що дозволяє їм представляти тренувальний набір точніше. Проте в процесі вони можуть також представляти й велику складову шуму, присутню в тренувальному наборі, роблячи свої передбачення менш точними — незважаючи на свою додану складність. З іншого боку, моделі з великим зсувом схильні бути відносно простими (регресійними многочленами низького порядку, або навіть лінійними), але можуть видавати передбачення з нижчою дисперсією при застосуванні поза межами тренувального набору.

Розклад квадратичної помилки на зсув та дисперсію

Припустімо, що в нас є тренувальний набір, який складається з набору точок $x_{1},\dots ,x_{n}$ та дійсних значень $y_{i}$, пов'язаних з кожною із точок $x_{i}$. Ми виходимо з того, що існує функційний, але зашумлений взаємозв'язок $y=f(x)+\varepsilon$, в якому шум $\varepsilon$ має нульове середнє значення та дисперсію $\sigma ^{2}$.

Нам треба знайти функцію ${\hat {f}}(x;D)$, що якомога краще наближує справжню функцію $f(x)$ засобами якогось алгоритму навчання на навчальній вибірці $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$. Ми робимо «якомога краще» точним поняттям, вимірюючи середньоквадратичну похибку $y$ відносно ${\hat {f}}(x;D)$: ми хочемо, щоби $(y-{\hat {f}}(x;D))^{2}$ було мінімальним, як для $x_{1},\dots ,x_{n}$, так і для точок за межами нашої вибірки. Звісно, ми не можемо сподіватися зробити це досконало, оскільки $y_{i}$ містять шум $\varepsilon$; це означає, що ми мусимо бути готові допустити незнижувану похибку в будь-якій функції, яку б ми не придумали.

Пошук ${\hat {f}}$, яка узагальнюється на точки за межами тренувального набору, може бути здійснено за допомогою будь-якого із багатьох алгоритмів, що застосовуються для керованого навчання. Виявляється, що яку би функцію ${\hat {f}}$ ми не обрали, ми можемо розкласти математичне сподівання її похибки на небаченому зразкові $x$ наступним чином:^:34:223

$\operatorname {E} _{D,\varepsilon }{\Big [}{\big (}y-{\hat {f}}(x;D){\big )}^{2}{\Big ]}={\Big (}\operatorname {Bias} _{D}{\big [}{\hat {f}}(x;D){\big ]}{\Big )}^{2}+\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}+\sigma ^{2}.$

Де

$\operatorname {Bias} _{D}{\big [}{\hat {f}}(x;D){\big ]}=\operatorname {E} _{D}{\big [}{\hat {f}}(x;D){\big ]}-f(x),$

а

$\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}=\operatorname {E} _{D}[{\big (}\operatorname {E} _{D}[{\hat {f}}(x;D)]-{\hat {f}}(x;D){\big )}^{2}].$

Математичне сподівання пробігає різні варіанти вибору тренувального набору $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$, всі вибрані з одного й того ж (умовного) розподілу $P(x,y)$. Ці три члени представляють:

• квадрат зсуву методу навчання, що можна розглядати як похибку, спричинену спрощувальними припущеннями, вбудованих до цього методу. Наприклад, при наближуванні нелінійної функції $f(x)$ із застосуванням методу навчання для лінійних моделей в оцінках ${\hat {f}}(x)$ буде присутня похибка внаслідок припущення лінійності;
• дисперсію методу навчання, або, інтуїтивно, наскільки сильно метод навчання ${\hat {f}}(x)$ рухатиметься навколо свого середнього значення;
• незнижувану похибку $\sigma ^{2}$. Оскільки всі три члени є невід'ємними, вона формує обмеження знизу для математичного сподівання похибки на небачених зразках.^:34

Що складнішою є модель ${\hat {f}}(x)$, то більше точок даних вона схоплюватиме, і то меншим буде зсув. Проте, складність робитиме так, що модель більше «рухатиметься», щоби захопити точки даних, і відтак її дисперсія буде вищою.

Виведення

Виведення розкладу на зсув та дисперсію для квадратичних помилок відбувається наступним чином. Для зручності позначення введімо скорочення $f=f(x)$ та ${\hat {f}}={\hat {f}}(x;D)$ та опустимо індекс $D$. По-перше, зауважте, що для будь-якої випадкової змінної $X$ ми маємо

$\operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}.$

Перегрупувавши, отримуємо

$\operatorname {E} [X^{2}]=\operatorname {Var} [X]+\operatorname {E} [X]^{2}.$

Оскільки $f$ є детермінованою,

$\operatorname {E} [f]=f.$

З цього, за умови $y=f+\varepsilon$ та $\operatorname {E} [\varepsilon ]=0$ (оскільки $\varepsilon$ — це шум), випливає, що $\operatorname {E} [y]=\operatorname {E} [f+\varepsilon ]=\operatorname {E} [f]=f.$

Також, оскільки $\operatorname {Var} [\varepsilon ]=\sigma ^{2},$

$\operatorname {Var} [y]=\operatorname {E} [(y-\operatorname {E} [y])^{2}]=\operatorname {E} [(y-f)^{2}]=\operatorname {E} [(f+\varepsilon -f)^{2}]=\operatorname {E} [\varepsilon ^{2}]=\operatorname {Var} [\varepsilon ]+\operatorname {E} [\varepsilon ]^{2}=\sigma ^{2}+0^{2}=\sigma ^{2}.$

Отже, оскільки $\varepsilon$ та ${\hat {f}}$ є незалежними, ми можемо записати, що

${\begin{aligned}\operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}})^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}}+\operatorname {E} [{\hat {f}}]-\operatorname {E} [{\hat {f}}])^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])^{2}{\big ]}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])\varepsilon {\big ]}+2\operatorname {E} {\big [}\varepsilon (\operatorname {E} [{\hat {f}}]-{\hat {f}}){\big ]}+2\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})(f-\operatorname {E} [{\hat {f}}]){\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2(f-\operatorname {E} [{\hat {f}}])\operatorname {E} [\varepsilon ]+2\operatorname {E} [\varepsilon ]\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}+2\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}(f-\operatorname {E} [{\hat {f}}])\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {Var} [\varepsilon ]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\operatorname {Var} [\varepsilon ]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}.\end{aligned}}$

Остаточно, функція втрат середньо-квадратичної похибки MSE (або від'ємна лог-функція правдомодібності) отримується шляхом взяття математичного сподівання $x\sim P$:

${\text{MSE}}=\operatorname {E} _{x}{\bigg \{}\operatorname {Bias} _{D}[{\hat {f}}(x;D)]^{2}+\operatorname {Var} _{D}{\big [}{\hat {f}}(x;D){\big ]}{\bigg \}}+\sigma ^{2}.$

Застосування до класифікації

Розклад на зсув та дисперсію спершу було сформульованого для регресії методом найменших квадратів. Можливо знайти подібний розклад і для випадку класифікації за втрат 0-1 (коефіцієнт помилок класифікації). Як альтернатива, якщо задачу класифікації може бути перефразовано як імовірнісну класифікацію, то математичне сподівання квадрату похибки передбачуваних імовірностей по відношенню до справжніх імовірностей може бути розкладено, як і раніше.

Підходи

Зниження розмірності та обирання ознак можуть знижувати дисперсію шляхом спрощення моделей. Аналогічно, зниженню дисперсії сприяє більший тренувальний набір. Додавання ознак (провісників) сприяє зниженню зсуву, ціною введення додаткової дисперсії. Алгоритми навчання зазвичай мають деякі налагоджувані параметри, які контролюють зсув та дисперсію, наприклад:

• (Узагальнені) лінійні моделі може бути регуляризовано, щоби знизити їхню дисперсію ціною збільшення їхнього зсуву.
• У штучних нейронних мережах дисперсія збільшується, а зсув зменшується з числом прихованих вузлів. Як і в УЛМ, зазвичай застосовується регуляризація.
• В моделях k-найближчих сусідів велике значення k призводить до великого зсуву та низької дисперсії (див. нижче).
• У навчанні з прикладів регуляризація може досягатися варіюванням суміші прототипів та екземплярів.
• У деревах рішень глибина дерева визначає дисперсію. Зазвичай, для контролю дисперсії дерева рішень підрізують.^:307

Одним зі шляхів розв'язання цієї дилеми є застосування сумішевих моделей та ансамблевого навчання. Наприклад, підсилювання багато «слабких» моделей (із великим зсувом) поєднує в ансамбль, який має менший зсув, ніж окремі моделі, тоді як натяжкове агрегування поєднує «сильні» системи навчання таким чином, що знижує їхню дисперсію.

k-найближчі сусіди

У випадку регресії k-найближчих сусідів існує вираз замкненого вигляду, який ставить у відповідність розклад на зсув та дисперсію до параметру k:^{:37, 223}

$\mathrm {E} [(y-{\hat {f}}(x))^{2}]=\left(f(x)-{\frac {1}{k}}\sum _{i=1}^{k}f(N_{i}(x))\right)^{2}+{\frac {\sigma ^{2}}{k}}+\sigma ^{2}$

де $N_{1}(x),\dots ,N_{k}(x)$ є k найближчими сусідами x у тренувальному наборі. Зсув (перший член) є монотонно зростаючою функцією від k, тоді як дисперсія (другий член) при збільшенні k спадає. Справді, за «розсудливих припущень» зсув оцінки першого-найближчого сусіда (1-НС, англ. 1-NN) зникає повністю, оскільки розмір тренувальної вибірки наближується до нескінченності.

Застосування до людського навчання

В той час як дилему зсуву та дисперсії широко обговорювали в контексті машинного навчання, її розглядали і в контексті людського пізнання, перш за все Ґерд Ґіґеренцер зі співробітниками в контексті навчених евристик. Вони переконували (див. посилання нижче), що людський мозок розв'язує цю дилему в випадку зазвичай розріджених, погано виражених тренувальних наборів, забезпечених досвідом, шляхом обрання евристики сильного зсуву/низької дисперсії. Це віддзеркалює той факт, що підхід нульового зсуву має погану узагальнюваність на нові ситуації, а також нерозсудливо припускає точне знання справжнього стану світу. Отримувані в результаті евристики є відносно простими, але дають кращі висновки в ширшому розмаїтті ситуацій.

Жемо та ін. переконують, що дилема зсуву та дисперсії означає, що таких здібностей, як узагальнене розпізнавання об'єктів, не може бути навчено з нуля, що вони вимагають певної міри «жорсткої розводки», яка потім налаштовується досвідом. Причиною цього є те, що безмодельні підходи до отримання висновків для уникнення високої дисперсії вимагають непрактично великих тренувальних наборів.

Див. також

• Обирання моделі
• Точність та прецизійність
• Зсув оцінки
• Кероване навчання
• Мінімально-дисперсійна незсунута оцінка
• Оптимізація гіперпараметрів
• Перевірка регресійних моделей
• Теорема Гаусса — Маркова

Посилання

• Fortmann-Roe, Scott (June 2012). Understanding the Bias-Variance Tradeoff. Архів оригіналу за 29 Жовтня 2016. Процитовано 6 Листопада 2016. (англ.)