Компроміс зсуву та дисперсії

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
Функція та зашумлені дані.
розмах=5
розмах=1
розмах=0.1
Функцію (червону) наближують із застосуванням радіальних базисних функцій (синіх). На кожному графіку показано кілька спроб. Для кожної зі спроб як навчальний набір надається кілька із зашумлених точок даних (нагорі). Для широкого розмаху (мал. 2) зсув є сильним: РБФ не можуть повністю наближувати функцію (особливо у центральному заглибленні), але дисперсія між різними наближеннями є низькою. Зі зниженням розмаху (мал. 3 та 4) зсув зменшується: сині криві наближують червону щільніше. Проте, в залежності від шуму в різних спробах дисперсія між спробами зростає. У найнижчому зображенні наближені значення для x=0 різняться дико в залежності від того, де були розташовані точки даних.

У статистиці та машинному навчанні, компромі́с (або диле́ма) зсу́ву та диспе́рсії (англ. bias–variance tradeoff or dilemma) — це задача одночасної мінімізації двох джерел похибки, які перешкоджають алгоритмам керованого навчання робити узагальнення на основі їхніх тренувальних наборів:

  • Зсув (англ. bias) — це похибка, викликана помилковими припущеннями в алгоритмі навчання. Великий зсув може спричиняти нездатність алгоритму знаходити доречні взаємозв'язки між ознаками та цільовими виходами (недонавчання).
  • Дисперсія (англ. variance) — це похибка від чутливості до малих флуктуацій в тренувальному наборі. Висока дисперсія може спричиняти перенавчання: моделювання випадкового шуму[en] в тренувальних даних замість моделювання бажаних виходів.

Ро́зклад на зсув та диспе́рсію (англ. bias–variance decomposition) — це спосіб аналізувати очікувану похибку узагальнення алгоритму навчання по відношенню до тієї чи іншої задачі як суму трьох членів: зсуву, дисперсії, та величини, що називається незнижуваною похибкою (англ. irreducible error), яка виникає внаслідок шуму в самій задачі.

Цей компроміс застосовується до всіх видів керованого навчання: класифікації, регресії (узгодження функцій)[1][2] та навчання структурованого виходу. Його також залучали для пояснення дієвості евристик у людському навчанні.

Задача[ред. | ред. код]

Компроміс зсуву та дисперсії є центральною задачею в керованому навчанні. В ідеалі потрібно обирати модель, яка і закономірності в своїх тренувальних даних схоплює добре, але й добре узагальнює їх для ще не бачених даних. На жаль, зазвичай неможливо робити те і друге одночасно. Методи навчання з високою дисперсією можуть бути здатними добре представляти свої тренувальні набори, але перебувають під загрозою перенавчання зашумлених або нехарактерних тренувальних даних. На противагу їм, алгоритми з великим зсувом зазвичай видають простіші моделі, не схильні до перенавчання, але можуть недопідлаштовуватися до своїх тренувальних даних, виявляючись нездатними схопити важливі закономірності.

Моделі з малим зсувом зазвичай є складнішими (наприклад, регресійними многочленами високого порядку), що дозволяє їм представляти тренувальний набір точніше. Проте в процесі вони можуть також представляти й велику складову шуму[en], присутню в тренувальному наборі, роблячи свої передбачення менш точними — незважаючи на свою додану складність. З іншого боку, моделі з великим зсувом схильні бути відносно простими (регресійними многочленами низького порядку, або навіть лінійними), але можуть видавати передбачення з нижчою дисперсією при застосуванні поза межами тренувального набору.

Розклад квадратичної помилки на зсув та дисперсію[ред. | ред. код]

Припустімо, що в нас є тренувальний набір, який складається з набору точок та дійсних значень , пов'язаних з кожною із точок . Ми виходимо з того, що існує функційний, але зашумлений взаємозв'язок , в якому шум має нульове середнє значення та дисперсію .

Нам треба знайти функцію , що якомога краще наближує справжню функцію засобами якогось алгоритму навчання. Ми робимо «якомога краще» точним поняттям, вимірюючи середньоквадратичну похибку[en] відносно : ми хочемо, щоби було мінімальним, як для , так і для точок за межами нашої вибірки. Звісно, ми не можемо сподіватися зробити це досконало, оскільки містять шум ; це означає, що ми мусимо бути готові визнати незнижувану похибку в будь-якій функції, яку б ми не придумали.

Пошук , яка узагальнюється на точки за межами тренувального набору, може бути здійснено за допомогою будь-якого із безлічі алгоритмів, що застосовуються для керованого навчання. Виявляється, що яку би функцію ми не обрали, ми можемо розкласти математичне сподівання її похибки на небаченому зразкові наступним чином:[3]:34[4]:223

Де

а

Математичне сподівання пробігає різні варіанти вибору тренувального набору , всі вибрані з одного й того ж (умовного) розподілу. Ці три члени представляють:

  • квадрат зсуву методу навчання, що можна розглядати як похибку, спричинену спрощувальними припущеннями, вбудованих до цього методу. Наприклад, при наближуванні нелінійної функції із застосуванням методу навчання для лінійних моделей[en] в оцінках буде присутня похибка внаслідок припущення лінійності;
  • дисперсію методу навчання, або, інтуїтивно, наскільки сильно метод навчання рухатиметься навколо свого середнього значення;
  • незнижувану похибку . Оскільки всі три члени є невід'ємними, вона формує обмеження знизу для математичного сподівання похибки на небачених зразках.[3]:34

Що складнішою є модель , то більше точок даних вона схоплюватиме, і то меншим буде зсув. Проте, складність робитиме так, що модель більше «рухатиметься», щоби захопити точки даних, і відтак її дисперсія буде вищою.

Виведення[ред. | ред. код]

Виведення розкладу на зсув та дисперсію для квадратичних помилок відбувається наступним чином.[5][6] Для зручності позначення введімо скорочення та . По-перше, зауважте, що для будь-якої випадкової змінної ми маємо

Перегрупувавши, отримуємо

Оскільки є детермінованою,

.

З цього, за умови та , випливає, що .

Також, оскільки ,

Отже, оскільки та є незалежними, ми можемо записати, що

Застосування до класифікації[ред. | ред. код]

Розклад на зсув та дисперсію спершу було сформульованого для регресії методом найменших квадратів. Можливо знайти подібний розклад і для випадку класифікації за втрат 0-1 (коефіцієнт помилок класифікації).[7][8] Як альтернатива, якщо задачу класифікації може бути перефразовано як імовірнісну класифікацію, то математичне сподівання квадрату похибки передбачуваних імовірностей по відношенню до справжніх імовірностей може бути розкладено, як і раніше.[9]

Підходи[ред. | ред. код]

Зниження розмірності та обирання ознак можуть знижувати дисперсію шляхом спрощення моделей. Аналогічно, зниженню дисперсії сприяє більший тренувальний набір. Додавання ознак (провісників) сприяє зниженню зсуву, ціною введення додаткової дисперсії. Алгоритми навчання зазвичай мають деякі налагоджувані параметри, які контролюють зсув та дисперсію, наприклад:

  • (Узагальнені[en]) лінійні моделі може бути регуляризовано, щоби знизити їхню дисперсію ціною збільшення їхнього зсуву.[10]
  • У штучних нейронних мережах дисперсія збільшується, а зсув зменшується з числом прихованих вузлів.[1] Як і в УЛМ, зазвичай застосовується регуляризація.
  • В моделях k-найближчих сусідів велике значення k призводить до великого зсуву та низької дисперсії (див. нижче).
  • У навчанні з прикладів регуляризація може досягатися варіюванням суміші прототипів та екземплярів.[11]
  • У деревах рішень глибина дерева визначає дисперсію. Зазвичай, для контролю дисперсії дерева рішень підрізують.[3]:307

Одним зі шляхів розв'язання цієї дилеми є застосування сумішевих моделей[en] та ансамблевого навчання[en].[12][13] Наприклад, підсилювання багато «слабких» моделей (із великим зсувом) поєднує в ансамбль, який має менший зсув, ніж окремі моделі, тоді як бутстрепова агрегація[en] поєднує «сильні» системи навчання таким чином, що знижує їхню дисперсію.

k-найближчі сусіди[ред. | ред. код]

У випадку регресії k-найближчих сусідів існує вираз замкненого вигляду[en], який ставить у відповідність розклад на зсув та дисперсію до параметру k:[4]:37, 223

де є k найближчими сусідами x у тренувальному наборі. Зсув (перший член) є монотонно зростаючою функцією від k, тоді як дисперсія (другий член) при збільшенні k спадає. Справді, за «розсудливих припущень» зсув оцінки першого-найближчого сусіда (1-НС, англ. 1-NN) зникає повністю, оскільки розмір тренувальної вибірки наближується до нескінченності.[1]

Застосування до людського навчання[ред. | ред. код]

В той час як дилему зсуву та дисперсії широко обговорювали в контексті машинного навчання, її розглядали і в контексті людського пізнання, перш за все Ґерд Ґіґеренцер[en] зі співробітниками в контексті навчених евристик. Вони переконували (див. посилання нижче), що людський мозок розв'язує цю дилему в випадку зазвичай розріджених, погано виражених тренувальних наборів, забезпечених досвідом, шляхом обрання евристики сильного зсуву/низької дисперсії. Це віддзеркалює той факт, що підхід нульового зсуву має погану узагальнюваність на нові ситуації, а також нерозсудливо припускає точне знання справжнього стану світу. Отримувані в результаті евристики є відносно простими, але дають кращі висновки в ширшому розмаїтті ситуацій.[14]

Жемо[en] та ін.[1] переконують, що дилема зсуву та дисперсії означає, що таких здібностей, як узагальнене розпізнавання об'єктів, не може бути навчено з нуля, що вони вимагають певної міри «жорсткої розводки», яка потім налаштовується досвідом. Причиною цього є те, що безмодельні підходи до отримання висновків для уникнення високої дисперсії вимагають непрактично великих тренувальних наборів.

Див. також[ред. | ред. код]

Примітки[ред. | ред. код]

  1. а б в г Geman, Stuart; E. Bienenstock; R. Doursat (1992). Neural networks and the bias/variance dilemma. Neural Computation 4: 1–58. doi:10.1162/neco.1992.4.1.1.  (англ.)
  2. Bias–variance decomposition, In Encyclopedia of Machine Learning. Eds. Claude Sammut, Geoffrey I. Webb. Springer 2011. pp. 100-101 (англ.)
  3. а б в Gareth James; Daniela Witten; Trevor Hastie; Robert Tibshirani (2013). An Introduction to Statistical Learning. Springer.  (англ.)
  4. а б Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). The Elements of Statistical Learning. Архів оригіналу за 26 січень 2015. Процитовано 6 листопад 2016.  (англ.)
  5. Vijayakumar, Sethu (2007). The Bias–Variance Tradeoff. University Edinburgh. Процитовано 19 August 2014.  (англ.)
  6. Shakhnarovich, Greg (2011). Notes on derivation of bias-variance decomposition in linear regression. Архів оригіналу за 21 August 2014. Процитовано 20 August 2014.  (англ.)
  7. Domingos, Pedro (2000). A unified bias-variance decomposition ICML.  (англ.)
  8. Valentini, Giorgio; Dietterich, Thomas G. (2004). Bias–variance analysis of support vector machines for the development of SVM-based ensemble methods. JMLR 5: 725–775.  (англ.)
  9. Manning, Christopher D.; Raghavan, Prabhakar; Schütze, Hinrich (2008). Introduction to Information Retrieval. Cambridge University Press. с. 308–314.  (англ.)
  10. Belsley, David (1991). Conditioning diagnostics : collinearity and weak data in regression. New York: Wiley. ISBN 978-0471528890.  (англ.)
  11. Gagliardi, F (2011). Instance-based classifiers applied to medical databases: diagnosis and knowledge extraction. Artificial Intelligence in Medicine 52 (3): 123–139. doi:10.1016/j.artmed.2011.04.002.  (англ.)
  12. Jo-Anne Ting, Sethu Vijaykumar, Stefan Schaal, Locally Weighted Regression for Control. In Encyclopedia of Machine Learning. Eds. Claude Sammut, Geoffrey I. Webb. Springer 2011. p. 615 (англ.)
  13. Scott Fortmann-Roe. Understanding the Bias–Variance Tradeoff. 2012. (англ.)
  14. Gigerenzer, Gerd; Brighton, Henry (2009). Homo Heuristicus: Why Biased Minds Make Better Inferences. Topics in Cognitive Science 1: 107–143. PMID 25164802. doi:10.1111/j.1756-8765.2008.01006.x.  (англ.)

Посилання[ред. | ред. код]