Функція втрат

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

В математичній оптимізації, статистиці, теорії рішень та машинному навчанні фу́нкція втрат (англ. loss function) або фу́нкція витра́т (англ. cost function) — це функція, яка відображує подію, або значення однієї чи декількох величин, на дійсне число, яке інтуїтивно представляє якісь «витрати», пов'язані з цією подією. Задача оптимізації намагається функцію втрат мінімізувати. Цільова́ фу́нкція (англ. objective function) є або функцією втрат, або протилежною їй (яку іноді називають функцією винагороди, функцією прибутку[en], функцією корисності, функцією пристосованості тощо), в разі чого вона підлягає максимізації.

У статистиці функція втрат, як правило, використовується для оцінювання параметрів, а подія, яка розглядається, є певною функцією відмінності між розрахунковими та істинними значеннями для зразка даних. Це поняття, старе як Лаплас, було повторно введено до статистики Абрахамом Валдом[en] в середині XX століття.[1] В контексті економіки, наприклад, воно зазвичай є економічною вартістю[en] або смутком. У класифікації воно є штрафом за неправильну класифікацію прикладу. В актуарній науці воно використовується в контексті страхування для моделювання виплат над страховими преміями, особливо з часів праць Гаральда Крамера[en] 1920-х років.[2] В оптимальному керуванні втрати є штрафом за невдачу в досягненні бажаного значення. В управлінні фінансовими ризиками ця функція точно відображається на грошові втрати.

Використання в статистиці[ред. | ред. код]

Оцінювання параметрів для задач навчання з учителем, таких як регресія або класифікація, може бути сформульовано як мінімізацію функції втрат над тренувальним набором. Метою оцінювання є знаходження функції, яка добре моделює свій вхід: при застосуванні її до тренувального набору вона повинна передбачати значення (або мітки класів), пов'язані зі зразками в цьому наборі. Функція втрат здійснює чисельну оцінку величини, на яку передбачення відхиляється від дійсних значень.

Визначення[ред. | ред. код]

Формально, ми починаємо з розгляду деякого сімейства розподілів для випадкової величини X, проіндексованого деякою θ.

Інтуїтивно, ми можемо розглядати X як наші «дані», можливо, , де є НОР. X є набором речей, про які правило вирішування[en] ухвалюватиме рішення. Існує якесь число можливих шляхів моделювання наших даних X, які наша функція рішення може використовувати для ухвалення рішень. При скінченному числі моделей ми можемо розглядати θ як індекс у цьому сімействі ймовірнісних моделей. При нескінченному числі моделей вона є набором параметрів цього сімейства розподілів.

На практиці, важливо розуміти, що хоча й заманливо думати про функції втрат як про обов'язково параметричні (оскільки здається, що вони приймають θ як «параметр»), факт є нескінченної вимірності θ є цілком несумісним з цим записом; наприклад, якщо сімейство функцій імовірності є незліченно нескінченним, то θ індексує незліченно нескінченний простір.

Звідси, для заданої множини A можливих дій, пра́вило вирі́шування[en] (англ. decision rule) є функцією δ : → A.

Фу́нкція втрат є дійснозначною обмеженою знизу функцією L на Θ × A для деякого θ ∈ Θ. Значення L(θδ(X)) є витратами на дію δ(X) за параметра θ.[3]

Очікувані втрати[ред. | ред. код]

Значення функції втрат само по собі є випадковою величиною, оскільки воно залежить від виходу випадкової величини X. Як частотна, так і баєсова статистичні теорії включають здійснення рішень на основі математичного сподівання функції втрат: проте, ця величина за цих двох парадигм визначається по-різному.

Частотні очікувані втрати[ред. | ред. код]

Спочатку ми визначаємо очікувані втрати в частотному контексті. Вони отримуються взяттям математичного сподівання по відношенню до розподілу ймовірності Pθ спостережуваних даних X. Це також називають фу́нкцією ри́зику (англ. risk function)[4][5][6][7] правила вирішування δ та параметру θ. Тут правило вирішування залежить від виходу X. Функція ризику задається як

Тут θ є фіксованим але можливо невідомим станом природи, X є вектором спостережень, які стохастично вибираються з генеральної сукупності, є математичним сподіванням над всіма значеннями генеральної сукупності X, dPθ є ймовірнісною мірою[en] над простором подій X (параметризованою за θ), а інтеграл обчислюється над усім носієм[en] X.

Баєсові очікувані втрати[ред. | ред. код]

У баєсовому підході це математичне сподівання обчислюється із застосуванням апостеріорного розподілу π* параметра θ:

.

Потім потрібно обрати дію a*, яка мінімізує очікувані втрати. І хоча це й призведе в результаті до обрання тієї ж дії, яку було би обрано і з застосуванням частотного ризику, акцент баєсового підходу полягає в тому, що цікавить лише обрання оптимальної дії за фактичних спостережуваних даних, тоді як обрання фактичного частотного оптимального правила вирішування, яке є функцією від усіх можливих спостережень, є значно складнішою задачею.

Економічний вибір за непевності[ред. | ред. код]

В економіці ухвалення рішень за умов непевності часто моделюють із застосуванням функції корисності фон Неймана — Морґенштерна від непевної величини, яка становить інтерес, такої як багатство на кінець періоду. Оскільки значення цієї величини є непевним, таким є й значення функції корисності; це математичне сподівання корисності, яке максимізують.

Приклади[ред. | ред. код]

  • Для скалярного параметру θ, функції вирішування, чий вихід є оцінкою θ, та квадратичної функції втрат
функція ризику стає середньоквадратичною похибкою[en] цієї оцінки,
функція ризику стає середнім накопиченим квадратом похибки[en]

Правила вирішування[ред. | ред. код]

Правило вирішування здійснює вибір, використовуючи критерій оптимальності. Деякими часто використовуваними критеріями є:

  • Мініма́кс: Обирати правило вирішування з найнижчими найгіршими втратами — тобто, мінімізувати втрати в найгіршому випадку (максимально можливі):
  • Інваріа́нтність[en]: Обирати оптимальне правило вирішування, яке задовольняє вимогу інваріантності.
  • Обирати правило вирішування з найнижчими усередненими втратами (тобто, максимізувати математичне сподівання функції втрат):

Вибір функції втрат[ред. | ред. код]

Правильна статистична практика вимагає вибирання оцінки відповідно до фактичної прийнятної дисперсії, напрактикованої в контексті конкретної прикладної задачі. Таким чином, в прикладному застосуванні функцій втрат вибирання того, який статистичний метод використовувати для моделювання прикладної задачі, залежить від знання втрат, з якими доведеться стикнутися в разі помилки за конкретних обставин задачі.[8]

Типовий приклад стосується оцінювання «положення». За типових статистичних припущень середнє або усереднене значення — це статистика для оцінювання положення, яка мінімізує очікувані втрати, що виникають за функції втрат квадратичної похибки, тоді як медіана є оцінювачем, який мінімізує очікувані втрати за функції втрат абсолютної різниці. Проте за інших, менш поширених обставин оптимальними будуть інші оцінювачі.

В економіці, коли агент є байдужим до ризику[en], цільова функція виражається просто в грошовому вираженні, такому як прибуток, дохід або багатство на кінець періоду.

Але для агентів з неприйняттям ризику[en] (або з лобов'ю до ризику[en]) втрати вимірюються як від'ємна функція корисності, яка представляє задоволення, і зазвичай інтерпретується радше в порядкових, ніж у кількісних[en] (абсолютних) термінах.

Можливі й інші міри витрат, наприклад, смертність або Захворюваність в галузі соціальної медицини або техніки безпеки.

Для більшості алгоритмів оптимізації бажано мати таку функцію втрат, яка є всюди неперервною та диференційовною.

Двома дуже часто застосовуваними функціями втрат є квадратичні втрати[en] та абсолютні втрати[en] . Проте абсолютні втрати мають той недолік, що вони не диференційовні в . Квадратичні ж втрати мають той недолік, що в них є схильність віддавати перевагу викидам — при підсумовуванні над множиною (як у ) остаточна сума схильна бути радше результатом декількох особливо великих значень , аніж вираженням усередненого значення .

Вибір функції втрат не є довільним. Він має дуже обмежувальний характер, а іноді функції втрат можуть зображуватися їхніми бажаними властивостями.[9] Серед принципів вибору є, наприклад, вимога повноти класу симетричних статистик у випадку НОР спостережень, принцип повної інформації та деякі інші.

Функції втрат у баєсовій статистиці[ред. | ред. код]

Одним із наслідків баєсового висновування є те, що, на додачу до експериментальних даних, функція втрат сама по собі не визначає рішення повністю. Що важливе, так це взаємозв'язок між функцією втрат та апостеріорною ймовірністю. Тому можливо мати дві різні функції втрат, які ведуть до одного й того ж рішення, коли апріорні розподіли ймовірності, пов'язані з кожною, компенсують тонкощі кожної з функцій втрат.[джерело?]

Поєднання трьох елементів апріорної ймовірності, даних та функції втрат відтак уможливлює рішення на основі макзимізації суб'єктивної очікуваної корисності, поняття, введеного Леонардом Севіджем.[джерело?]

Смуток[ред. | ред. код]

Севідж також стверджував, що при застосуванні небаєсових методів, таких як мінімакс, функція втрат повинна ґрунтуватися на ідеї смутку (англ. regret), тобто, втрати, пов'язані з рішенням, повинні бути різницею між наслідками найкращого рішення, яке могло би бути зроблено, якби обставини для його обґрунтування були відомими, та рішення, яке в дійсності було зроблено, перш ніж вони стали відомими.

Квадратична функція втрат[ред. | ред. код]

Застосування квадратичної функції втрат є поширеним, наприклад, при застосуванні методів найменших квадратів. Вона часто краще піддається математичній обробці, ніж інші функції втрат, завдяки властивостям дисперсій, а також завдяки своїй симетричності: похибка перевищення цілі спричиняє такі ж втрати, як і похибка такої ж величини недотягування до цілі. Якщо ціллю є t, то квадратичною функцією втрат є

для деякої сталої C; значення цієї сталої не впливає на рішення, і може бути знехтуване встановленням його в 1.

Багато поширених статистик, включно з t-критеріями, регресійними моделями, плануваннями експериментів та багатьма іншими, використовують методи найменших квадратів при застосуванні теорії лінійної регресії, яка ґрунтується на квадратичній функції втрат.

Квадратична функція втрат також використовується в лінійно-квадратичних задачах оптимального керування[en]. В цих задачах, навіть за відсутності непевності, може бути неможливо досягти бажаних значень всіх цільових величин. Втрати часто виражають як квадратичну форму у відхиленнях величин, які цікавлять, від їхніх бажаних значень; цей підхід є піддатливим[en], оскільки він дає в результаті лінійні умови першого порядку[en]. В контексті стохастичного керування[en] застосовується математичне сподівання квадратичної форми.

Функція втрат 0-1[ред. | ред. код]

У статистиці та теорії рішень часто застосовуваною функцією втрат є функція втрат 0-1 (англ. 0-1 loss function)

де є індикаторною функцією.

Див. також[ред. | ред. код]

Примітки[ред. | ред. код]

  1. Wald, A. (1950). Statistical Decision Functions. Wiley.  (англ.)
  2. Cramér, H. (1930). On the mathematical theory of risk. Centraltryckeriet.  (англ.)
  3. Nikulin, M.S. (2001). Loss function. У Hazewinkel, Michiel. Encyclopedia of Mathematics. Springer. ISBN 978-1-55608-010-4.  (англ.)
  4. Nikulin, M.S. (2001). Risk of a statistical procedure. У Hazewinkel, Michiel. Encyclopedia of Mathematics. Springer. ISBN 978-1-55608-010-4.  (англ.)
  5. Berger, James O. (1985). Statistical decision theory and Bayesian Analysis (вид. 2nd). New York: Springer-Verlag. ISBN 0-387-96098-8. MR 0804611.  (англ.)
  6. DeGroot, Morris (2004) [1970]. Optimal Statistical Decisions. Wiley Classics Library. ISBN 0-471-68029-X. MR 2288194.  (англ.)
  7. Robert, Christian P. (2007). The Bayesian Choice (вид. 2nd). New York: Springer. ISBN 0-387-95231-4. MR 1835885. doi:10.1007/0-387-71599-1.  (англ.)
  8. Pfanzagl, J. (1994). Parametric Statistical Theory. Berlin: Walter de Gruyter. ISBN 3-11-013863-8.  (англ.)
  9. Докладну інформацію про математичні принципи вибору функції втрат наведено в главі 2 книги Klebanov, B.; Rachev, Svetlozat T.; Fabozzi, Frank J. (2009). Robust and Non-Robust Models in Statistics. New York: Nova Scientific Publishers, Inc.  (та в посиланнях з неї). (англ.)

Література[ред. | ред. код]