Апостеріорна ймовірність

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

В баєсовій статистиці апостеріо́рна ймові́рність (англ. posterior probability) випадкової події або сумнівного твердження — це умовна ймовірність, яка присвоюється після врахування відповідного свідчення[en] або вихідних даних. Так само апостеріо́рний розпо́діл імові́рності (англ. posterior probability distribution) — це розподіл невідомої величини, що розглядається як випадкова змінна, обумовлений свідченням, отриманим з експерименту або спостереження. «Апостеріорний» в даному контекст означає — після врахування відповідного свідчення, пов'язаного з певним досліджуваним випадком.

Визначення[ред.ред. код]

Апостеріорна ймовірність є ймовірністю параметрів \theta за заданого свідчення X: p(\theta|X).

Вона протиставиться до функції правдоподібності, яка є ймовірністю цього свідчення за заданих параметрів: p(X|\theta).

Вони пов'язані наступним чином:

Нехай у нас є апріорне переконання, що функція розподілу ймовірності це p(\theta), і спостереження X з правдоподібністю p(X|\theta), тоді апостеріорна ймовірність визначається як

p(\theta|X) = \frac{p(\theta)p(X|\theta)}{p(X)}.[1]

Апостеріорну ймовірність може бути записано в такому зручному для запам'ятовування вигляді:

\text{Posterior probability} \propto \text{Prior probability} \times \text{Likelihood}.

Приклад[ред.ред. код]

Нехай у школі 60% учнів — хлопці, і 40% — дівчата. Дівчата носять штани та спідниці в рівній кількості, хлопці всі носять штани. Спостерігач здалеку бачить учня (випадкового); все, що може бачити спостерігач, — це те, що учень в штанях. Яка ймовірність того, що цей учень — дівчина? Правильну відповідь може бути обчислено за допомогою теореми Баєса.

Подією G є те, що учень, якого бачить спостерігач, є дівчиною, а подією T є те учень, що цей учень носить штани. Для обчислення апостеріорної ймовірності P(G|T), нам спочатку необхідно дізнатися:

  • P(G), або ймовірність того, що цей учень є дівчиною незалежно від будь-якої іншої інформації. Оскільки спостерігач бачить випадкового учня, тобто всі учні мають однакову ймовірність бути побаченими, а частка дівчат серед них становить 40%, то ця ймовірність дорівнює 0.4.
  • P(B), або ймовірність того, що цей учень не є дівчиною (тобто, хлопчик), незалежно від будь-якої іншої інформації (B є доповнювальною подією до G). Це є 60%, або 0.6.
  • P(T|G), або ймовірність того, що учень носить штани, якщо він є дівчиною. Оскільки вони однаково часто носять штани та спідниці, то це 0.5.
  • P(T|B), або ймовірність то, що учень носить штани, якщо він є хлопцем. Це задано як 1.
  • P(T), або ймовірність того, що (випадково вибраний) учень носить штани незалежно від будь-якої іншої інформації. Оскільки P(T) = P(T|G)P(G) + P(T|B)P(B) (згідно закону повної ймовірності), це становить P(T)= 0.5\times0.4 + 1\times0.6 = 0.8.

Враховуючи всю цю інформацію, ймовірність того, що спостерігач бачить дівчину, за умови що учень, якого бачить спостерігач, носить штани, може бути обчислено підставленням цих значень до формули

P(G|T) = \frac{P(T|G) P(G)}{P(T)} = \frac{0.5 \times 0.4}{0.8} = 0.25.

Обчислення[ред.ред. код]

Апостеріорний розподіл імовірності однієї випадкової змінної при заданому значенні іншої може бути обчислено за теоремою Баєса шляхом множення апріорного розподілу ймовірності на функцію правдоподібності, а потім діленням на нормувальну сталу[en], а саме:

f_{X\mid Y=y}(x)={f_X(x) L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx}}

дає апостеріорну функцію густини ймовірності випадкової змінної X з урахуванням даних Y=y, де

  • f_X(x) є апріорною густиною X;
  • L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y) є функцією правдоподібності як функція від x;
  • \int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx є нормувальною сталою, та
  • f_{X\mid Y=y}(x) є апостеріорною густиною X з урахуванням даних Y=y.

Класифікація[ред.ред. код]

У класифікації апостеріорна ймовірність відображає невизначеність віднесення спостереження до певного класу, див. також ймовірності приналежності до класів[en]. Хоча методи статистичної класифікації за визначенням і породжують апостеріорні ймовірності, фахівці з машинного навчання зазвичай подають значення приналежності, що не передбачають жодної ймовірнісної довірчості. Бажано перетворювати або перемасштабовувати значення приналежності у ймовірності приналежності до класів, оскільки вони є порівнюваними й на додачу легше застосовними для подальшої обробки.

Див. також[ред.ред. код]

Примітки[ред.ред. код]

  1. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning. Springer. с. 21–24. ISBN 978-0-387-31073-2.  (англ.)

Література[ред.ред. код]