Апостеріорна ймовірність

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл Гіперпараметр Емпіричний баєсів метод Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля Прийнятне правило рішення Принцип максимальної ентропії Принцип недостатнього обґрунтування Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення

В баєсовій статистиці апостеріо́рна ймові́рність (англ. posterior probability) випадкової події або сумнівного твердження^{[прояснити: ком.]} — це умовна ймовірність, присвоювана^{[прояснити: ком.]} після врахування відповідного свідчення або вихідних даних. Так само апостеріо́рний розпо́діл імові́рності (англ. posterior probability distribution) — це розподіл невідомої величини, яку розглядають як випадкову змінну, обумовлену свідченням, отриманим з експерименту або спостереження. «Апостеріорний» в даному контекст означає — після врахування відповідного свідчення, пов'язаного з певним досліджуваним випадком. Наприклад, існує («неапостеріорна») ймовірність того, що людина знайде скарб, копаючи у випадковому місці, та апостеріорна ймовірність знаходження закопаного скарбу, якщо людина копатиме в місці, де дзвенить її металодетектор.

Визначення

Апостеріорна ймовірність є ймовірністю параметрів $\theta$ за заданого свідчення $X$: $p(\theta |X)$.

Вона протиставиться до функції правдоподібності, яка є ймовірністю цього свідчення за заданих параметрів: $p(X|\theta )$.

Вони пов'язані наступним чином:

Нехай у нас є апріорне переконання, що функція розподілу ймовірності це $p(\theta )$, і спостереження $X$ з правдоподібністю $p(X|\theta )$, тоді апостеріорна ймовірність визначається як

$p(\theta |X)={\frac {p(\theta )p(X|\theta )}{p(X)}}.$

Апостеріорну ймовірність може бути записано в такому зручному для запам'ятовування вигляді:

${\text{Posterior probability}}\propto {\text{Prior probability}}\times {\text{Likelihood}}$.

Приклад

Нехай у школі 60% учнів — хлопці, і 40% — дівчата. Дівчата носять штани та спідниці в рівній кількості, хлопці всі носять штани. Спостерігач здалеку бачить учня (випадкового); все, що може бачити спостерігач, — це те, що учень в штанях. Яка ймовірність того, що цей учень — дівчина? Правильну відповідь може бути обчислено за допомогою теореми Баєса.

Подією $G$ є те, що учень, якого бачить спостерігач, є дівчиною, а подією $T$ є те, що цей учень носить штани. Для обчислення апостеріорної ймовірності $P(G|T)$, нам спочатку необхідно дізнатися:

• $P(G)$, або ймовірність того, що цей учень є дівчиною незалежно від будь-якої іншої інформації. Оскільки спостерігач бачить випадкового учня, тобто всі учні мають однакову ймовірність бути побаченими, а частка дівчат серед них становить 40%, то ця ймовірність дорівнює 0.4.
• $P(B)$, або ймовірність того, що цей учень не є дівчиною (тобто, хлопець), незалежно від будь-якої іншої інформації ($B$ є доповнювальною подією до $G$). Це є 60%, або 0.6.
• $P(T|G)$, або ймовірність того, що учень носить штани, якщо він є дівчиною. Оскільки вони однаково часто носять штани та спідниці, то це 0.5.
• $P(T|B)$, або ймовірність то, що учень носить штани, якщо він є хлопцем. Це задано як 1.
• $P(T)$, або ймовірність того, що (випадково вибраний) учень носить штани незалежно від будь-якої іншої інформації. Оскільки $P(T)=P(T|G)P(G)+P(T|B)P(B)$ (згідно закону повної ймовірності), це становить $P(T)=0.5\times 0.4+1\times 0.6=0.8$.

Враховуючи всю цю інформацію, апостеріорна ймовірність того, що спостерігач бачить дівчину, за умови що учень, якого бачить спостерігач, носить штани, може бути обчислено підставленням цих значень до формули

$P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.$

Інтуїтивне пояснення цього результату полягає в тім, що з кожної сотні учнів (60 хлопців та 40 дівчат), оскільки ми спостерігаємо штани, цей учень є одним з 80, що їх носять (60 хлопців та 20 дівчат); оскільки 20/80 = 1/4 з них є дівчатами, то ймовірністю того, що учень в штанях є дівчиною, становить 1/4.

Обчислення

Апостеріорний розподіл імовірності однієї випадкової змінної при заданому значенні іншої може бути обчислено за теоремою Баєса шляхом множення апріорного розподілу ймовірності на функцію правдоподібності, а потім діленням на нормувальну сталу, а саме:

$f_{X\mid Y=y}(x)={f_{X}(x)L_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du}}$

дає апостеріорну функцію густини ймовірності випадкової змінної $X$ з урахуванням даних $Y=y$, де

• $f_{X}(x)$ є апріорною густиною $X$;
• $L_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)$ є функцією правдоподібності як функції від $x$;
• $\int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du$ є нормувальною сталою, та
• $f_{X\mid Y=y}(x)$ є апостеріорною густиною $X$ з урахуванням даних $Y=y$.

Імовірний інтервал

Апостеріорна ймовірність є умовною ймовірністю, обумовленою випадково спостережуваними даними. Відтак вона є випадковою змінною. Для випадкової змінної важливо підбивати величину її невизначеності. Одним зі способів досягнення цієї мети є надання ймовірного інтервалу апостеріорної ймовірності.

Класифікація

У класифікації апостеріорна ймовірність відображає невизначеність віднесення спостереження до певного класу, див. також ймовірності приналежності до класів. Хоча методи статистичної класифікації за визначенням і породжують апостеріорні ймовірності, фахівці з машинного навчання зазвичай подають значення приналежності, що не передбачають жодної ймовірнісної довірчості. Бажано перетворювати або перемасштабовувати значення приналежності у ймовірності приналежності до класів, оскільки вони є порівнюваними й на додачу легше застосовними для подальшої обробки.

Див. також

• Передбачуваний інтервал
• Теорема Бернштайна — фон Мізеса
• Зачада Монті Голла
• Задача трьох в'язнів
• Парадокс скриньок Бертрана
• Піково-пластинне обирання змінних
• Баєсів структурний часовий ряд
• Імовірність позитивного результату

Література

• Peter M. Lee (2004). Bayesian Statistics, an introduction (вид. 3rd). Wiley. ISBN 978-0-340-81405-5. Архів оригіналу за 25 вересня 2015. Процитовано 24 вересня 2015. (англ.)