Правило Баєса

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл Гіперпараметр Емпіричний баєсів метод Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля Прийнятне правило рішення Принцип максимальної ентропії Принцип недостатнього обґрунтування Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення

У теорії ймовірностей та її застосуваннях пра́вило Ба́єса (англ. Bayes' rule) встановлює відповідність між шансами події $A_{1}$ проти події $A_{2}$ до (апріорі) та після (апостеріорі) обумовлення іншою подією $B$. Шанси $A_{1}$ до події $A_{2}$ є просто відношенням ймовірностей цих двох подій. Апріорні шанси є відношенням безумовних, або апріорних ймовірностей, а апостеріорні шанси є відношенням умовних, або апостеріорних ймовірностей за умови події $B$. Це відношення виражається у термінах рівня правдоподібності, або коефіцієнту Баєса, $\Lambda$. За визначенням, це є відношенням умовних ймовірностей події $B$ у випадку $A_{1}$ та у випадку $A_{2}$ відповідно. Це правило просто стверджує: апостеріорні шанси дорівнюють добуткові апріорних шансів на коефіцієнт Баєса.^:8

Коли цікавить довільно велика кількість подій $A$, а не лише дві, це правило може бути перефразовано як апостеріорне є пропорційнім добуткові апріорного на правдоподібність, $P(A|B)\propto P(A)P(B|A)$, де символ пропорційності означає, що ліва частина є пропорційною (тобто, дорівнює добуткові на сталу) до правої частини при зміні $A$ для фіксованої або заданої $B$. У такій формі воно йде ще від Лапласа та Курно.

Правило Баєса є рівноцінним способом формулювання теореми Баєса. Якщо нам відомі шанси за та проти $A$, то ми знаємо ймовірність $A$. На практиці в силу ряду причин йому може віддаватися перевага перед теоремою Баєса.

Правило Баєса широко використовується у статистиці, науці та інженерії, наприклад, у виборі моделі, ймовірнісних експертних системах на базі баєсових мереж, статистичних доказах у судових процесах, фільтрах спаму електронної пошти тощо. Як елементарний факт з числення ймовірностей, правило Баєса говорить нам, як пов'язані між собою безумовні та умовні ймовірності, чи то ми працюємо з частотницькою інтерпретацією ймовірності, чи то з баєсовою. При баєсовій інтерпретації воно часто застосовується у ситуації, коли $A_{1}$ та $A_{2}$ є конкурентними гіпотезами, а $B$ є деяким спостережуваним свідченням. Це правило показує, як чиєсь судження про те, чи є істинною $A_{1}$ чи $A_{2}$, повинне уточнюватися при спостереженні свідчення $B$.

Правило

Одна подія

Для заданих подій $A_{1}$, $A_{2}$ та $B$ правило Баєса стверджує, що умовні шанси $A_{1}:A_{2}$ за умови $B$ дорівнюють відособленим шансам $A_{1}:A_{2}$, помноженим на коефіцієнт Баєса або рівень правдоподібності $\Lambda$:

$O(A_{1}:A_{2}|B)=\Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}),$

де

$\Lambda (A_{1}:A_{2}|B)={\frac {P(B|A_{1})}{P(B|A_{2})}}.$

Тут шанси та умовні шанси, відомі також як апріорні та апостеріорні шанси, визначаються як

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$

$O(A_{1}:A_{2}|B)={\frac {P(A_{1}|B)}{P(A_{2}|B)}}.$

В особливому випадку, коли $A_{1}=A$ та $A_{2}=\neg A$, пишуть $O(A)=O(A:\neg A)$, та використовують аналогічні скорочення для коефіцієнту Баєса та умовних шансів. Шанси $A$ за визначенням є шансами за та проти $A$. Відтак, правило Баєса може бути записано у скороченій формі

$O(A|B)=O(A)\cdot \Lambda (A|B),$

або іншими словами: апостеріорні шанси $A$ дорівнюють апріорним шансам $A$, помноженим на рівень правдоподібності $A$ за умови інформації $B$. Коротко, апостеріорні шанси дорівнюють апріорним шансам, помноженим на рівень правдоподібності.

Це правило часто застосовується, коли $A_{1}=A$ та $A_{2}=\neg A$ є двома конкурентними гіпотезами стосовно причини деякої події $B$. Апріорні шанси $A$, іншими словами, шанси $A$ проти $\neg A$, виражають наші початкові переконання стосовно того, чи є $A$ істинним, чи ні. Подія $B$ представляє якесь свідчення, інформацію, дані або спостереження. Рівень правдоподібності є відношенням шансів спостереження $B$ відповідно до гіпотез $A$ та $\neg A$. Це правило каже нам, як мають уточнюватися наші апріорні переконання стосовно того, чи є $A$ істинним, чи ні, при отриманні інформації $B$.

Багато подій

Якщо ми розглядаємо $A$ як довільну, а $B$ як незмінну, то ми можемо переписати теорему Баєса $P(A|B)=P(A)P(B|A)/P(B)$ у вигляді $P(A|B)\propto P(A)P(B|A)$, де символ пропорційності означає, що зі зміною $A$ при незмінній $B$ ліва частина дорівнює правій частині, помноженій на сталу.

Словами — апостеріорне пропорційне апріорному, помноженому на правдоподібність. Цю версію теореми Баєса було спочатку названо «Правилом Баєса» Антуаном-Огюстеном Курно у 1843 році. Курно популяризував ранішу працю Лапласа 1774 року, який незалежно відкрив правило Баєса. Працю Баєса було опубліковано посмертно у 1763 році, але вона залишалася більш-менш невідомою, поки Курно не привернув увагу до неї.

Правилу Баєса може віддаватися перевага перед звичайним формулюванням теореми Баєса з цілого ряду причин. По-перше, воно є інтуїтивно простішим для розуміння. Інша причина полягає в тому, що в нормалізації ймовірностей іноді немає необхідності: іноді потрібно знати лише співвідношення ймовірностей. Нарешті, виконання нормалізації часто простіше здійснювати після спрощення добутку апріорного та правдоподібності шляхом вилучення будь-яких множників, що не залежать від $A$, відтак нам не потрібно насправді обчислювати знаменник $P(B)$ у звичайному формулюванні теореми Баєса $P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}\cdot \,$

У баєсовій статистиці правило Баєса часто застосовується із так званою некоректною апріорною ймовірністю, наприклад, рівномірним розподілом ймовірності над усіма дійсними числами. В такому випадку апріорний розподіл не існує як міра ймовірності в межах звичайної теорії ймовірності, й теорема Баєса сама по собі є не доступною.

Послідовність подій

Правило Баєса може застосовуватися кілька разів. Кожного разу, як ми спостерігаємо нову подію, ми уточнюємо шанси між подіями, що нас цікавлять, скажімо, $A_{1}$ та $A_{2}$, враховуючи цю нову інформацію. Для двох подій (повідомлень, свідчень) $B$ та $C$

$O(A_{1}:A_{2}|B\cap C)=\Lambda (A_{1}:A_{2}|B\cap C)\cdot \Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}),$

де

$\Lambda (A_{1}:A_{2}|B)={\frac {P(B|A_{1})}{P(B|A_{2})}},$

$\Lambda (A_{1}:A_{2}|B\cap C)={\frac {P(C|A_{1}\cap B)}{P(C|A_{2}\cap B)}}.$

В особливому випадку двох взаємодоповнюваних подій $A$ та $\neg A$ еквівалентним записом є

$O(A|B,C)=\Lambda (A|B\cap C)\cdot \Lambda (A|B)\cdot O(A).$

Виведення

Розгляньмо два примірники теореми Баєса:

$P(A_{1}|B)={\frac {1}{P(B)}}\cdot P(B|A_{1})\cdot P(A_{1}),$

$P(A_{2}|B)={\frac {1}{P(B)}}\cdot P(B|A_{2})\cdot P(A_{2}).$

Їхнє поєднання дає

${\frac {P(A_{1}|B)}{P(A_{2}|B)}}={\frac {P(B|A_{1})}{P(B|A_{2})}}\cdot {\frac {P(A_{1})}{P(A_{2})}}.$

Тепер за визначення

$O(A_{1}:A_{2}|B)\triangleq {\frac {P(A_{1}|B)}{P(A_{2}|B)}}$

$O(A_{1}:A_{2})\triangleq {\frac {P(A_{1})}{P(A_{2})}}$

$\Lambda (A_{1}:A_{2}|B)\triangleq {\frac {P(B|A_{1})}{P(B|A_{2})}},$

це означає

$O(A_{1}:A_{2}|B)=\Lambda (A_{1}:A_{2}|B)\cdot O(A_{1}:A_{2}).$

Аналогічне виведення застосовується для зумовлювання багатьма подіями, з використанням відповідного розширення теореми Баєса.

Приклади

Частотницький приклад

Розгляньмо приклад перевірки на вживання наркотиків зі статті про теорему Баєса.

Такі ж результати може бути отримано з використанням правила Баєса. Апріорні шанси того, що особа вживає наркотики, є 199 проти 1, оскільки $\textstyle 0.5\%={\frac {1}{200}}$ та $\textstyle 99.5\%={\frac {199}{200}}$. Коефіцієнт Баєса у разі позитивного результату перевірки особи є $\textstyle {\frac {0.99}{0.01}}=99:1$ на користь того, що особа вживає наркотики: це є відношення ймовірності позитивного результату для особи, що вживає наркотики, до позитивного результату особи, що їх не вживає. Апостеріорними шансами того, що особа вживає наркотики, відтак є $\textstyle 1\times 99:199\times 1=99:199$, що є дуже близьким до $\textstyle 100:200=1:2$. У круглих числах, лише один з трьох із тих, чия перевірка дала позитивний результат, насправді вживає наркотики.

Література

• Bessière, P.; Mazer, E.; Ahuactzin, J.M.; Mekhnacha, K. (2013). Bayesian Programming. CRC Press. ISBN 9781439880326. (англ.)
• MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press. ISBN 9780521642989. (англ.) — електронний підручник, обговорює баєсове порівняння моделей у розділах 3 та 28
• Stone, James V. (2013). Download chapter 1. Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis. England: Sebtel Press. (англ.)