Перегляд вихідного коду сторінки Теорема Баєса

[[Файл:Bayes' Theorem MMB 01.jpg|thumb|right|Синій {{нп|неоновий знак|||Neon sign}}, що показує просте твердження теореми Баєса]]
{{Баєсова статистика}}

У [[Теорія ймовірностей|теорії ймовірностей]] та [[Статистика|статистиці]] '''Теоре́ма Ба́єса''' (або ж '''Зако́н Ба́єса''', чи [[Правило Баєса]]) описує [[ймовірність]] [[Випадкова подія|події]], спираючись на обставини, що могли би бути пов'язані з цією подією. Наприклад, припустімо, що хтось цікавиться, чи має рак певна особа, і знає вік цієї особи. Якщо рак пов'язаний з віком, то, застосовуючи теорему Баєса, інформацію про вік осіб можливо використати для точнішої оцінки ймовірності того, що вони мають рак.

При застосуванні, задіяні у теоремі Баєса ймовірності можуть мати різні [[Інтерпретації ймовірності|інтерпретації]]. В одній із цих інтерпретацій теорема Баєса використовується безпосередньо у певному підході до [[Статистичне висновування|статистичного висновування]]. При [[Баєсова ймовірність|баєсовій інтерпретації ймовірності]] ця теорема виражає, як повинна раціонально змінюватися суб'єктивна міра впевненості при врахуванні свідчення: це є [[Баєсове висновування|баєсовим висновуванням]], що є фундаментальним для [[Баєсова статистика|баєсової статистики]]. Тим не менш, теорема Баєса має численні застосування у широкому спектрі обчислень із залученням ймовірностей, а не лише у баєсовому висновуванні.

Теорему Баєса названо на честь прп. [[Томас Баєс|Томаса Баєса]] ({{IPAc-en|ˈ|b|eɪ|z}}; 1701–1761), який першим<ref>[https://doi.org/10.1098/rstl.1763.0053 Bayes, Mr; Price, Mr (1763). "An Essay towards Solving a Problem in the Doctrine of Chances. By the Late Rev. Mr. Bayes, F. R. S. Communicated by Mr. Price, in a Letter to John Canton, A. M. F. R. S". Philosophical Transactions of the Royal Society of London. 53: 370–418.]</ref> запропонував рівняння, яке дозволяє новим свідченням уточнювати переконання. Її було розвинуто далі [[П'єр-Симон Лаплас|П'єром-Симоном Лапласом]], який вперше опублікував це сучасне формулювання у своїй праці 1812 року «[[Аналітична теорія ймовірностей]]». [[Гарольд Джеффріс|Сер Гарольд Джеффріс]] поклав баєсів алгоритм та лапласове формулювання на аксіоматичну основу. Деффріс писав, що теорема Баєса «є для теорії ймовірностей тим, чим [[теорема Піфагора]] є для геометрії».<ref>

{{cite book
 |last=Jeffreys
 |first=Harold
 |author-link=Гарольд Джеффріс
 |year=1973
 |title=Scientific Inference
 |url=https://archive.org/details/scientificinfere0000jeff
 |publisher=[[Cambridge University Press]]
 |edition=III
 |isbn=978-0-521-18078-8
 |page=[https://archive.org/details/scientificinfere0000jeff/page/31 31]
}} {{ref-en}}

</ref>

== Твердження теореми ==
[[Файл:Bayes' Theorem 2D.svg|thumb|Візуалізація теореми Баєса суперпозицією двох [[Дерево прийняття рішень|дерев ухвалення рішень]]]]
Теорема Баєса задається математично таким рівнянням:<ref>

{{Citation
 |first1=A.
 |last1=Stuart
 |first2=K.
 |last2=Ord
 |title=Kendall's Advanced Theory of Statistics: Volume I—Distribution Theory
 |year=1994
 |publisher={{Не перекладено|Едвард Арнольд (видавець)|Edward Arnold||Edward Arnold (publisher)}}
 |at=§8.7
}} {{ref-en}}

</ref>

:<math>P(A\mid B) = \frac{P(B\mid A)\, P(A)}{P(B)}</math>,

де <math>A</math> та <math>B</math> є [[Випадкова подія|подіями]].

* <math>P(A)</math> та <math>P(B)</math> є [[Відособлений розподіл|ймовірностями]] <math>A</math> та <math>B</math> безвідносно одна до одної.
* <math>P(A\mid B)</math>, [[умовна ймовірність]], є ймовірністю <math>A</math> за умови істинності <math>B</math>.
* <math>P(B\mid A)</math> є ймовірністю спостереження події <math>B</math> за умови істинності <math>A</math>.

== Приклади ==

=== Рак у віці 65 років ===

Припустимо, що ми хочемо знати ймовірність того, що якась особа має рак, але ми нічого не знаємо про неї. Незважаючи на відсутність жодних відомостей про особу, якусь імовірність може бути призначено на основі загальної поширеності раку. Заради цього прикладу уявімо, що нею є 1%. Це є відомим як базовий рівень, або апріорна ймовірність мати рак. «Апріорна» відповідає часу до того моменту, як нас буде поінформовано про даний конкретний випадок.

Далі, уявімо, що ми з'ясували, що тій особі 65 років. Якщо припустити, що рак та вік є пов'язаними, то цю нову порцію інформації може бути використано для кращої оцінки ризику тієї особи мати рак. Точніше, ми хотіли би знати ймовірність того, що особа має рак, якщо відомо, що їй 65 років. Ця величина є відомою як поточна ймовірність, де «поточна» відповідає теоретичній ситуації після з'ясування інформації про даний конкретний випадок.

Для того, щоби застосувати знання про вік тієї особи в поєднанні з теоремою Баєса, потрібні дві додаткові порції інформації. Зауважте, проте, що ця додаткова інформація не стосується конкретно тієї особи. Потрібна така інформація:

# Ймовірність мати вік 65 років. Припустімо, що нею є 0.2%.
# Ймовірність того, що особа, ''яка має рак'', має вік 65 років. Припустімо, що нею є 0.5%. Зауважте, що вона є більшою за попереднє значення. Це відображає той факт, що люди з раком є непропорційно 65-річними.

Знаючи це, разом із базовим рівнем, ми можемо обчислити, що особа, яка має вік 65 років, має ймовірність мати рак, що дорівнює

<math>(0.5\% * 1\%) \div 0.2\% = 2.5\%</math>

Може стати несподіванкою, що хоча перебування у віці 65 років і збільшує ризик мати рак, ймовірність тієї особи мати рак все одно є досить низькою. Це тому, що низьким є базовий рівень раку (незалежно від віку). Це показує як важливість базового рівня, так і те, що ним зазвичай нехтують.<ref name="Kahneman2011">{{cite book|author=Daniel Kahneman|title=Thinking, Fast and Slow|url=https://books.google.com/books?id=ZuKTvERuPG8C|accessdate=8 квітня 2012|date=25 жовтня 2011|publisher=Macmillan|isbn=978-1-4299-6935-2}} {{ref-en}}</ref> [[Омана базового відсотку|Нехтування базовим рівнем]] призводить до серйозного спотворення інтерпретації статистики; отже, потрібно приділяти особливу увагу тому, щоби уникати таких помилок. Знайомство з теоремою Баєса є одним із шляхів боротьби з природною схильністю нехтувати базовими рівнями.

Задачі із застосуванням теореми Баєса часто легше зрозуміти, застосовуючи задані в задачі умови до великого набору спостережень. Припустімо, наприклад, що якась спільнота складається зі 100&nbsp;000 людей. Відповідно до умови задачі, 1% цієї генеральної сукупності, або 1&nbsp;000 людей, матимуть рак. 0.2% від цієї генеральної сукупності, або 200 людей, матимуть вік 65 років. Із 1&nbsp;000 людей з раком лише 0.5%, або 5 людей, будуть 65-річними. Таким чином, очікується, що з 200 людей, які мають вік 65 років, лише 5 матимуть рак. 5/200 = 2.5%.

=== Перевірка на вживання наркотиків ===

[[Файл:Bayes theorem drugs example tree.svg|thumb|Деревна схема, що ілюструє приклад перевірки на вживання наркотиків. U, Ū, «+» та «-» є подіями, що представляють вживання, не вживання, позитивний результат та негативний результат. Відсотки у дужках обчислюються.]]

Припустімо, що тест на вживання наркотиків має [[Чутливість та специфічність|чутливість]] 99% та [[Чутливість та специфічність|специфічність]] 99%. Тобто, цей тест даватиме 99% правильних позитивних результатів для тих, хто вживає наркотики, і 99% правильних негативних результатів для тих, хто не вживає. Припустімо, що 0.5% людей вживають наркотики. Якщо для випадково вибраної особи перевірка виявляється позитивною, то якою є [[ймовірність]], що вона вживає наркотики?

:<math>
\begin{align}
P(\text{вживає}\mid\text{+}) &= \frac{P(\text{+}\mid\text{вживає}) \times P(\text{вживає})}{P(\text{+}\mid\text{вживає}) \times P(\text{вживає}) + P(\text{+}\mid\text{не вживає}) \times P(\text{не вживає})} \\[8pt]
&= \frac{0.99 \times 0.005}{0.99 \times 0.005 + 0.01 \times 0.995} \\[8pt]
&\approx 33.2\%
\end{align}</math>

Незважаючи на видиму точність перевірки, якщо індивідуальні перевірки дають позитивний результат, то ймовірніше, що вони '''не''' вживають наркотиків, ніж що вони їх вживають. Це ще раз свідчить про важливість базових рівнів, і як формування політики може бути кричуще помилковим, якщо базовими рівнями нехтують.

Цей несподіваний результат виникає тому, що кількість тих, хто не вживає, є дуже великою у порівнянні з кількістю тих, хто вживає; таким чином, кількість хибних позитивних результатів (0.995%) переважує кількість правильних позитивних результатів (0.495%). На конкретних цифрах, якщо перевірено 1000 осіб, то очікується 995 тих, хто не вживає наркотиків, і 5 тих, хто вживає. Із 995 тих, хто не вживає, очікується 0.01&nbsp;×&nbsp;995&nbsp;≃&nbsp;10 хибних позитивних результатів. Із 5 тих, хто вживає, очікується 0.99&nbsp;×&nbsp;5&nbsp;≃&nbsp;5 правильних позитивних результатів. Із 15 позитивних результатів лише 5, близько 33%, є істинними.

Примітка: Важливість специфічності може бути проілюстровано показуванням, що навіть якщо чутливість є 100%, а специфічність є 99%, то ймовірність того, що особа вживає наркотики, є ≈33%, але якщо специфічність змінюється до 99.5%, а чутливість падає до 99%, то ймовірність того, що особа вживає наркотики, виростає до 49.8%.

=== Складніший приклад ===
Вся продукція заводу виробляється на трьох верстатах. На ці три верстати приходяться 20%, 30% та 50% продукції відповідно. Частка бракованих виробів є такою: 5% для першого верстата, 3% для другого верстата та 1% для третього. Якщо виріб, вибраний навмання із загального обсягу продукції, виявився бракованим, то якою є ймовірність того, що його було зроблено на третьому верстаті?

Розв'язання є таким. Нехай <math>A_i</math> позначає подію, що випадково вибраний виріб було зроблено на <math>i</math>-тому верстату (для <math>i=1,2,3</math>). Нехай <math>B</math> позначає подію, що випадково вибраний виріб є бракованим. Тоді ми маємо наступну інформацію:

:<math>P(A_1)=0.2, P(A_2)=0.3, P(A_3)=0.5</math>

Якщо виріб було зроблено на верстаті <math>A_1</math>, то ймовірністю його бракованості є 0.05, тобто, <math>P(B\mid A_1)=0.05</math>. Загалом ми маємо

:<math>P(B\mid A_1)=0.05, P(B\mid A_2)=0.03, P(B\mid A_3)=0.01</math>

Для отримання відповіді на початкове питання ми спочатку знаходимо <math>P(B)</math>. Це може бути зроблено наступним чином:

:<math>P(B) = \sum_{i=1}^{3} P(B\mid A_i)P(A_i) = (0.05)(0.2) + (0.03)(0.3) + (0.01)(0.5) = 0.024</math>

Отже, 2.4% загального обсягу продукції заводу є бракованими.

Нам задано, що <math>B</math> сталося, і ми хочемо обчислити умовну ймовірність <math>A_3</math>. За теоремою Баєса

:<math>P(A_3\mid B) = \frac{P(B\mid A_3)P(A_3)}{P(B)} = \frac{(0.01)(0.50)}{0.024} = \frac{5}{24}</math>.

За умови бракованості виробу ймовірністю того, що його було зроблено на третьому верстаті, є лише 5/24. Незважаючи на те, що верстат 3 виробляє половину загального обсягу продукції, він видає значно меншу частку бракованих виробів. Тому знання того, що вибраний виріб є бракованим, дозволяє нам замінити апріорну ймовірність <math>P(A_3)=1/2</math> меншою апостеріорною ймовірністю <math>P(A_3\mid B)=5/24</math>.

Знову ж таки, цієї відповіді може бути досягнуто без вдавання до формули, шляхом застосування умов до будь-якого гіпотетичного числа випадків. Наприклад, у 100&nbsp;000 виробах, вироблених заводом, 20&nbsp;000 буде вироблено верстатом A, 30&nbsp;000&nbsp;— верстатом B, і 50&nbsp;000&nbsp;— верстатом C. Верстат A виробить 1&nbsp;000 бракованих виробів, верстат B&nbsp;— 900, а верстат C&nbsp;— 500. Із загального числа 2&nbsp;400 бракованих виробів лише 500, або 5/24, було вироблено верстатом C.

== Інтерпретації ==
[[Файл:Bayes theorem visualisation ukr.svg|міні|450x450пкс|Геометрична візуалізація теореми Баєса. Значення 2, 3, 6 та 9 у таблиці задають відносну вагу кожних з відповідних умов та випадків. Фігури позначають клітинки таблиці, залучені до кожного з показників, де ймовірність є затемненою часткою фігури. Це показує, що ''P'' (''A'' <nowiki>|</nowiki>''B'' )&nbsp;''P'' (''B'' ) = ''P'' (''B'' <nowiki>|</nowiki>''A'' )&nbsp;''P'' (''A'' ), тобто,  ''P'' (''A'' <nowiki>|</nowiki>''B'' ) = {{ндріб|''P'' (''B'' <nowiki>|</nowiki>''A'' )&nbsp;''P'' (''A'' )|''P'' (''B'' )}}. Схожі міркування може бути застосовано, щоби показати, що ''P'' (Ā<nowiki>|</nowiki>''B'' ) = {{ндріб|''P'' (''B'' <nowiki>|</nowiki>Ā) ''P'' (Ā)|''P'' (''B'' )}} і так далі.]]
Інтерпретація теореми Баєса залежить від [[Інтерпретації ймовірності|інтерпретацій імовірності]], що приписуються її членам. Нижче описано дві головні інтерпретації.

=== Баєсова інтерпретація ===

У [[Баєсова ймовірність|баєсовій (або епістемологічній) інтерпретації]] ймовірність вимірює ''міру впевненості''. Теорема Баєса відтак пов'язує міру впевненості у висловленні до та після врахування свідчення. Наприклад, припустімо, що вважається із впевненістю 50%, що монета вдвічі ймовірніше падає гербом, ніж номіналом. Якщо монету підкидають кілька разів та спостерігають результати, то міра впевненості може рости, зменшуватися чи залишатися незмінною залежно від результатів.

Для висловлення <math>A</math> та свідчення <math>B</math>

:* <math>P(A)</math>, ''апріорна'',&nbsp;— це початкова міра впевненості в <math>A</math>.
:* <math>P(A\mid B)</math>, ''апостеріорна'',&nbsp;— це міра впевненості із врахуванням <math>B</math>.
:* частка <math>\frac{P(B\mid A)}{P(B)}</math> представляє підтримку, що <math>B</math> надає для <math>A</math>.

Для подальшої інформації про застосування теореми Баєса при баєсовій інтерпретації ймовірності див. [[баєсове висновування]].

=== Частотницька інтерпретація ===
[[Файл:Bayes theorem tree diagrams.svg|lang=uk|thumb|Ілюстрація частотницької інтерпретації за допомогою {{Не перекладено|Деревна схема (теорія ймовірностей)|деревних схем||Tree diagram (probability theory)}}. Теорема Баєса зв'язує умовні ймовірності з оберненими до них.]]

У [[Частотницька інтерпретація ймовірності|частотницькій інтерпретації]] ймовірність вимірює ''частку результатів''. Наприклад, припустімо, що експеримент проводиться багато разів. <math>P(A)</math> є часткою результатів із властивістю <math>A</math>, а <math>P(B)</math>&nbsp;— із властивістю <math>B</math>. <math>P(B\mid A)</math> є часткою результатів із властивістю <math>B</math> ''серед'' результатів із властивістю <math>A</math>, а <math>P(A\mid B)</math>&nbsp;— часткою тих, що з <math>A</math> ''серед'' тих, що з <math>B</math>.

Роль теореми Баєса найкраще візуалізується за допомогою деревоподібних схем, як показано праворуч. Ці дві діаграми розділюють одні й ті самі результати за <math>A</math> та <math>B</math> у протилежному порядку, для отримання зворотних ймовірностей. Теорема Баєса слугує зв'язком між цими двома розділюваннями.

==== Приклад ====
[[Файл:Bayes theorem simple example tree.svg|thumb|Деревна схема, що ілюструє частотницький приклад. R, C, P та P з рискою&nbsp;— це події, що представляють рідкісний, поширений, з візерунком та без візерунку. Відсотки у дужках обчислюються. Зауважте, що надано три незалежні значення, отже є можливим обчислити обернене дерево (див. ілюстрацію вище).]]

[[Ентомологія|Ентомолог]] спостерігає за, можливо, рідкісним [[підвид]]ом [[Твердокрилі|жука]], оскільки у жука є візерунок на спині. Відомо, що 98&nbsp;% жуків з рідкісного підвиду мають цей візерунок, або, формально, ''P''(Візерунок|Рідкісний) = 98&nbsp;%. У поширеного підвиду цей візерунок мають 5&nbsp;% створінь. Рідкісний підвид налічує лише 0.1&nbsp;% від популяції двох видів. Наскільки ймовірно, що жук з візерунком, за яким спостерігає ентомолог, є рідкісним? Тобто, чому дорівнює ''P''(''Рідкісний''|''Візерунок'')?

Скористаємося розширеною формою теореми Баєса (оскільки будь-який жук популяції може бути лише рідкісним або поширеним):

: <math>
\begin{align}
& P(\text{Рідкісний} \mid \text{Візерунок})= \frac{P(\text{Візерунок} \mid \text{Рідкісний})P(\text{Рідкісний})} {P(\text{Візерунок})}=\\
[8pt] &= \frac{P(\text{Візерунок}\mid \text{Рідкісний})P(\text{Рідкісний})} {P(\text{Візерунок} \mid \text{Рідкісний}) P(\text{Рідкісний}) + P(\text{Візерунок}\mid \text{Поширений})P(\text{Поширений})}=\\
[8pt] &= \frac{0.98 \times 0.001} {0.98 \times 0.001 + 0.05 \times 0.999}\approx 1.9\%
\end{align}
</math>

Тобто, ймовірність того, що ентомолог спостерігає саме рідкісний підвид жука&nbsp;— незначна, а саме 1.9&nbsp;% або 0,019.

== Форми ==

=== Події ===

==== Проста форма ====

Для подій <math>A</math> та <math>B</math>, за умови, що <math>P(B) \ne 0</math>,

:<math>P(A\mid B) = \frac{P(B \mid  A)\, P(A)}{P(B)}\cdot \,</math>

У багатьох застосуваннях, наприклад, у [[Баєсове висновування|баєсовому висновуванні]], подія <math>B</math> під час розгляду є фіксованою, і ми хочемо розглядати вплив того, що трапилося її спостереження, на нашу впевненість у різних можливих подіях <math>A</math>. У такій ситуації знаменник крайнього виразу, ймовірність заданого свідчення <math>B</math>, є фіксованим, а варіювати ми хочемо <math>A</math>. Тоді теорема Баєса показує, що апостеріорні ймовірності є [[Пряма пропорційність|пропорційними]] до чисельника:

:<math>P(A\mid B) \propto P(A) \cdot P(B\mid A) \ </math> (пропорційність за <math>A</math> для заданого <math>B</math>).

Словами: '''апостеріорне пропорційне апріорній кількості разів правдоподібності'''.<ref>

{{Cite book
 |last=Lee
 |first=Peter M.
 |title=Bayesian Statistics
 |url=http://www-users.york.ac.uk/~pml1/bayes/book.htm
 |publisher=[[John Wiley & Sons|Wiley]]
 |year=2012
 |isbn=978-1-1183-3257-3
<!-- |isbn=978-1-1183-5977-8 -->
<!-- |chapter=Chapter 1 -->
}} {{ref-en}}

</ref>

Якщо події <math>A_1, A_2, \ldots</math> є взаємовиключними та вичерпними, тобто, одна з них точно відбувається, але жодні дві не можуть відбуватися одночасно, і ми знаємо їхні ймовірності з точністю до пропорційності, то ми можемо визначити коефіцієнт пропорційності, використовуючи той факт, що їхні ймовірності повинні давати в сумі одиницю. Наприклад, для заданої події <math>A</math> сама подія <math>A</math> та її доповнення <math>\lnot A</math> є взаємовиключними та вичерпними. При позначенні коефіцієнту пропорційності через <math>c</math> ми маємо

:<math>P(A\mid B) = c \cdot P(A) \cdot P(B\mid A) \ </math> та <math>P(\neg A\mid B) = c \cdot P(\neg A) \cdot P(B\mid \neg A)\cdot </math>

Шляхом додавання цих двох формул ми виводимо

:<math> c = \frac{1}{P(A) \cdot P(B\mid A) + P(\neg A) \cdot P(B\mid \neg A) } .</math>

==== Альтернативна форма ====

Іншою формою теореми Баєса, що звичайно зустрічається при розгляді двох конкурентних тверджень або гіпотез, є

:<math>P(A\mid B) = \frac{P(B\mid A)\,P(A)}{ P(B\mid A) P(A) + P(B\mid \neg A) P(\neg A)}\cdot</math>

Для епістемологічної інтерпретації:

Для висловлення <math>A</math> та свідчення або передумови <math>B</math>,<ref>{{cite web
 |title=Bayes Theorem: Introduction
 |url=http://www.trinity.edu/cbrown/bayesweb/
 |website=Trinity University
 |accessdate=22 березня 2015
 |archive-date=7 серпня 2014
 |archive-url=https://web.archive.org/web/20140807091855/http://www.trinity.edu/cbrown/bayesweb/
 }} {{ref-en}}</ref>

* <math>P(A)</math>, [[апріорна ймовірність]], є початковою мірою впевненості в <math>A</math>.
* <math>P(\neg A)</math> є відповідною ймовірністю початкової міри впевненості проти <math>A</math>: <math>1 - P(A) = P(\neg A)</math>
* <math>P(B\mid A)</math>, [[умовна ймовірність]] або правдоподібність, є мірою впевненості в <math>B</math> за умови істинності висловлення <math>A</math>.
* <math>P(B\mid\neg A)</math>, [[умовна ймовірність]] або правдоподібність, є мірою впевненості в <math>B</math> за умови хибності висловлення <math>A</math>.
* <math>P(A\mid B)</math>, [[апостеріорна ймовірність]], є ймовірністю <math>A</math> після врахування <math>B</math> за та проти <math>A</math>.

==== Розширена форма ====

Часто для деякого [[Розбиття множини|розбиття]] <math>\{ A_j \}</math> [[Простір елементарних подій|простору вибірки]] цей простір подій задається або умоглядно представляється у термінах <math>P(A_j)</math> та <math>P(B\mid A_j)</math>. У такому випадку зручно обчислювати <math>P(B)</math> із використанням [[Формула повної ймовірності|закону повної ймовірності]]:

:<math>P(B) = {\sum_j P(B\mid A_j) P(A_j)},</math>
:<math>\Rightarrow P(A_i\mid B) = \frac{P(B\mid A_i)\,P(A_i)}{\sum\limits_j P(B\mid A_j)\,P(A_j)}\cdot</math>

В окремому випадку, коли <math>A</math> є {{Не перекладено|Двійкова змінна|двійковою змінною||Binary variable}}:

:<math>P(A\mid B) = \frac{P(B\mid A)\,P(A)}{ P(B\mid A) P(A) + P(B\mid \neg A) P(\neg A)}\cdot</math>

=== Випадкові змінні ===

[[Файл:Bayes continuous diagram.svg|lang=uk|thumb|Схема, що ілюструє значення теореми Баєса при застосуванні до простору подій, породжуваного безперервними випадковими змінними ''X'' та ''Y''. Зауважте, що існує випадок теореми Баєса для будь-якої точки [[Область визначення|області визначення]]. На практиці ці випадки може бути параметризовано записуванням вказаних густин ймовірності як [[Функція (математика)|функції]] від ''x'' та ''y''.]]

Розгляньмо [[Простір елементарних подій|простір подій]] <math>\Omega</math>, породжуваний двома [[Випадкова величина|випадковими змінними]] <math>X</math> та <math>Y</math>. В принципі, теорема Баєса застосовується до подій <math>A = \{ X = x \}</math> та <math>B = \{ Y = y \}</math>. Однак, члени стають нульовими у точках, де будь-яка зі змінних має скінченну [[Густина імовірності|густину імовірності]]. Щоби теорема Баєса залишалася придатною, її може бути сформульовано у термінах доречних густин (див. [[#Виведення|Виведення]]).

==== Проста форма ====

Якщо <math>X</math> є безперервною, а <math>Y</math>&nbsp;— дискретною,

:<math>f_X(x\mid Y=y) = \frac{P(Y=y\mid X=x)\,f_X(x)}{P(Y=y)}</math>.

Якщо <math>X</math> є дискретною, а <math>Y</math>&nbsp;— безперервною,

:<math> P(X=x\mid Y=y) = \frac{f_Y(y\mid X=x)\,P(X=x)}{f_Y(y)}</math>.

Якщо як <math>X</math>, так і <math>Y</math> є безперервними,

:<math> f_X(x\mid Y=y) = \frac{f_Y(y\mid X=x)\,f_X(x)}{f_Y(y)}</math>.

==== Розширена форма ====

[[Файл:Continuous event space specification.svg|lang=uk|thumb|Схема, що ілюструє, як часто умоглядно представляють простір подій, породжуваний безперервними випадковими змінними ''X'' та ''Y''.]]

Безперервний простір подій часто представляється у термінах чисельників. Часто зручно виключати знаменник, використовуючи [[Формула повної ймовірності|закон повної ймовірності]]. Для <math>f_Y(y)</math> це стає інтегралом

:<math> f_Y(y) = \int_{-\infty}^\infty f_Y(y\mid X=\xi )\,f_X(\xi)\,d\xi</math>.

=== Правило Баєса ===
{{main|Правило Баєса}}

[[Правило Баєса]]&nbsp;— це теорема Баєса у {{Не перекладено|Шанси|формі шансів||Odds}}.

:<math>O(A_1:A_2\mid B) = O(A_1:A_2) \cdot \Lambda(A_1:A_2\mid B) </math>

де

:<math>\Lambda(A_1:A_2\mid B) = \frac{P(B\mid A_1)}{P(B\mid A_2)}</math>

називається [[Коефіцієнт Баєса|коефіцієнтом Баєса]], або відношенням правдоподібності, і шанси між двома подіями є просто відношенням ймовірностей цих двох подій. Отже,

:<math>O(A_1:A_2) = \frac{P(A_1)}{P(A_2)}</math>,

:<math>O(A_1:A_2\mid B) = \frac{P(A_1\mid B)}{P(A_2\mid B)}</math>.

Таким чином, це правило говорить, що апостеріорні шанси є апріорними шансами, помноженими на [[коефіцієнт Баєса]], або, іншими словами, апостеріорне пропорційне апріорній кількості разів правдоподібності.

== Виведення ==

=== Для подій ===

Теорему Баєса може бути виведено з визначення [[Умовна ймовірність|умовної ймовірності]]:

:<math>P(A\mid B)=\frac{P(A \cap B)}{P(B)}</math>, якщо <math>P(B) \neq 0</math>,
:<math>P(B\mid A) = \frac{P(A \cap B)}{P(A)}</math>, якщо <math>P(A) \neq 0</math>,

:<math>\Rightarrow P(A \cap B) = P(A\mid B)\, P(B) = P(B\mid A)\, P(A)</math>,
:<math>\Rightarrow P(A\mid B) = \frac{P(B\mid A)\,P(A)}{P(B)}</math>, якщо <math>P(B) \neq 0</math>.

=== Для випадкових змінних ===

Для двох безперервних [[Випадкова величина|випадкових змінних]] <math>X</math> та <math>Y</math> теорему Баєса може бути виведено аналогічно з визначення [[Умовний розподіл|умовної густини]]:

:<math>f_X(x\mid Y=y) = \frac{f_{X,Y}(x,y)}{f_Y(y)} </math>
:<math>f_Y(y\mid X=x) = \frac{f_{X,Y}(x,y)}{f_X(x)} </math>

:<math>\Rightarrow f_X(x\mid Y=y) = \frac{f_Y(y\mid X=x)\,f_X(x)}{f_Y(y)}</math>.

== Історія ==

Теорему Баєса названо на честь преподобного [[Томас Баєс|Томаса Баєса]] (1701–61), який вивчав, як обчислювати розподіл для параметру ймовірності [[Біноміальний розподіл|біноміального розподілу]] (у сучасній термінології). Неопублікований рукопис Баєса було суттєво відредаговано {{Не перекладено|Річард Прайс|Річардом Прайсом||Richard Price}} до того, як його було посмертно прочитано в [[Лондонське королівське товариство|Королівському товаристві]]. Прайс відредагував<ref>

{{cite book
 |author=Richard Allen
 |title=David Hartley on Human Nature
 |url=https://books.google.com/books?id=NCu6HhGlAB8C&pg=PA243
 |accessdate=16 червня 2013
 |year=1999
 |publisher=SUNY Press
 |isbn=978-0-7914-9451-6
 |pages=243–4
}} {{ref-en}} 

</ref> головну працю Баєса, «{{Не перекладено|Есе щодо розв'язання задачі у Доктрині шансів|||An Essay towards solving a Problem in the Doctrine of Chances}}» (1763), що з'явилася в журналі [[Philosophical Transactions of the Royal Society|Philosophical Transactions]], і містить теорему Баєса. Прайс написав передмову до цієї праці, що подає дещо з філософських основ [[Баєсова статистика|баєсової статистики]]. У 1765 році його було обрано Членом Королівського товариства, на визнання його праці над спадком Баєса.<ref name="Holland46">Holland, pp. 46–7. {{ref-en}}</ref><ref>

{{cite book
 |author=Richard Price
 |title=Price: Political Writings
 |url=https://books.google.com/books?id=xdH-gjy2vzUC&pg=PR23
 |accessdate=16 червня 2013
 |year=1991
 |publisher=Cambridge University Press
 |isbn=978-0-521-40969-8
 |page=xxiii
}} {{ref-en}}

</ref>

Французький [[математик]] [[П'єр-Симон Лаплас]] відтворив та узагальнив результати Баєса у 1774 році, очевидно, не підозрюючи про працю Баєса.<ref>Лаплас вдосконалював теорему Баєса протягом десятиліть:
* Лаплас оголосив про своє незалежне відкриття теореми Баєса у праці Laplace (1774) "Mémoire sur la probabilité des causes par les événements," ''Mémoires de l'Académie royale des Sciences de MI (Savants étrangers)'', '''4''': 621–656. Передруковано у: Laplace, ''Oeuvres complètes'' (Paris, France: Gauthier-Villars et fils, 1841), vol. 8, pp. 27–65. Доступно інтерактивно на: [http://gallica.bnf.fr/ark:/12148/bpt6k77596b/f32.image Gallica]. {{ref-fr}} Теорема Баєса з'являється на стор. 29.
* Лаплас представив вдосконалення теореми Баєса у праці Laplace (прочитано: 1783 / опубліковано: 1785) "Mémoire sur les approximations des formules qui sont fonctions de très grands nombres," ''Mémoires de l'Académie royale des Sciences de Paris'', 423–467. Передруковано у: Laplace, ''Oeuvres complètes'' (Paris, France: Gauthier-Villars et fils, 1844), vol. 10, pp. 295–338. Доступно інтерактивно на: [http://gallica.bnf.fr/ark:/12148/bpt6k775981/f218.image.langEN Gallica]. {{ref-fr}} Теорему Баєса наведено на сторінці 301.
* Див. також: Laplace, ''Essai philosophique sur les probabilités'' (Paris, France: Mme. Ve. Courcier [Madame veuve (тобто, вдова) Courcier], 1814), [https://books.google.com/books?id=rDUJAAAAIAAJ&pg=PA10#v=onepage&q&f=false page 10]. {{ref-fr}} Англомовний переклад: Pierre Simon, Marquis de Laplace with F. W. Truscott and F. L. Emory, trans., ''A Philosophical Essay on Probabilities'' (New York, New York: John Wiley & Sons, 1902), [https://google.com/books?id=WxoPAAAAIAAJ&pg=PA15#v=onepage&q&f=false page 15]. {{ref-en}}</ref><ref>

{{cite book
 |title=Classical Probability in the Enlightenment
 |first=Lorraine
 |last=Daston
 |publisher=Princeton Univ Press
 |year=1988
 |page=268
 |isbn=0-691-08497-1
 |url=https://books.google.com/books?id=oq8XNbKyUewC&pg=PA268
}} {{ref-en}}

</ref> {{Не перекладено|Стівен Стіглер|||Stephen Stigler}} у 1983 році висловив думку, що теорему Баєса було відкрито {{Не перекладено|Ніколас Сондерсон|Ніколасом Сондерсоном||Nicholas Saunderson}} за деякий час до Баєса.<ref>

{{cite journal
 |last1 = Stigler
 |first1 = Stephen M
 |year = 1983
 |title = Who Discovered Bayes' Theorem?
 |url =
 |journal = The American Statistician
 |volume = 37
 |issue = 4
 |pages = 290–296
 |doi = 10.1080/00031305.1983.10483122
}} {{ref-en}}

</ref> Проте ця інтерпретація була спірною.<ref>

{{cite journal
 |last1 = Edwards
 |first1 = A. W. F.
 |year = 1986
 |title = Is the Reference in Hartley (1749) to Bayesian Inference?
 |url =https://archive.org/details/sim_american-statistician_1986-05_40_2/page/109
 |journal = The American Statistician
 |volume = 40
 |issue = 2
 |pages = 109–110
 |doi = 10.1080/00031305.1986.10475370
}} {{ref-en}}

</ref>

Мартін Купер<ref>

{{cite journal
 |last1 = Hooper
 |first1 = Martyn
 |year = 2013
 |title = Richard Price, Bayes' theorem, and God
 |url =
 |journal = Significance
 |volume = 10
 |issue = 1
 |pages = 36–39
 |doi = 10.1111/j.1740-9713.2013.00638.x
}} {{ref-en}}

</ref> та Шарон Мак-Грейн<ref name="mcgrayne2011theory">

{{cite book
 |author=McGrayne, S. B.
 |title=The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy
 |publisher=[[Yale University Press]]
 |year=2011
 |isbn=978-0-300-18822-6
}} {{ref-en}}

</ref> стверджують, що внесок {{Не перекладено|Річард Прайс|Річарда Прайса||Richard Price}} був істотним:

{{Цитата|За сучасними стандартами ми повинні посилатися на правило Баєса-Прайса. Прайс відкрив працю Баєса, усвідомив її важливість, виправив її, вніс до статті, та знайшов їй застосування. Сучасний звичай використовувати саме лише ім'я Баєса є несправедливим, але він настільки вкорінився, що все інше має мало сенсу.<ref name="mcgrayne2011theory" />{{Oq|en|By modern standards, we should refer to the Bayes–Price rule. Price discovered Bayes's work, recognized its importance, corrected it, contributed to the article, and found a use for it. The modern convention of employing Bayes's name alone is unfair but so entrenched that anything else makes little sense.}}}}

== Див. також ==

* [[Баєсове висновування]]
* {{Не перекладено|Індуктивна ймовірність|||Inductive probability}}

== Примітки ==
{{reflist|2}}

== Джерела ==
* {{Карташов.Імовірність процеси статистика}}
* {{Гнеденко.Курс теории вероятностей}}
* {{Гіхман.Скороход.Ядренко}}
* Bruss, F. Thomas (2013), "250 years of 'An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.' ", DOI 10.1365/s13291-013-0077-z, Jahresbericht der Deutschen Mathematiker-Vereinigung, Springer Verlag, Vol. 115, Issue 3-4 (2013), 129-133. {{ref-en}}
* {{Cite book
 |first1=Andrew
 |last1=Gelman
 |first2=John B.
 |last2=Carlin
 |first3=Hal S.
 |last3=Stern
 |first4=David B.
 |last4=Dunson
 |first5=Aki
 |last5=Vehtari
 |first6=Donald B.
 |last6=Rubin
 |title=Bayesian Data Analysis
 |year=2013
 |edition=III
 |publisher=[[CRC Press]]
 |url=https://books.google.com.ua/books?id=eSHSBQAAQBAJ&printsec=frontcover
 |isbn=978-1439840955
}} {{ref-en}}
* Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)", American Mathematical Society (free pdf available) [http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/book.html]. {{ref-en}}
* {{springer|title=Bayes formula|id=p/b015380}} {{ref-en}}
* {{cite book |last=McGrayne |first=SB |title=The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy |publisher=[[Yale University Press]] |year=2011 |isbn=978-0-300-18822-6}} {{ref-en}}
* Laplace, P (1774/1986), "Memoir on the Probability of the Causes of Events", ''Statistical Science'' 1(3):364–378. {{ref-en}}
* Lee, PM (2012), "Bayesian Statistics: An Introduction", Wiley. {{ref-en}}
* Rosenthal, JS (2005), "Struck by Lightning: the Curious World of Probabilities". Harper Collings. {{ref-en}}
* {{cite journal | last1 = Stigler | first1 = SM | year = 1986 | title = Laplace's 1774 Memoir on Inverse Probability | url =https://archive.org/details/sim_statistical-science_1986-08_1_3/page/359| journal = Statistical Science | volume = 1 | issue = 3| pages = 359–363 | doi=10.1214/ss/1177013620}} {{ref-en}}
* Stone, JV (2013), download chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookBayes2012/BayesRuleBookMain.html "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis"], Sebtel Press, England. {{ref-en}}
* Зельнер А. Байесовские методы в эконометрии. — М.: Статистика, 1980. — 438 с. {{ref-ru}}

== Посилання ==

* {{Britannica|56808|Bayes's theorem}}
* [http://www.nytimes.com/2011/08/07/books/review/the-theory-that-would-not-die-by-sharon-bertsch-mcgrayne-book-review.html The Theory That Would Not Die by Sharon Bertsch McGrayne] New York Times Book Review by {{нп|Джон Аллен Паулос|John Allen Paulos||John Allen Paulos}} on 5 August 2011 {{ref-en}}
* {{YouTube|id=Zxm4Xxvzohk|title=Візуальне пояснення Баєса з використанням дерев}} {{ref-en}} {{ref-uk}}
* {{YouTube|id=D8VZqxcu0I0|title=Візуальне пояснення частотницької інтерпретації Баєса}} {{ref-en}}
* [http://jeff560.tripod.com/b.html Найраніші відомі використання деяких слів математики (B)]. Містить витоки "Bayesian", "Bayes' Theorem", "Bayes Estimate/Risk/Solution", "Empirical Bayes" та "Bayes Factor". {{ref-en}}
* {{MathWorld | urlname=BayesTheorem | title=Bayes' Theorem}}
* {{PlanetMath | urlname=BayesTheorem | title=Bayes' theorem | id=1051}}
* [https://web.archive.org/web/20140202131520/http://rldinvestments.com/Articles/BayesTheorem.html Bayes Theorem and the Folly of Prediction] {{ref-en}}
* [http://www.celiagreen.com/charlesmccreery/statistics/bayestutorial.pdf A tutorial on probability and Bayes' theorem devised for Oxford University psychology students] {{ref-en}}
* [http://yudkowsky.net/rational/bayes An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky] {{ref-en}}
* [http://zero2hero.org/article/math/54-proportsiyi-klyuch-k-teoreme-bayesa «Пропорции — ключ к теореме Байеса»] {{ref-ru}} — переклад статті [http://betterexplained.com/articles/understanding-bayes-theorem-with-ratios/ Understanding Bayes Theorem With Ratios | BetterExplained]{{ref-en}}


[[Категорія:Баєсова статистика]]
[[Категорія:Теореми теорії ймовірностей]]
[[Категорія:Математичні теореми|Баєса]]
[[Категорія:1812 у науці]]