Теорема Баєса

Синій неоновий знак, що показує просте твердження теореми Баєса

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл Гіперпараметр Емпіричний баєсів метод Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля Прийнятне правило рішення Принцип максимальної ентропії Принцип недостатнього обґрунтування Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення

У теорії ймовірностей та статистиці Теоре́ма Ба́єса (або ж Зако́н Ба́єса, чи Правило Баєса) описує ймовірність події, спираючись на обставини, що могли би бути пов'язані з цією подією. Наприклад, припустімо, що хтось цікавиться, чи має рак певна особа, і знає вік цієї особи. Якщо рак пов'язаний з віком, то, застосовуючи теорему Баєса, інформацію про вік осіб можливо використати для точнішої оцінки ймовірності того, що вони мають рак.

При застосуванні, задіяні у теоремі Баєса ймовірності можуть мати різні інтерпретації. В одній із цих інтерпретацій теорема Баєса використовується безпосередньо у певному підході до статистичного висновування. При баєсовій інтерпретації ймовірності ця теорема виражає, як повинна раціонально змінюватися суб'єктивна міра впевненості при врахуванні свідчення: це є баєсовим висновуванням, що є фундаментальним для баєсової статистики. Тим не менш, теорема Баєса має численні застосування у широкому спектрі обчислень із залученням ймовірностей, а не лише у баєсовому висновуванні.

Теорему Баєса названо на честь прп. Томаса Баєса ([ˈbeɪz]; 1701–1761), який першим запропонував рівняння, яке дозволяє новим свідченням уточнювати переконання. Її було розвинуто далі П'єром-Симоном Лапласом, який вперше опублікував це сучасне формулювання у своїй праці 1812 року «Аналітична теорія ймовірностей». Сер Гарольд Джеффріс поклав баєсів алгоритм та лапласове формулювання на аксіоматичну основу. Деффріс писав, що теорема Баєса «є для теорії ймовірностей тим, чим теорема Піфагора є для геометрії».

Твердження теореми

Візуалізація теореми Баєса суперпозицією двох дерев ухвалення рішень

Теорема Баєса задається математично таким рівнянням:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$,

де $A$ та $B$ є подіями.

• $P(A)$ та $P(B)$ є ймовірностями $A$ та $B$ безвідносно одна до одної.
• $P(A\mid B)$, умовна ймовірність, є ймовірністю $A$ за умови істинності $B$.
• $P(B\mid A)$ є ймовірністю спостереження події $B$ за умови істинності $A$.

Приклади

Рак у віці 65 років

Припустимо, що ми хочемо знати ймовірність того, що якась особа має рак, але ми нічого не знаємо про неї. Незважаючи на відсутність жодних відомостей про особу, якусь імовірність може бути призначено на основі загальної поширеності раку. Заради цього прикладу уявімо, що нею є 1%. Це є відомим як базовий рівень, або апріорна ймовірність мати рак. «Апріорна» відповідає часу до того моменту, як нас буде поінформовано про даний конкретний випадок.

Далі, уявімо, що ми з'ясували, що тій особі 65 років. Якщо припустити, що рак та вік є пов'язаними, то цю нову порцію інформації може бути використано для кращої оцінки ризику тієї особи мати рак. Точніше, ми хотіли би знати ймовірність того, що особа має рак, якщо відомо, що їй 65 років. Ця величина є відомою як поточна ймовірність, де «поточна» відповідає теоретичній ситуації після з'ясування інформації про даний конкретний випадок.

Для того, щоби застосувати знання про вік тієї особи в поєднанні з теоремою Баєса, потрібні дві додаткові порції інформації. Зауважте, проте, що ця додаткова інформація не стосується конкретно тієї особи. Потрібна така інформація:

1. Ймовірність мати вік 65 років. Припустімо, що нею є 0.2%.
2. Ймовірність того, що особа, яка має рак, має вік 65 років. Припустімо, що нею є 0.5%. Зауважте, що вона є більшою за попереднє значення. Це відображає той факт, що люди з раком є непропорційно 65-річними.

Знаючи це, разом із базовим рівнем, ми можемо обчислити, що особа, яка має вік 65 років, має ймовірність мати рак, що дорівнює

$(0.5\%*1\%)\div 0.2\%=2.5\%$

Може стати несподіванкою, що хоча перебування у віці 65 років і збільшує ризик мати рак, ймовірність тієї особи мати рак все одно є досить низькою. Це тому, що низьким є базовий рівень раку (незалежно від віку). Це показує як важливість базового рівня, так і те, що ним зазвичай нехтують. Нехтування базовим рівнем призводить до серйозного спотворення інтерпретації статистики; отже, потрібно приділяти особливу увагу тому, щоби уникати таких помилок. Знайомство з теоремою Баєса є одним із шляхів боротьби з природною схильністю нехтувати базовими рівнями.

Задачі із застосуванням теореми Баєса часто легше зрозуміти, застосовуючи задані в задачі умови до великого набору спостережень. Припустімо, наприклад, що якась спільнота складається зі 100 000 людей. Відповідно до умови задачі, 1% цієї генеральної сукупності, або 1 000 людей, матимуть рак. 0.2% від цієї генеральної сукупності, або 200 людей, матимуть вік 65 років. Із 1 000 людей з раком лише 0.5%, або 5 людей, будуть 65-річними. Таким чином, очікується, що з 200 людей, які мають вік 65 років, лише 5 матимуть рак. 5/200 = 2.5%.

Перевірка на вживання наркотиків

Деревна схема, що ілюструє приклад перевірки на вживання наркотиків. U, Ū, «+» та «-» є подіями, що представляють вживання, не вживання, позитивний результат та негативний результат. Відсотки у дужках обчислюються.

Припустімо, що тест на вживання наркотиків має чутливість 99% та специфічність 99%. Тобто, цей тест даватиме 99% правильних позитивних результатів для тих, хто вживає наркотики, і 99% правильних негативних результатів для тих, хто не вживає. Припустімо, що 0.5% людей вживають наркотики. Якщо для випадково вибраної особи перевірка виявляється позитивною, то якою є ймовірність, що вона вживає наркотики?

${\begin{aligned}P({\text{вживає}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{вживає}})\times P({\text{вживає}})}{P({\text{+}}\mid {\text{вживає}})\times P({\text{вживає}})+P({\text{+}}\mid {\text{не вживає}})\times P({\text{не вживає}})}}\\[8pt]&={\frac {0.99\times 0.005}{0.99\times 0.005+0.01\times 0.995}}\\[8pt]&\approx 33.2\%\end{aligned}}$

Незважаючи на видиму точність перевірки, якщо індивідуальні перевірки дають позитивний результат, то ймовірніше, що вони не вживають наркотиків, ніж що вони їх вживають. Це ще раз свідчить про важливість базових рівнів, і як формування політики може бути кричуще помилковим, якщо базовими рівнями нехтують.

Цей несподіваний результат виникає тому, що кількість тих, хто не вживає, є дуже великою у порівнянні з кількістю тих, хто вживає; таким чином, кількість хибних позитивних результатів (0.995%) переважує кількість правильних позитивних результатів (0.495%). На конкретних цифрах, якщо перевірено 1000 осіб, то очікується 995 тих, хто не вживає наркотиків, і 5 тих, хто вживає. Із 995 тих, хто не вживає, очікується 0.01 × 995 ≃ 10 хибних позитивних результатів. Із 5 тих, хто вживає, очікується 0.99 × 5 ≃ 5 правильних позитивних результатів. Із 15 позитивних результатів лише 5, близько 33%, є істинними.

Примітка: Важливість специфічності може бути проілюстровано показуванням, що навіть якщо чутливість є 100%, а специфічність є 99%, то ймовірність того, що особа вживає наркотики, є ≈33%, але якщо специфічність змінюється до 99.5%, а чутливість падає до 99%, то ймовірність того, що особа вживає наркотики, виростає до 49.8%.

Складніший приклад

Вся продукція заводу виробляється на трьох верстатах. На ці три верстати приходяться 20%, 30% та 50% продукції відповідно. Частка бракованих виробів є такою: 5% для першого верстата, 3% для другого верстата та 1% для третього. Якщо виріб, вибраний навмання із загального обсягу продукції, виявився бракованим, то якою є ймовірність того, що його було зроблено на третьому верстаті?

Розв'язання є таким. Нехай $A_{i}$ позначає подію, що випадково вибраний виріб було зроблено на $i$-тому верстату (для $i=1,2,3$). Нехай $B$ позначає подію, що випадково вибраний виріб є бракованим. Тоді ми маємо наступну інформацію:

$P(A_{1})=0.2,P(A_{2})=0.3,P(A_{3})=0.5$

Якщо виріб було зроблено на верстаті $A_{1}$, то ймовірністю його бракованості є 0.05, тобто, $P(B\mid A_{1})=0.05$. Загалом ми маємо

$P(B\mid A_{1})=0.05,P(B\mid A_{2})=0.03,P(B\mid A_{3})=0.01$

Для отримання відповіді на початкове питання ми спочатку знаходимо $P(B)$. Це може бути зроблено наступним чином:

$P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024$

Отже, 2.4% загального обсягу продукції заводу є бракованими.

Нам задано, що $B$ сталося, і ми хочемо обчислити умовну ймовірність $A_{3}$. За теоремою Баєса

$P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)}}={\frac {(0.01)(0.50)}{0.024}}={\frac {5}{24}}$.

За умови бракованості виробу ймовірністю того, що його було зроблено на третьому верстаті, є лише 5/24. Незважаючи на те, що верстат 3 виробляє половину загального обсягу продукції, він видає значно меншу частку бракованих виробів. Тому знання того, що вибраний виріб є бракованим, дозволяє нам замінити апріорну ймовірність $P(A_{3})=1/2$ меншою апостеріорною ймовірністю $P(A_{3}\mid B)=5/24$.

Знову ж таки, цієї відповіді може бути досягнуто без вдавання до формули, шляхом застосування умов до будь-якого гіпотетичного числа випадків. Наприклад, у 100 000 виробах, вироблених заводом, 20 000 буде вироблено верстатом A, 30 000 — верстатом B, і 50 000 — верстатом C. Верстат A виробить 1 000 бракованих виробів, верстат B — 900, а верстат C — 500. Із загального числа 2 400 бракованих виробів лише 500, або 5/24, було вироблено верстатом C.

Інтерпретації

Геометрична візуалізація теореми Баєса. Значення 2, 3, 6 та 9 у таблиці задають відносну вагу кожних з відповідних умов та випадків. Фігури позначають клітинки таблиці, залучені до кожного з показників, де ймовірність є затемненою часткою фігури. Це показує, що P (A |B ) P (B ) = P (B |A ) P (A ), тобто, P (A |B ) = P (B |A ) P (A )/P (B ). Схожі міркування може бути застосовано, щоби показати, що P (Ā|B ) = P (B |Ā) P (Ā)/P (B ) і так далі.

Інтерпретація теореми Баєса залежить від інтерпретацій імовірності, що приписуються її членам. Нижче описано дві головні інтерпретації.

Баєсова інтерпретація

У баєсовій (або епістемологічній) інтерпретації ймовірність вимірює міру впевненості. Теорема Баєса відтак пов'язує міру впевненості у висловленні до та після врахування свідчення. Наприклад, припустімо, що вважається із впевненістю 50%, що монета вдвічі ймовірніше падає гербом, ніж номіналом. Якщо монету підкидають кілька разів та спостерігають результати, то міра впевненості може рости, зменшуватися чи залишатися незмінною залежно від результатів.

Для висловлення $A$ та свідчення $B$

• $P(A)$, апріорна, — це початкова міра впевненості в $A$.
• $P(A\mid B)$, апостеріорна, — це міра впевненості із врахуванням $B$.
• частка ${\frac {P(B\mid A)}{P(B)}}$ представляє підтримку, що $B$ надає для $A$.

Для подальшої інформації про застосування теореми Баєса при баєсовій інтерпретації ймовірності див. баєсове висновування.

Частотницька інтерпретація

Ілюстрація частотницької інтерпретації за допомогою деревних схем. Теорема Баєса зв'язує умовні ймовірності з оберненими до них.

У частотницькій інтерпретації ймовірність вимірює частку результатів. Наприклад, припустімо, що експеримент проводиться багато разів. $P(A)$ є часткою результатів із властивістю $A$, а $P(B)$ — із властивістю $B$. $P(B\mid A)$ є часткою результатів із властивістю $B$ серед результатів із властивістю $A$, а $P(A\mid B)$ — часткою тих, що з $A$ серед тих, що з $B$.

Роль теореми Баєса найкраще візуалізується за допомогою деревоподібних схем, як показано праворуч. Ці дві діаграми розділюють одні й ті самі результати за $A$ та $B$ у протилежному порядку, для отримання зворотних ймовірностей. Теорема Баєса слугує зв'язком між цими двома розділюваннями.

Приклад

Деревна схема, що ілюструє частотницький приклад. R, C, P та P з рискою — це події, що представляють рідкісний, поширений, з візерунком та без візерунку. Відсотки у дужках обчислюються. Зауважте, що надано три незалежні значення, отже є можливим обчислити обернене дерево (див. ілюстрацію вище).

Ентомолог бачить, можливо, рідкісний підвид жука, через візерунок на його спині. В рідкісного підвиду 98% мають цей візерунок, або P(Поширений|Рідкісний) = 98%. В поширеного підвиду цей візерунок мають 5%. Рідкісний підвид налічує лише 0.1% від популяції. Наскільки ймовірно, що жук з візерунком є рідкісним, або чому дорівнює P(Рідкісний|Поширений)?

З розширеної форми теореми Баєса (оскільки будь-який жук може бути лише рідкісним або поширеним),

${\begin{aligned}P({\text{Рідкісний}}\mid {\text{Поширений}})&={\frac {P({\text{Поширений}}\mid {\text{Рідкісний}})P({\text{Рідкісний}})}{P({\text{Поширений}}\mid {\text{Рідкісний}})P({\text{Рідкісний}})\,+\,P({\text{Поширений}}\mid {\text{Спільний}})P({\text{Спільний}})}}\\[8pt]&={\frac {0.98\times 0.001}{0.98\times 0.001+0.05\times 0.999}}\\[8pt]&\approx 1.9\%.\end{aligned}}$

Форми

Події

Проста форма

Для подій $A$ та $B$, за умови, що $P(B)\neq 0$,

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}\cdot \,$

У багатьох застосуваннях, наприклад, у баєсовому висновуванні, подія $B$ під час розгляду є фіксованою, і ми хочемо розглядати вплив того, що трапилося її спостереження, на нашу впевненість у різних можливих подіях $A$. У такій ситуації знаменник крайнього виразу, ймовірність заданого свідчення $B$, є фіксованим, а варіювати ми хочемо $A$. Тоді теорема Баєса показує, що апостеріорні ймовірності є пропорційними до чисельника:

$P(A\mid B)\propto P(A)\cdot P(B\mid A)\$ (пропорційність за $A$ для заданого $B$).

Словами: апостеріорне пропорційне апріорній кількості разів правдоподібності.

Якщо події $A_{1},A_{2},\ldots$ є взаємовиключними та вичерпними, тобто, одна з них точно відбувається, але жодні дві не можуть відбуватися одночасно, і ми знаємо їхні ймовірності з точністю до пропорційності, то ми можемо визначити коефіцієнт пропорційності, використовуючи той факт, що їхні ймовірності повинні давати в сумі одиницю. Наприклад, для заданої події $A$ сама подія $A$ та її доповнення $\lnot A$ є взаємовиключними та вичерпними. При позначенні коефіцієнту пропорційності через $c$ ми маємо

$P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\$ та $P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)\cdot$

Шляхом додавання цих двох формул ми виводимо

$c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A)}}.$

Альтернативна форма

Іншою формою теореми Баєса, що звичайно зустрічається при розгляді двох конкурентних тверджень або гіпотез, є

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot$

Для епістемологічної інтерпретації:

Для висловлення $A$ та свідчення або передумови $B$,

• $P(A)$, апріорна ймовірність, є початковою мірою впевненості в $A$.
• $P(\neg A)$ є відповідною ймовірністю початкової міри впевненості проти $A$: $1-P(A)=P(\neg A)$
• $P(B\mid A)$, умовна ймовірність або правдоподібність, є мірою впевненості в $B$ за умови істинності висловлення $A$.
• $P(B\mid \neg A)$, умовна ймовірність або правдоподібність, є мірою впевненості в $B$ за умови хибності висловлення $A$.
• $P(A\mid B)$, апостеріорна ймовірність, є ймовірністю $A$ після врахування $B$ за та проти $A$.

Розширена форма

Часто для деякого розбиття $\{A_{j}\}$ простору вибірки цей простір подій задається або умоглядно представляється у термінах $P(A_{j})$ та $P(B\mid A_{j})$. У такому випадку зручно обчислювати $P(B)$ із використанням закону повної ймовірності:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},$

$\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}\cdot$

В окремому випадку, коли $A$ є двійковою змінною:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot$

Випадкові змінні

Схема, що ілюструє значення теореми Баєса при застосуванні до простору подій, породжуваного безперервними випадковими змінними X та Y. Зауважте, що існує випадок теореми Баєса для будь-якої точки області визначення. На практиці ці випадки може бути параметризовано записуванням вказаних густин ймовірності як функції від x та y.

Розгляньмо простір подій $\Omega$, породжуваний двома випадковими змінними $X$ та $Y$. В принципі, теорема Баєса застосовується до подій $A=\{X=x\}$ та $B=\{Y=y\}$. Однак, члени стають нульовими у точках, де будь-яка зі змінних має скінченну густину імовірності. Щоби теорема Баєса залишалася придатною, її може бути сформульовано у термінах доречних густин (див. Виведення).

Проста форма

Якщо $X$ є безперервною, а $Y$ — дискретною,

$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}$.

Якщо $X$ є дискретною, а $Y$ — безперервною,

$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}$.

Якщо як $X$, так і $Y$ є безперервними,

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}$.

Розширена форма

Схема, що ілюструє, як часто умоглядно представляють простір подій, породжуваний безперервними випадковими змінними X та Y.

Безперервний простір подій часто представляється у термінах чисельників. Часто зручно виключати знаменник, використовуючи закон повної ймовірності. Для $f_{Y}(y)$ це стає інтегралом

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi$.

Правило Баєса

Правило Баєса — це теорема Баєса у формі шансів.

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$

де

$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

називається коефіцієнтом Баєса, або відношенням правдоподібності, і шанси між двома подіями є просто відношенням ймовірностей цих двох подій. Отже,

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}}$,

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}$.

Таким чином, це правило говорить, що апостеріорні шанси є апріорними шансами, помноженими на коефіцієнт Баєса, або, іншими словами, апостеріорне пропорційне апріорній кількості разів правдоподібності.

Виведення

Для подій

Теорему Баєса може бути виведено з визначення умовної ймовірності:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}}$, якщо $P(B)\neq 0$,

$P(B\mid A)={\frac {P(A\cap B)}{P(A)}}$, якщо $P(A)\neq 0$,

$\Rightarrow P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A)$,

$\Rightarrow P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$, якщо $P(B)\neq 0$.

Для випадкових змінних

Для двох безперервних випадкових змінних $X$ та $Y$ теорему Баєса може бути виведено аналогічно з визначення умовної густини:

$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

$\Rightarrow f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}$.

Історія

Теорему Баєса названо на честь преподобного Томаса Баєса (1701–61), який вивчав, як обчислювати розподіл для параметру ймовірності біноміального розподілу (у сучасній термінології). Неопублікований рукопис Баєса було суттєво відредаговано Річардом Прайсом до того, як його було посмертно прочитано в Королівському товаристві. Прайс відредагував головну працю Баєса, «Есе щодо розв'язання задачі у Доктрині шансів» (1763), що з'явилася в журналі Philosophical Transactions, і містить теорему Баєса. Прайс написав передмову до цієї праці, що подає дещо з філософських основ баєсової статистики. У 1765 році його було обрано Членом Королівського товариства, на визнання його праці над спадком Баєса.

Французький математик П'єр-Симон Лаплас відтворив та узагальнив результати Баєса у 1774 році, очевидно, не підозрюючи про працю Баєса. Стівен Стіглер у 1983 році висловив думку, що теорему Баєса було відкрито Ніколасом Сондерсоном за деякий час до Баєса. Проте ця інтерпретація була спірною.

Мартін Купер та Шарон Мак-Грейн стверджують, що внесок Річарда Прайса був істотним:

За сучасними стандартами ми повинні посилатися на правило Баєса-Прайса. Прайс відкрив працю Баєса, усвідомив її важливість, виправив її, вніс до статті, та знайшов їй застосування. Сучасний звичай використовувати саме лише ім'я Баєса є несправедливим, але він настільки вкорінився, що все інше має мало сенсу. Оригінальний текст (англ.) By modern standards, we should refer to the Bayes–Price rule. Price discovered Bayes's work, recognized its importance, corrected it, contributed to the article, and found a use for it. The modern convention of employing Bayes's name alone is unfair but so entrenched that anything else makes little sense.

Див. також

• Баєсове висновування
• Індуктивна ймовірність

Література

• Bruss, F. Thomas (2013), "250 years of 'An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.' ", DOI 10.1365/s13291-013-0077-z, Jahresbericht der Deutschen Mathematiker-Vereinigung, Springer Verlag, Vol. 115, Issue 3-4 (2013), 129-133. (англ.)
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (вид. III). CRC Press. ISBN 978-1439840955. (англ.)
• Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)", American Mathematical Society (free pdf available) [1]. (англ.)
• Hazewinkel, Michiel, ред. (2001), formula Bayes formula, Математична енциклопедія, Springer, ISBN 978-1-55608-010-4 (англ.)
• McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy. Yale University Press. ISBN 978-0-300-18822-6. (англ.)
• Laplace, P (1774/1986), "Memoir on the Probability of the Causes of Events", Statistical Science 1(3):364–378. (англ.)
• Lee, PM (2012), "Bayesian Statistics: An Introduction", Wiley. (англ.)
• Rosenthal, JS (2005), "Struck by Lightning: the Curious World of Probabilities". Harper Collings. (англ.)
• Stigler, SM (1986). Laplace's 1774 Memoir on Inverse Probability. Statistical Science. 1 (3): 359—363. doi:10.1214/ss/1177013620. (англ.)
• Stone, JV (2013), download chapter 1 of "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England. (англ.)
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Зельнер А. Байесовские методы в эконометрии. — М.: Статистика, 1980. — 438 с. (рос.)

Посилання

• Bayes's theorem в онлайн-версії «Encyclopædia Britannica». (англ.)
• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011 (англ.)
• Візуальне пояснення Баєса з використанням дерев на YouTube (англ.) (укр.)
• Візуальне пояснення частотницької інтерпретації Баєса на YouTube (англ.)
• Найраніші відомі використання деяких слів математики (B). Містить витоки "Bayesian", "Bayes' Theorem", "Bayes Estimate/Risk/Solution", "Empirical Bayes" та "Bayes Factor". (англ.)
• Weisstein, Eric W. Bayes' Theorem(англ.) на сайті Wolfram MathWorld.
• Bayes' theorem на PlanetMath.(англ.)
• Bayes Theorem and the Folly of Prediction (англ.)
• A tutorial on probability and Bayes' theorem devised for Oxford University psychology students (англ.)
• An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky (англ.)
• «Пропорции — ключ к теореме Байеса» (рос.) — переклад статті Understanding Bayes Theorem With Ratios | BetterExplained(англ.)