Парадокс Сімпсона

Парадокс Симпсона для кількісних даних: додатній напрям ( ,  ) з'являється для двох окремих груп, тоді як, негативний напрям ( ) з'являється, коли групи об'єднуються.

Парадокс Сімпсона (ефект Юла-Сімпсона, парадокс об'єднання) — парадокс у статистиці, коли при наявності двох груп даних, в кожній з яких спостерігається однаково спрямована залежність, при об'єднанні цих груп ця залежність або зникає або змінює свій напрям на протилежний.

Це явище було описано Едвардом Сімпсоном в технічній статті 1951 року, проте статистики Карл Пірсон у 1899 та Удні Юл у 1903 році, також згадували подібний ефект. Назву «парадокс Сімпсона» вперше застосував Колін Блайт (Blyth, Colin R.) у 1972 році. Однак, так як Сімпсон не був першовідкривачем цього ефекту, деякі автори використовують безособові назви, наприклад, «парадокс об'єднання».

Історія відкриття парадоксу

Перший раз розглянута ситуація відзначена Карлом Пірсоном у статті «Математичний внесок у теорію еволюції». Він розглядає залежність ознак різнорідних груп коней. У. Юл робить більш детальний аналіз подібних популяційних змін, вивчаючи механізми спадковості. Сімпсон розглядає те, що він називає «цікавим випадком» в кількох розділах статті «The Interpretation of Interaction in Contingency Tables». Сімпсон був першим автором, який вивчав це явище з точки зору статистики. Тому згодом математик К. Р. Блайт в статті «On Simpson's Paradox and the Sure-Thing Principle» вводить термін «парадокс Сімпсона».

Приклади

Приклад з фішками

Нехай є чотири капелюхи (два чорних і два сірих), 41 фішка (23 кольорових і 18 білих) і два столи (А і Б). Фішки розподілені по капелюхах наступним чином:

• У чорному капелюсі на столі А лежать 5 кольорових і 6 білих фішок.

• У сірому капелюсі на столі А лежать 3 кольорові і 4 білі фішки.

• У чорному капелюсі на столі Б лежать 6 кольорових і 3 білих фішки.

• У сірому капелюсі на столі Б лежать 9 кольорових і 5 білих фішок.

Припустимо, що ви хочете витягти кольорову фішку.

Якщо ви перебуваєте біля стола А, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 5/11 = 35/77, а з сірого капелюха на тому ж столі — 3/7 = 33/77; таким чином, кольорову фішку більше шансів витягнути з чорного капелюха, ніж із сірого.

Якщо ви перебуваєте біля стола Б, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 6/9 = 28/42, а із сірого капелюха — 9/14 = 27/42; таким чином, і тут кольорову фішку більше шансів витягнути із чорного капелюха, ніж із сірого.

Припустимо тепер, що фішки з двох чорних капелюхів складені в один чорний капелюх на столі В, а фішки з двох сірих капелюхів — в один сірий капелюх на столі В. На перший погляд, логічно було б припустити, що ймовірність витягнути кольорову фішку з чорного капелюха вище, ніж із сірого. Але це невірно:

• ймовірність витягнути кольорову фішку із чорного капелюха на столі В дорівнює 11/20 = 231/420,

• ймовірність витягнути кольорову фішку із сірого капелюха на столі В дорівнює 12/21 = 240/420,

тобто більше шансів отримати кольорову фішку з сірого капелюха, ніж із чорного[4].

Приклад з камінням

Нехай ми маємо чотири набори каменів. Імовірність витягти чорний камінь з набору № 1 вища, ніж з набору № 2. У свою чергу, ймовірність витягнути чорний камінь з набору № 3 більша, ніж з набору № 4. Об'єднаємо набір № 1 з набором № 3 (отримаємо набір I), а набір № 2 — з набором № 4 (набір II). Інтуїтивно можна очікувати, що ймовірність витягнути чорний камінь з набору I буде вище, ніж з набору II. Однак в загальному випадку таке твердження не вірне.

Математичне доведення таке. Нехай n_i кількість чорних каменів в i-му наборі (вибірці), m_i — загальна кількість каменів в i-му наборі при i = 1, 2, 3, 4. За умовою:

${\frac {n_{1}}{m_{1}}}>{\frac {n_{2}}{m_{2}}},{\frac {n_{3}}{m_{3}}}>{\frac {n_{4}}{m_{4}}}.$

Імовірність витягти чорний камінь з наборів I і II, відповідно:

${\frac {n_{1}+n_{3}}{m_{1}+m_{3}}},{\frac {n_{2}+n_{4}}{m_{2}+m_{4}}}.$

Вираз для набору I не завжди більший за вираз для набору II. Наприклад:$n_{1}=6,m_{1}=13,n_{2}=4,~m_{2}=9,~n_{3}=6,~m_{3}=9,~n_{4}=9,~m_{4}=14$. Легко перевірити, що $6/13>4/9,6/9>9/14$.

В той час як $12/22<13/23$.

Ймовірність

У доповіді Павлідова та Перлманова представляється доказ того, що у випадковій 2 × 2 × 2 таблиці із рівномірним розподілом, парадокс Сімпсона буде відбуватися з ймовірністю точно 1/60. Дослідження, проведене Коком передбачає, що ймовірність того, що парадокс Сімпсона відбуватиметься випадковим чином в моделях шляху (тобто моделі, що генеруються за допомогою аналізу шляху (статистики)) з двома предикторами і однією змінною становить приблизно 12,8 відсотка; трохи вище, ніж 1 поява на 8 моделей шляху.

Застосування

Парадокс Сімпсона ілюструє неправомірність деяких іноді небезпечних для життя узагальнень. Так, наприклад, в ході експерименту в групі чоловіків і групі жінок, хворих на одну й ту ж хворобу, до стандартного лікування додали новий лікарський препарат. Результат в обох групах окремо підтверджував ефективність нового засобу.

Чоловіки	Вживали ліки	Не вживали ліки
Видужали	700	80
Не видужали	800	130
Співвідношення	0.875	0.615

Жінки	Вживали ліки	Не вживали ліки
Видужали	150	400
Не видужали	70	280
Співвідношення	2.142	1.429

Інтуїтивно здається, що якщо в обох групах простежується залежність, вона повинна проявитися і при об'єднанні цих груп. Але хоча існує позитивна кореляція між вживанням ліків та одужанням як серед чоловіків, так і серед жінок, при об'єднанні пацієнтів в одну групу кореляція стає негативною.

Сума	Приймали ліки	Не приймали ліки
Видужали	850	480
Не видужали	870	410
Співвідношення	0.977	1.171

Співвідношення в агрегованих даних 850/870 <480/410, тобто 0,977 <1,171. Отже, кореляція між вживанням та одужанням виходить негативною.

Причина парадоксу полягає у неправильному перенесенні висновків, справедливих для окремих груп людей, на їх об'єднання. Конкретно в цьому випадку серед вибірки жінок був непропорційно високий відсоток тих, що не вживали ліків (порівняно з чоловіками), у той час як ліки більше допомагали жінкам, ніж чоловікам.

Одним із способів вирішення парадоксу є використання формули повної ймовірності. Парадокс Сімпсона показує, що висновки з результатів соціологічних опитувань і непрофесійних, з точки зору статистики, експериментів не можна приймати як незаперечні, доведені науковим шляхом.