Парадокс Сімпсона

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук
Парадокс Симпсона для кількісних даних: додатній напрям ( ,  ) з'являється для двох окремих груп, тоді як, негативний напрям ( ) з'являється, коли групи об'єднуються.

Парадокс Сімпсона (ефект Юла-Сімпсона, парадокс об'єднання) — парадокс в статистиці, коли при наявності двох груп даних, в кожній з яких спостерігається однаково спрямована залежність, при об'єднанні цих груп ця залежність або зникає або змінює свій напрям на протилежний.

Це явище було описано Едвардом Сімпсоном[en] в технічній статті 1951 року[1], проте статистики Карл Пірсон у 1899[2] та Удні Юл[en] у 1903 році[3], також згадували подібний ефект. Назву «парадокс Сімпсона» вперше застосував Колін Блайт (Blyth, Colin R.) у 1972 році. Однак, так як Сімпсон не був першовідкривачем цього ефекту, деякі автори використовують безособові назви, наприклад, «парадокс об'єднання».

Історія відкриття парадоксу[ред.ред. код]

Перший раз розглянута ситуація відзначена Карлом Пірсоном у статті «Математичний внесок у теорію еволюції». Він розглядає залежність ознак різнорідних груп коней. У. Юл робить більш детальний аналіз подібних популяційних змін, вивчаючи механізми спадковості. Сімпсон розглядає те, що він називає «цікавим випадком» в кількох розділах статті «The Interpretation of Interaction in Contingency Tables». Сімпсон був першим автором, який вивчав це явище з точки зору статистики. Тому згодом математик К. Р. Блайт в статті «On Simpson's Paradox and the Sure-Thing Principle» вводить термін «парадокс Сімпсона».

Приклади[ред.ред. код]

Приклад з фішками[ред.ред. код]

Нехай є чотири капелюхи (два чорних і два сірих), 41 фішка (23 кольорових і 18 білих) і два столи (А і Б). Фішки розподілені по капелюхах наступним чином:

• У чорному капелюсі на столі А лежать 5 кольорових і 6 білих фішок.

• У сірому капелюсі на столі А лежать 3 кольорові і 4 білі фішки.

• У чорному капелюсі на столі Б лежать 6 кольорових і 3 білих фішки.

• У сірому капелюсі на столі Б лежать 9 кольорових і 5 білих фішок.

Припустимо, що ви хочете витягти кольорову фішку.

Якщо ви перебуваєте біля стола А, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 5/11 = 35/77, а з сірого капелюха на тому ж столі — 3/7 = 33/77; таким чином, кольорову фішку більше шансів витягнути з чорного капелюха, ніж із сірого.

Якщо ви перебуваєте біля стола Б, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 6/9 = 28/42, а із сірого капелюха — 9/14 = 27/42; таким чином, і тут кольорову фішку більше шансів витягнути із чорного капелюха, ніж із сірого.

Припустимо тепер, що фішки з двох чорних капелюхів складені в один чорний капелюх на столі В, а фішки з двох сірих капелюхів — в один сірий капелюх на столі В. На перший погляд, логічно було б припустити, що ймовірність витягнути кольорову фішку з чорного капелюха вище, ніж із сірого. Але це невірно:

• ймовірність витягнути кольорову фішку із чорного капелюха на столі В дорівнює 11/20 = 231/420,

• ймовірність витягнути кольорову фішку із сірого капелюха на столі В дорівнює 12/21 = 240/420,

тобто більше шансів отримати кольорову фішку з сірого капелюха, ніж із чорного[4].

Приклад з камінням[ред.ред. код]

Нехай ми маємо чотири набори каменів. Імовірність витягти чорний камінь з набору № 1 вища, ніж з набору № 2. У свою чергу, ймовірність витягнути чорний камінь з набору № 3 більша, ніж з набору № 4. Об'єднаємо набір № 1 з набором № 3 (отримаємо набір I), а набір № 2 — з набором № 4 (набір II). Інтуїтивно можна очікувати, що ймовірність витягнути чорний камінь з набору I буде вище, ніж з набору II. Однак в загальному випадку таке твердження не вірне.

Математичне доведення таке. Нехай ni кількість чорних каменів в i-ом наборі (вибірці), mi — загальнa кількість каменів в i-ом наборі при i = 1,2,3,4. За умовою:

Імовірність витягти чорний камінь з наборів I і II, відповідно:

Вираз для набору I не завжди більший за вираз для набору II. Наприклад:Легко перевірити, що .

В той час як .

Ймовірність[ред.ред. код]

У доповіді Павлідова та Перлманова представляється доказ того, що у випадковій 2 × 2 × 2 таблиці із рівномірним розподілом, парадокс Сімпсона буде відбуватися з ймовірністю точно 1/60. Дослідження, проведене Коком передбачає, що ймовірність того, що парадокс Сімпсона відбуватиметься випадковим чином в моделях шляху (тобто моделі, що генеруються за допомогою аналізу шляху (статистики)) з двома предикторами і однією змінною становить приблизно 12,8 відсотка; трохи вище, ніж 1 поява на 8 моделей шляху.

Застосування[ред.ред. код]

Парадокс Сімпсона ілюструє неправомірність деяких іноді небезпечних для життя узагальнень. Так, наприклад, у ході експерименту в групі чоловіків і групі жінок, хворих однієї і тієї ж хворобою, до стандартного лікування додали новий лікарський препарат. Результат в обох групах окремо підтверджував ефективність нового засобу.

Чоловіки Приймали ліки Не приймали ліки
Видужали 700 80
Не видужали 800 130
Співвідношення 0.875 0.615
Жінки Приймали ліки Не приймали ліки
Видужали 150 400
Не видужали 70 280
Співвідношення 2.142 1.429

Інтуїтивно здається, що якщо в обох групах простежується залежність, вона повинна проявитися і при об'єднанні цих груп. Але хоча співвідношення тих, що видужали і хворих серед і жінок, і чоловіків, що приймали ліки, більше ніж серед тих з них, хто їх не використав, в агрегованих даних ця закономірність не зберігається.

Сума Приймали ліки Не приймали ліки
Видужали 850 480
Не видужали 870 410
Співвідношення 0.977 1.171

Співвідношення в агрегованих даних 850/870 <480/410, тобто 0,977 <1,171. Отже, частка тих, хто одужав, серед приймавших ліки менше тієї ж частки серед не приймавших.

Причина парадоксу полягає у неправильному перенесенні висновків, справедливих для окремих груп людей, на їх об'єднання. Одним із способів вирішення парадоксу є використання формули повної ймовірності. Парадокс Сімпсона показує, що висновки з результатів соціологічних опитувань і непрофесійних, з точки зору статистики, експериментів не можна приймати як незаперечні, доведені науковим шляхом.

Примітки[ред.ред. код]

  1. Simpson, Edward H. (1951). The Interpretation of Interaction in Contingency Tables. Journal of the Royal Statistical Society, Series B 13. с. 238–241. 
  2. Pearson, Karl; Lee, Alice; Bramley-Moore, Lesley (1899). Genetic (reproductive) selection: Inheritance of fertility in man, and of fecundity in thoroughbred racehorses. Philosophical Transactions of the Royal Society A 192. с. 257–330. doi:10.1098/rsta.1899.0006. 
  3. G. U. Yule (1903). Notes on the Theory of Association of Attributes in Statistics. Biometrika 2 (2). с. 121–134. doi:10.1093/biomet/2.2.121.