Відмінності між версіями «Парадокс Сімпсона»

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
[перевірена версія][перевірена версія]
Рядок 87: Рядок 87:
 
== Застосування ==
 
== Застосування ==
   
Парадокс Сімпсона ілюструє неправомірність деяких іноді небезпечних для життя узагальнень. Так, наприклад, у ході експерименту в групі чоловіків і групі жінок, хворих однієї і тієї ж хворобою, до стандартного лікування додали новий лікарський препарат. Результат в обох групах окремо підтверджував ефективність нового засобу.
+
Парадокс Сімпсона ілюструє неправомірність деяких іноді небезпечних для життя узагальнень. Так, наприклад, в ході експерименту в групі чоловіків і групі жінок, хворих на одну й ту ж хворобу, до стандартного лікування додали новий лікарський препарат. Результат в обох групах окремо підтверджував ефективність нового засобу.
 
{| class="wikitable"
 
{| class="wikitable"
 
!Чоловіки
 
!Чоловіки
!Приймали ліки
+
!Вживали ліки
!Не приймали ліки
+
!Не вживали ліки
 
|-
 
|-
 
|Видужали
 
|Видужали
Рядок 107: Рядок 107:
 
{| class="wikitable"
 
{| class="wikitable"
 
!Жінки
 
!Жінки
!Приймали ліки
+
!Вживали ліки
!Не приймали ліки
+
!Не вживали ліки
 
|-
 
|-
 
|Видужали
 
|Видужали
Рядок 122: Рядок 122:
 
|1.429
 
|1.429
 
|}
 
|}
Інтуїтивно здається, що якщо в обох групах простежується залежність, вона повинна проявитися і при об'єднанні цих груп. Але хоча співвідношення тих, що видужали і хворих серед і жінок, і чоловіків, що приймали ліки, більше ніж серед тих з них, хто їх не використав, в агрегованих даних ця закономірність не зберігається.
+
Інтуїтивно здається, що якщо в обох групах простежується залежність, вона повинна проявитися і при об'єднанні цих груп. Але хоча існує позитивна кореляція між вживанням ліків та одужанням як серед чоловіків, так і серед жінок, при об'єднанні пацієнтів в одну групу кореляція стає негативною.
 
{| class="wikitable"
 
{| class="wikitable"
 
!Сума
 
!Сума
Рядок 140: Рядок 140:
 
|1.171
 
|1.171
 
|}
 
|}
Співвідношення в агрегованих даних 850/870 <480/410, тобто 0,977 <1,171. Отже, частка тих, хто одужав, серед приймавших ліки менше тієї ж частки серед не приймавших.
+
Співвідношення в агрегованих даних 850/870 <480/410, тобто 0,977 <1,171. Отже, кореляція між вживанням та одужанням виходить негативною.
   
 
Причина парадоксу полягає у неправильному перенесенні висновків, справедливих для окремих груп людей, на їх об'єднання. Одним із способів вирішення парадоксу є використання [[Формула повної ймовірності|формули повної ймовірності.]] Парадокс Сімпсона показує, що висновки з результатів соціологічних опитувань і непрофесійних, з точки зору статистики, експериментів не можна приймати як незаперечні, доведені науковим шляхом.
 
Причина парадоксу полягає у неправильному перенесенні висновків, справедливих для окремих груп людей, на їх об'єднання. Одним із способів вирішення парадоксу є використання [[Формула повної ймовірності|формули повної ймовірності.]] Парадокс Сімпсона показує, що висновки з результатів соціологічних опитувань і непрофесійних, з точки зору статистики, експериментів не можна приймати як незаперечні, доведені науковим шляхом.

Версія за 01:08, 25 травня 2019

Парадокс Симпсона для кількісних даних: додатній напрям ( ,  ) з'являється для двох окремих груп, тоді як, негативний напрям ( ) з'являється, коли групи об'єднуються.

Парадокс Сімпсона (ефект Юла-Сімпсона, парадокс об'єднання) — парадокс у статистиці, коли при наявності двох груп даних, в кожній з яких спостерігається однаково спрямована залежність, при об'єднанні цих груп ця залежність або зникає або змінює свій напрям на протилежний.

Це явище було описано Едвардом Сімпсоном[en] в технічній статті 1951 року[1], проте статистики Карл Пірсон у 1899[2] та Удні Юл[en] у 1903 році[3], також згадували подібний ефект. Назву «парадокс Сімпсона» вперше застосував Колін Блайт (Blyth, Colin R.) у 1972 році. Однак, так як Сімпсон не був першовідкривачем цього ефекту, деякі автори використовують безособові назви, наприклад, «парадокс об'єднання».

Історія відкриття парадоксу

Перший раз розглянута ситуація відзначена Карлом Пірсоном у статті «Математичний внесок у теорію еволюції». Він розглядає залежність ознак різнорідних груп коней. У. Юл робить більш детальний аналіз подібних популяційних змін, вивчаючи механізми спадковості. Сімпсон розглядає те, що він називає «цікавим випадком» в кількох розділах статті «The Interpretation of Interaction in Contingency Tables». Сімпсон був першим автором, який вивчав це явище з точки зору статистики. Тому згодом математик К. Р. Блайт в статті «On Simpson's Paradox and the Sure-Thing Principle» вводить термін «парадокс Сімпсона».

Приклади

Приклад з фішками

Нехай є чотири капелюхи (два чорних і два сірих), 41 фішка (23 кольорових і 18 білих) і два столи (А і Б). Фішки розподілені по капелюхах наступним чином:

• У чорному капелюсі на столі А лежать 5 кольорових і 6 білих фішок.

• У сірому капелюсі на столі А лежать 3 кольорові і 4 білі фішки.

• У чорному капелюсі на столі Б лежать 6 кольорових і 3 білих фішки.

• У сірому капелюсі на столі Б лежать 9 кольорових і 5 білих фішок.

Припустимо, що ви хочете витягти кольорову фішку.

Якщо ви перебуваєте біля стола А, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 5/11 = 35/77, а з сірого капелюха на тому ж столі — 3/7 = 33/77; таким чином, кольорову фішку більше шансів витягнути з чорного капелюха, ніж із сірого.

Якщо ви перебуваєте біля стола Б, то ймовірність отримати кольорову фішку з чорного капелюха дорівнює 6/9 = 28/42, а із сірого капелюха — 9/14 = 27/42; таким чином, і тут кольорову фішку більше шансів витягнути із чорного капелюха, ніж із сірого.

Припустимо тепер, що фішки з двох чорних капелюхів складені в один чорний капелюх на столі В, а фішки з двох сірих капелюхів — в один сірий капелюх на столі В. На перший погляд, логічно було б припустити, що ймовірність витягнути кольорову фішку з чорного капелюха вище, ніж із сірого. Але це невірно:

• ймовірність витягнути кольорову фішку із чорного капелюха на столі В дорівнює 11/20 = 231/420,

• ймовірність витягнути кольорову фішку із сірого капелюха на столі В дорівнює 12/21 = 240/420,

тобто більше шансів отримати кольорову фішку з сірого капелюха, ніж із чорного[4].

Приклад з камінням

Нехай ми маємо чотири набори каменів. Імовірність витягти чорний камінь з набору № 1 вища, ніж з набору № 2. У свою чергу, ймовірність витягнути чорний камінь з набору № 3 більша, ніж з набору № 4. Об'єднаємо набір № 1 з набором № 3 (отримаємо набір I), а набір № 2 — з набором № 4 (набір II). Інтуїтивно можна очікувати, що ймовірність витягнути чорний камінь з набору I буде вище, ніж з набору II. Однак в загальному випадку таке твердження не вірне.

Математичне доведення таке. Нехай ni кількість чорних каменів в i-ом наборі (вибірці), mi — загальнa кількість каменів в i-ом наборі при i = 1,2,3,4. За умовою:

Імовірність витягти чорний камінь з наборів I і II, відповідно:

Вираз для набору I не завжди більший за вираз для набору II. Наприклад:Легко перевірити, що .

В той час як .

Ймовірність

У доповіді Павлідова та Перлманова представляється доказ того, що у випадковій 2 × 2 × 2 таблиці із рівномірним розподілом, парадокс Сімпсона буде відбуватися з ймовірністю точно 1/60. Дослідження, проведене Коком передбачає, що ймовірність того, що парадокс Сімпсона відбуватиметься випадковим чином в моделях шляху (тобто моделі, що генеруються за допомогою аналізу шляху (статистики)) з двома предикторами і однією змінною становить приблизно 12,8 відсотка; трохи вище, ніж 1 поява на 8 моделей шляху.

Застосування

Парадокс Сімпсона ілюструє неправомірність деяких іноді небезпечних для життя узагальнень. Так, наприклад, в ході експерименту в групі чоловіків і групі жінок, хворих на одну й ту ж хворобу, до стандартного лікування додали новий лікарський препарат. Результат в обох групах окремо підтверджував ефективність нового засобу.

Чоловіки Вживали ліки Не вживали ліки
Видужали 700 80
Не видужали 800 130
Співвідношення 0.875 0.615
Жінки Вживали ліки Не вживали ліки
Видужали 150 400
Не видужали 70 280
Співвідношення 2.142 1.429

Інтуїтивно здається, що якщо в обох групах простежується залежність, вона повинна проявитися і при об'єднанні цих груп. Але хоча існує позитивна кореляція між вживанням ліків та одужанням як серед чоловіків, так і серед жінок, при об'єднанні пацієнтів в одну групу кореляція стає негативною.

Сума Приймали ліки Не приймали ліки
Видужали 850 480
Не видужали 870 410
Співвідношення 0.977 1.171

Співвідношення в агрегованих даних 850/870 <480/410, тобто 0,977 <1,171. Отже, кореляція між вживанням та одужанням виходить негативною.

Причина парадоксу полягає у неправильному перенесенні висновків, справедливих для окремих груп людей, на їх об'єднання. Одним із способів вирішення парадоксу є використання формули повної ймовірності. Парадокс Сімпсона показує, що висновки з результатів соціологічних опитувань і непрофесійних, з точки зору статистики, експериментів не можна приймати як незаперечні, доведені науковим шляхом.

Примітки

  1. Simpson, Edward H. (1951). The Interpretation of Interaction in Contingency Tables. Journal of the Royal Statistical Society, Series B 13: 238–241. 
  2. Pearson, Karl; Lee, Alice; Bramley-Moore, Lesley (1899). Genetic (reproductive) selection: Inheritance of fertility in man, and of fecundity in thoroughbred racehorses. Philosophical Transactions of the Royal Society A 192: 257–330. doi:10.1098/rsta.1899.0006. 
  3. G. U. Yule (1903). Notes on the Theory of Association of Attributes in Statistics. Biometrika 2 (2): 121–134. doi:10.1093/biomet/2.2.121.