Хибне використання статистики

Хибне використання статистики відбувається, коли статистичний аргумент стверджує неправду. Статистика, якщо її використовувати в хибний спосіб, може змусити випадкового спостерігача повірити в щось інше, ніж те, що показують дані. У деяких випадках неправильне використання може бути випадковим. В інших — це цілеспрямовано та з метою наживи зловмисника. Якщо залучене статистичне судження хибне або неправильно застосоване, це є статистичною помилкою.

Використати статистику помилково дуже легко. Професійних вчених, навіть математиків і професійних статистиків, можна обдурити навіть якимись простими методами, навіть якщо вони ретельно все перевіряють. Відомо, що вчені обманюють себе статистикою через брак знань теорії ймовірностей і брак стандартизації своїх тестів.

Визначення, обмеження та контекст

Одне з визначень, яке можна використовувати, таке: «Зловживання статистичними даними: використання чисел таким чином, що або навмисно, або через незнання чи необережність, висновки є невиправданими або неправильними». «Цифри» містять оманливу графіку, про яку йдеться в інших місцях. Цей термін рідко зустрічається в статистичних текстах, і невідомо жодного авторитетного визначення. Це узагальнення брехні за допомогою статистики, яка була багато описана на прикладах статистиків 60 років тому.

Визначення стикається з деякими проблемами (деякі вирішуються в джерелі):

1. Статистика зазвичай виробляє ймовірності; висновки тимчасові
2. Попередні висновки містять похибки та рівень похибок. Зазвичай 5 % попередніх висновків перевірки значущості є помилковими
3. Статистики не зовсім згодні щодо ідеальних методів
4. Статистичні методи базуються на припущеннях, які рідко повністю виконуються
5. Збір даних зазвичай обмежується етичними, практичними та фінансовими обмеженнями.

Як брехати за допомогою статистики визнає, що статистика може мати різні форми. Про те, чи показує статистика, що продукт «легкий і економічний» чи «неміцний і дешевий», можна говорити незалежно від цифр. Дехто заперечує проти заміни статистичною коректністю морального лідерства (наприклад) як цілі. Покласти провину за зловживання часто важко, оскільки вчені, соціологи, статистики та репортери часто є найманими працівниками або консультантами.

Підступне зловживання статистикою завершується слухачем/спостерігачем/аудиторією/присяжним. Постачальник надає «статистику» у вигляді чисел або графіки (або фотографій до/після), що дозволяє споживачеві зробити (можливо, невиправдані чи неправильні) висновки. Поганий стан статистичної грамотності населення та нестатистична природа людської інтуїції дозволяють вводити в оману без явного отримання помилкових висновків.

Історик перерахував понад 100 помилок у дюжині категорій, включаючи помилки узагальнення та помилки причинно-наслідкових зв'язків. Деякі з помилок є явно або потенційно статистичними, включаючи помилки вибірки, статистичну нісенітницю, статистичну ймовірність, хибну екстраполяцію, хибну інтерполяцію та підступне узагальнення. Усі технічні/математичні проблеми застосування ймовірності вписуються в єдину зазначену помилку статистичної ймовірності. Багато помилок можуть бути пов'язані зі статистичним аналізом, допускаючи можливість помилкового висновку, що випливає з бездоганного статистичного аналізу.

Прикладом використання статистики є аналіз медичних досліджень. Процес включає планування експерименту, проведення експерименту, аналіз даних, складання логічних висновків і презентацію/звітування. Звіт підсумовано популярною пресою та рекламодавцями. Хибне використання статистики може бути результатом проблем на будь-якому етапі процесу. Статистичні стандарти, які ідеально застосовуються до наукового звіту, значно відрізняються від стандартів, які застосовуються до популярної преси та рекламодавців; однак існують випадки, коли реклама маскується під науку.

Прості причини

Багато хибних використань статистики відбувається тому, що

• Джерело є фахівцем у певній галузі, а не експертом зі статистики. Джерело може неправильно використовувати метод або неправильно інтерпретувати результат.
• Джерело є статистиком, а не фахівцем. Експерт повинен знати, коли порівнювані числа описують різні речі. Цифри змінюються, як не змінюється реальність, коли змінюються юридичні визначення чи політичні кордони.
• Предмет, який вивчається, не є чітко визначеним , або деякі його аспекти легко визначити кількісно, тоді як інші важко визначити, або не існує відомого методу кількісного визначення (див. помилку Макнамари). Наприклад:
  • Незважаючи на те, що тести на IQ є чисельними, важко визначити, що вони вимірюють, оскільки інтелект — це невловиме поняття.
  • «Впливовість» видання має ту саму проблему. Наукові статті та наукові журнали часто оцінюють за «впливовістю», яку кількісно визначається як кількість цитувань у пізніших публікацій. Математики та статистики дійшли висновку, що показник впливовості (хоч і відносно об'єктивний) не є дуже значущим показником. «Єдина опора на дані цитування забезпечують в кращому випадку неповне і часто поверхове розуміння досліждення. Цифри за своєю суттю не є вищими за розумні судження».
  • Здавалося б, просте питання про кількість слів в англійській мові відразу натикається на питання про архаїчні форми, облік префіксів і суфіксів, багатозначність слова, варіанти написання, діалекти, вигадливі твори (як ектопластика з ектоплазми і статистика) , технічну лексику тощо.
• Якість даних низька. Прикладом є розміри одягу. Люди мають широкий діапазон розмірів і форм тіла. Очевидно, що розміри одягу повинні бути багатовимірними. Натомість вони складні несподіваним чином. Деякий одяг продається лише за розміром (без прямого врахування форми тіла), розміри залежать від країни та виробника, а деякі розміри навмисно вводять в оману. Хоча розміри є числовими, за умови обережного використання числових значень розмірів, можливий лише найгрубіший статистичний аналіз.
• Популярна преса має обмежений досвід і змішані мотиви. Якщо факти «не заслуговують на висвітлення у новинах» (що може вимагати перебільшення), вони можуть бути не опубліковані. Мотиви рекламістів ще більш неоднозначні.
• «Політики використовують статистику так само, як п'яниця використовує ліхтарні стовпи — для підтримки, а не для освітлення» — Ендрю Ленг (WikiQuote) «Чого ми дізнаємося з цих двох способів розгляду тих самих цифр? Ми дізнаємося, що розумний пропагандист, праворуч чи ліворуч, майже завжди може знайти спосіб представити дані про економічне зростання, які, здається, підтверджують її аргументи. Тому ми також навчимося сприймати будь-який статистичний аналіз із сильно політичного джерела жменями солі». Термін «статистика» походить від чисел, які генеруються та використовуються державою. Хороший уряд може потребувати точних цифр, але популістичний уряд може потребувати підтримуючих цифр (не обов'язково однакових). «Використання та зловживання статистичними даними урядами є давнім мистецтвом».

Види неправильного використання

Відкидання несприятливих спостережень

Все, що компанія повинна зробити для просування нейтрального (некорисного) продукту, це знайти або провести, наприклад, 40 досліджень з рівнем довіри 95 %. Якщо продукт справді марний, це в середньому призведе до одного дослідження, яке показує, що продукт був корисним, одного дослідження, яке показує, що він шкідливий, і тридцяти восьми безрезультатних досліджень (38 — це 95 % із 40). Ця тактика стає ефективнішою, чим більше доступних досліджень. Організації, які не публікують кожне дослідження, яке вони проводять, наприклад тютюнові компанії, які заперечують зв'язок між курінням і раком, групи захисту інтересів проти куріння та засоби масової інформації, які намагаються довести зв'язок між курінням і різними захворюваннями, або продавці чудодійних таблеток, ймовірно, використовувати цю тактику.

Рональд Фішер розглянув це питання у своєму прикладі експерименту знаменитої жінки, яка куштує чай (з його книги 1935 року «Планування експериментів»). Стосовно повторних експериментів він сказав: «Це було б явно незаконним і позбавило б наші розрахунки основи, якби всі невдалі результати не були враховані».

Інший термін, пов'язаний з цим поняттям, — вибіркові докази.

Ігнорування важливих ознак

Багатоваріантні набори даних мають дві або більше ознак/вимірів. Якщо для аналізу вибрано занадто мало з цих ознак (наприклад, якщо вибрано лише одну ознаку та виконується проста лінійна регресія замість множинної лінійної регресії), результати можуть ввести в оману. Це робить аналітика вразливим до будь-якого з різноманітних статистичних парадоксів або в деяких (не у всіх) випадках хибної причинності, як показано нижче.

Навантажені питання

Відповідями на опитування часто можна маніпулювати, формулюючи питання таким чином, щоб спровокувати перевагу певної відповіді респондента. Наприклад, під час опитування на підтримку війни запитання:

• Чи підтримуєте ви спробу США принести свободу та демократію в інші місця світу?
• Чи підтримуєте ви неспровоковані військові дії США?

ймовірно, дані будуть спотворені в різні боки, хоча вони обидва опитують щодо підтримки війни. Краще сформулювати запитання так: «Чи підтримуєте ви поточні військові дії США за кордоном?» Ще більш нейтральний спосіб поставити це питання: «Яка ваша думка щодо поточних військових дій США за кордоном?» Справа в тому, що особа, яку запитують, не може здогадатися з формулювання, що запитувач може хотіти почути.

Інший спосіб зробити це — передати до запитання інформацію, яка підтверджує «бажану» відповідь. Наприклад, більше людей, ймовірно, відповість «так» на запитання «Враховуючи зростаючий тягар податків для сімей середнього класу, чи підтримуєте ви зниження податку на прибуток?» ніж на запитання «Враховуючи зростаючий дефіцит федерального бюджету та відчайдушну потребу в додаткових надходженнях, чи підтримуєте ви скорочення прибуткового податку?»

Правильна постановка питань може бути дуже тонкою. Відповіді на два запитання можуть сильно відрізнятися залежно від порядку їх постановки. «Опитування, яке запитувало про „володіння акціями“, показало, що більшість власників ранчо Техасу володіли акціями, хоча, ймовірно, не такими, якими торгують на Нью-Йоркській фондовій біржі».

Надмірне узагальнення

Надмірне узагальнення — це помилка, яка виникає, коли стверджується, що статистичні дані щодо певної сукупності відповідають членам групи, для якої вихідна сукупність не є репрезентативною вибіркою.

Наприклад, припустимо, що влітку 100 % яблук червоні. Твердження «Усі яблука червоні» було б прикладом надмірного узагальнення, оскільки початкова статистика була вірною лише для певної підмножини яблук (тих, що були влітку), які, як очікується, не будуть репрезентативними для сукупності яблук загалом.

Реальний приклад помилки надмірного узагальнення можна спостерігати як артефакт сучасних методів опитування, які забороняють дзвонити на мобільні телефони для політичних опитувань по телефону. Оскільки молоді люди частіше, ніж інші демографічні групи, не володіють звичайним «стаціонарним» телефоном, телефонне опитування, у якому беруть участь виключно відповіді на дзвінки зі стаціонарних телефонів, може призвести до того, що результати опитування занизять вибірку поглядів молодих людей, якщо не вжити інших заходів щоб врахувати цей перекіс вибірки. Таким чином, опитування, яке вивчає виборчі переваги молодих людей за допомогою цієї методики, може бути не зовсім точним відображенням справжніх виборчих уподобань молодих людей у цілому без надмірного узагальнення, оскільки використана вибірка виключає молодих людей, які носять лише мобільні телефони, які можуть або можуть не мати виборчих уподобань, які відрізняються від решти населення.

Надмірне узагальнення часто відбувається, коли інформація передається через нетехнічні джерела, зокрема засоби масової інформації.

Упереджені вибірки

Приклад: ефект плацебо (розум над тілом) дуже потужний. У 100 % суб'єктів з'явилася висипка під час впливу інертної речовини, яка помилково називалася отруйним плющем, тоді як у небагатьох з'явилася висипка на «нешкідливому» предметі, який насправді був отруйним плющем. Дослідники борються з цим ефектом шляхом подвійних сліпих рандомізованих порівняльних експериментів. Статистики зазвичай більше турбуються про достовірність даних, ніж про аналіз. Це відображено в галузі дослідження статистики, відомої як планування експериментів.

Вибірковий вплив стільникових телефонів на збір даних (обговорюється в розділі «Надмірне узагальнення») є одним із потенційних прикладів; Якщо молоді люди зі звичайними телефонами не є репрезентативними, вибірка може бути необ'єктивною. Вибіркові опитування мають багато підводних каменів і вимагають особливої обережності у виконанні. Одна спроба вимагала майже 3000 телефонних дзвінків, щоб отримати 1000 відповідей. Проста випадкова вибірка генеральної сукупності «не проста і не може бути випадковою».

Невірне повідомлення або неправильне розуміння оцінки помилки

Якщо дослідницька група хоче знати, як 300 мільйонів людей ставляться до певної теми, було б недоцільно запитувати їх усіх. Однак, якщо команда обере випадкову вибірку приблизно з 1000 осіб, вона може бути досить впевнена, що результати, надані цією групою, є репрезентативними щодо того, що сказала б більша група, якби їх усіх запитали.

Цю впевненість насправді можна кількісно визначити центральною граничною теоремою та іншими математичними результатами. Впевненість виражається як ймовірність того, що справжній результат (для більшої групи) знаходиться в межах певного діапазону оцінки (цифра для меншої групи). Це цифра «плюс-мінус», яку часто цитують у статистичних дослідженнях. Імовірнісна частина рівня довіри зазвичай не згадується; якщо так, то вважається, що це стандартне число, наприклад 95 %.

Ці два числа пов'язані. Якщо опитування має оцінену похибку ±5 % при достовірності 95 %, воно також має оцінену помилку ±6,6 % при довірчій достовірності 99 %. ± $x$ % при 95 % достовірності завжди дорівнює ± $1.32x$ % при 99 % достовірності для нормально розподіленої сукупності.

Чим менша оцінена помилка, тим більша необхідна вибірка при заданому рівні достовірності; наприклад, з довірою 95,4 % :

• ±1 % потребує 10 000 осіб.
• ±2 % потребує 2500 осіб.
• ±3 % вимагатиме 1111 осіб.
• ±4 % потребує 625 осіб.
• ±5 % потребує 400 осіб.
• ±10 % потребує 100 осіб.
• ±20 % потребує 25 осіб.
• ±25 % потребує 16 осіб.
• ±50 % потребує 4 осіб.

Люди можуть припустити, оскільки цифра достовірності пропущена, що існує 100 % впевненість, що справжній результат знаходиться в межах оціненої похибки. Це не є математично правильним.

Багато людей можуть не усвідомлювати, що випадковість вибірки дуже важлива. На практиці багато опитувань громадської думки проводяться телефоном, що декількома способами спотворює вибірку, включаючи виключення людей, які не мають телефонів, перевагу включення людей, які мають більше одного телефону, перевагу включення людей, які готові участь у телефонному опитуванні над тими, хто відмовляється тощо. Невипадкова вибірка робить оцінену помилку ненадійною.

З іншого боку, люди можуть вважати, що статистика за своєю суттю ненадійна, тому що не всіх викликають або тому, що їх самих ніколи не опитують. Люди можуть подумати, що неможливо отримати дані про думку десятків мільйонів людей, просто опитавши кілька тисяч. Це теж неточно. Опитування з ідеальною неупередженою вибіркою та правдивими відповідями має математично визначену межу похибки, яка залежить лише від кількості опитаних людей.

Однак часто для опитування повідомляється лише про одну похибку. Коли повідомляються результати для підгруп населення, застосовуватиметься більша похибка, але це може бути неясно. Наприклад, опитування 1000 осіб може містити 100 осіб певної етнічної чи економічної групи. Результати, зосереджені на цій групі, будуть набагато менш надійними, ніж результати для всієї сукупності. Якщо похибка для повної вибірки становила, скажімо, 4 %, то похибка для такої підгрупи може становити близько 13 %.

Існує також багато інших проблем вимірювання в опитуваннях населення.

Зазначені вище проблеми стосуються всіх статистичних експериментів, а не лише опитувань населення.

Помилкова причинність

Коли статистичний тест показує кореляцію між A і B, зазвичай є шість можливостей:

1. А є причиною В.
2. В є причиною А.
3. A і B частково спричиняють один одного.
4. А і В спричинені третім фактором, С.
5. B спричинено C, який корелює з A.
6. Спостережувана кореляція була цілком випадковою.

Шоста можливість може бути визначена кількісно за допомогою статистичних тестів, які можуть обчислити ймовірність того, що спостережувана кореляція буде такою ж великою, як і випадкова, якщо фактично між змінними немає зв'язку. Однак, навіть якщо така можливість має невелику ймовірність, все одно існують п'ять інших.

Якщо кількість людей, які купують морозиво на пляжі, статистично пов'язана з кількістю людей, які потонули на пляжі, тоді ніхто не стане стверджувати, що морозиво викликає потоплення, оскільки очевидно, що це не так. (У цьому випадку як утоплення, так і купівля морозива чітко пов'язані третім фактором: кількістю людей на пляжі).

Цю помилку можна використати, наприклад, щоб довести, що вплив хімічної речовини викликає рак. Замініть «кількість людей, які купують морозиво» на «кількість людей, які зазнали впливу хімікату Х», а «кількість людей, які потонули» на «кількість людей, які захворіли на рак», і багато людей вам повірять. У такій ситуації може існувати статистична кореляція, навіть якщо реального ефекту немає. Наприклад, якщо існує думка, що хімічний завод є «небезпечним» (навіть якщо це насправді не так), вартість власності в цьому районі знизиться, що спонукатиме більше сімей з низьким рівнем доходу переїхати в цей район. Якщо сім'ї з низьким рівнем доходу мають більше шансів захворіти на рак, ніж сім'ї з високим рівнем доходу (через погане харчування, наприклад, або обмежений доступ до медичної допомоги), то рівень раку зростатиме, навіть якщо хімічна речовина сама по собі не є небезпечною. Вважається, що саме це сталося з деякими ранніми дослідженнями, які показали зв'язок між ЕМП (електромагнітними полями) від ліній електропередач і раком.

У добре спланованих дослідженнях ефект хибного причинно-наслідкового зв'язку можна усунути шляхом розподілу деяких людей у «групу лікування», а деяких людей у «контрольну групу» випадковим чином, призначаючи групі лікування лікування, і не даючи контрольній групі лікування. У наведеному вище прикладі дослідник може піддати дії хімічної речовини Х одну групу людей і залишити другу групу без впливу. Якщо в першій групі були вищі показники раку, дослідник знає, що немає третього фактора, який би вплинув на те, чи була людина піддана дії речовини, оскільки він контролював, хто був підданий дії речовини чи ні, і він випадковим чином розподіляв людей на групи, які піддавалися дії речовини, і до груп, що не піддавалися дії речовини. Однак у багатьох додатках фактичне проведення експерименту таким чином є або надмірно дорогим, нездійсненним, неетичним, незаконним або просто неможливим. Наприклад, дуже малоймовірно, що IRB прийме експеримент, який передбачає навмисне піддавання людей дії небезпечної речовини з метою перевірки її токсичності. Очевидні етичні наслідки таких типів експериментів обмежують здатність дослідників емпірично перевіряти причинно-наслідковий зв'язок.

Доказ нульової гіпотези

У статистичному тесті нульова гіпотеза ($H_{0}$) вважається дійсною, доки достатньо даних не підтвердить її неправильність. Потім $H_{0}$ відхиляється, а альтернативна гіпотеза ($H_{A}$) вважається доведеною як правильна. Випадково це може статися, хоча $H_{0}$ вірно, з ймовірністю позначеною $\alpha$ (рівень значущості). Це можна порівняти з судовим процесом, де обвинувачений вважається невинним ($H_{0}$) доки вину не буде доведено ($H_{A}$) поза розумним сумнівом ($\alpha$).

Але якщо дані не дають нам достатньо доказів, щоб відхилити $H_{0}$, це автоматично не доводить правильності $H_{0}$. Якщо, наприклад, виробник тютюну бажає продемонструвати, що його продукція безпечна, він може легко провести тест із невеликою вибіркою курців проти невеликої вибірки некурців. Малоймовірно, що хтось із них захворіє на рак легенів (і навіть якщо це станеться, різниця між групами має бути дуже великою, щоб відхилити $H_{0}$). Тому цілком ймовірно, що наш тест не відхилить $H_{0}$, навіть коли куріння небезпечне. Якщо $H_{0}$ прийнято, це не означає автоматично, що куріння доведено нешкідливим. Тест має недостатню потужність для відхилення $H_{0}$, тому тест марний і значення «доказу» $H_{0}$ також є нульовим.

Це можна — використовуючи наведений вище судовий аналог — порівняти з дійсно винним підсудним, якого звільняють лише тому, що доказів недостатньо для винесення обвинувального вироку. Це не доводить невинуватість підсудного, а лише те, що доказів недостатньо для винесення обвинувального вироку.

«…нульова гіпотеза ніколи не доведена або встановлена, але вона, можливо, спростовується в ході експерименту. Можна сказати, що кожен експеримент існує лише для того, щоб дати фактам шанс спростувати нульову гіпотезу». (Фішер у Планування експериментів) Існує багато причин для плутанини, включаючи використання подвійної негативної логіки та термінології, що є результатом злиття Фішерового «перевірки значущості» (де нульова гіпотеза ніколи не приймається) з «перевіркою гіпотези» (де деяка гіпотеза завжди приймається).

Плутання статистичної значущості з практичною значущістю

Статистична значущість є мірою ймовірності; практичне значення є мірою ефекту. Лікування облисіння є статистично значущим, якщо рідкісний персиковий пух зазвичай покриває раніше голу шкіру голови. Лікування є практично значущим, коли шапка більше не потрібна в холодну погоду, а перукар запитує, скільки знімати зверху. Лисі хочуть лікування, яке є як статистично, так і практично значущим. Ймовірно, це спрацює, і якщо це спрацює, це матиме великий ефект волосся. Наукова публікація часто вимагає лише статистичної значущості. Це призвело до скарг (за останні 50 років), що перевірка статистичної значущості є неправильним використанням статистики.

Просіювання даних

Просіювання даних є зловживанням інтелектуальним аналізом даних. Під час просіювання даних досліджуються великі компіляції даних, щоб знайти кореляцію, без будь-якого попередньо визначеного вибору гіпотези для перевірки. Оскільки необхідний довірчий інтервал для встановлення зв'язку між двома параметрами зазвичай вибирається рівним 95 % (це означає, що існує 95 % ймовірність того, що спостережуваний зв'язок не є випадковим), таким чином існує 5 % шанс знайти кореляцію між будь-якими двома наборами абсолютно випадкових змінних. З огляду на те, що спроби просіювання даних зазвичай вивчають великі набори даних із багатьма змінними, а отже, навіть більшу кількість пар змінних, будь-яке таке дослідження майже напевно одержить помилкові, але, очевидно, статистично значущі результати.

Зауважте, що просіювання даних є дійсним способом пошуку можливої гіпотези, але цю гіпотезу потрібно потім перевірити з даними, які не використовувалися в початковому просіюванні. Зловживання виникає, коли цю гіпотезу висловлюють як факт без подальшого підтвердження.

«Ви не можете законно перевірити гіпотезу на тих самих даних, на яких вперше висунули цю гіпотезу. Засіб зрозумілий. Коли у вас є гіпотеза, розробіть дослідження для конкретного пошуку ефекту, який, на вашу думку, є. Якщо результат цього тесту є статистично значущим, у вас нарешті є реальні докази»

Маніпулювання даними

Ця практика, неофіційно названа «підробкою даних», включає вибіркове звітування (див. також упередженість публікації) і навіть просто створення неправдивих даних.

Прикладів вибіркового звітування чимало. Найпростіші та найпоширеніші приклади включають вибір групи результатів, які відповідають шаблону, узгодженому з переважною гіпотезою, ігноруючи при цьому інші результати або «прогони даних», які суперечать гіпотезі.

Вчені, як правило, сумніваються в достовірності результатів дослідження, які не можуть бути відтворені іншими дослідниками. Однак деякі вчені відмовляються публікувати свої дані та методи.

Маніпулювання даними є серйозною проблемою/розглядом у найчеснішому статистичному аналізі. Викиди, відсутні дані та відхилення від норми можуть негативно вплинути на достовірність статистичного аналізу. Доцільно вивчити дані та усунути реальні проблеми перед початком аналізу. «[На] будь-якій точковій діаграмі будуть деякі точки, більш-менш відокремлені від основної частини хмари: ці точки слід відхиляти лише з причини».

Інші помилки

Псевдореплікація — технічна помилка, пов'язана з дисперсійним аналізом . Складність приховує той факт, що статистичний аналіз намагається провести на одній вибірці (N=1). Для цього виродженого випадку дисперсія не може бути обчислена (поділ на нуль). (N=1) завжди дасть досліднику найвищу статистичну кореляцію між упередженням наміру та фактичними результатами.

Помилка гравця припускає, що подія, для якої можна виміряти майбутню ймовірність, мала таку саму ймовірність відбутися, коли вона вже сталася. Таким чином, якщо хтось уже кинув 9 монет, і кожна з них вийшла орелами, люди схильні припускати, що ймовірність того, що десятий підкидок також буде орелами, становить 1023 до 1 проти (що було до того, як було підкинуто першу монету), хоча насправді ймовірність десятої голови становить 50 % (припускаючи, що монета неупереджена).

Помилка прокурора припускає, що ймовірність того, що очевидно злочинна подія є випадковою, дорівнює ймовірності того, що підозрюваний невинний. Яскравим прикладом у Великобританії є незаконне засудження Саллі Кларк за вбивство двох її синів, які, як видається, померли від синдрому раптової дитячої смерті (СРДС). У своїх експертних свідченнях нині дискредитований професор сер Рой Медоу стверджував, що через рідкість СРДС ймовірність того, що Кларк буде невинним, становить 1 до 73 мільйонів. Пізніше Королівське статистичне товариство поставило це під сумнів; якщо припустити, що цифра Медоуз була точною, потрібно зважити всі можливі пояснення одне проти одного, щоб зробити висновок, що, найімовірніше, спричинило незрозумілу смерть двох дітей. Наявні дані свідчать про те, що шанси будуть на користь подвійного СРДС порівняно з подвійним вбивством у дев'ять разів. Цифра 1 на 73 мільйони також вводила в оману, оскільки її було отримано шляхом визначення ймовірності смерті дитини від СРДС із заможної сім'ї, яка не палить, і зведення її до квадрата: це помилково розглядає кожну смерть як статистично незалежну, припускаючи, що фактор не існує., як-от генетика, що підвищить імовірність смерті двох братів і сестер від СРДС. Це також приклад екологічної помилки, оскільки припускається, що ймовірність СРДС у родині Кларка була такою ж, як середня для всіх заможних сімей, які не палили; соціальний клас — це дуже складне й багатогранне поняття, що включає багато інших змінних, таких як освіта, вид роботи та багато іншого. Припущення, що окрема особа матиме ті самі якості, що й решта даної групи, не враховує вплив інших змінних, які, у свою чергу, можуть ввести в оману. Засудження Саллі Кларк зрештою було скасовано, а Медоуз було вилучено з медичного реєстру.

Ігрова помилка. Імовірності базуються на простих моделях, які ігнорують реальні (якщо віддалені) можливості. Гравці в покер не вважають, що опонент може взяти пістолет, а не карту. Страхувальники (і уряди) припускають, що страховики залишаться платоспроможними, але бачать AIG і системний ризик.

Інші види зловживання

Інші зловживання включають порівняння яблук і апельсинів, використання неправильного середнього, регресію до середнього значення та фразу-парасольку сміття на вході, сміття на виході . Деякі статистичні дані просто не мають відношення до проблеми.

Квартет Анскомба — це вигаданий набір даних, який демонструє недоліки простої описової статистики (та цінність побудови даних перед чисельним аналізом).

Див. також

• Обман
• Екологічна помилка
• Етика в математиці
• Метанаука
• Зловживання p-значеннями
• Оманлива графіка
• Post hoc аналіз
• Парадокс Сімпсона
• Statcheck

Подальше читання

• Campbell, Stephen (1974). Flaws and fallacies in statistical thinking. Prentice Hall. ISBN 0-486-43598-9.
• Christensen, R.; Reichert, T. (1976). Unit Measure Violations in Pattern Recognition, Ambiguity and Irrelevancy. Pattern Recognition. 8 (4): 239—245. Bibcode:1976PatRe...8..239C. doi:10.1016/0031-3203(76)90044-3.
• Ercan I, Yazici B, Yang Y, Ozkaya G, Cangur S, Ediz B, Kan I (2007). Misusage of Statistics in Medical Researches (PDF). European Journal of General Medicine. 4 (3): 127—133. doi:10.29333/ejgm/82507. Архів оригіналу (PDF) за 13 листопада 2014.
• Ercan I, Yazici B, Ocakoglu G, Sigirli D, Kan I (2007). Review of Reliability and Factors Affecting the Reliability (PDF). InterStat. Архів оригіналу (PDF) за 28 серпня 2013.
• Freedman, David; Pisani, Robert; Purves, Roger (1998). Statistics (вид. 3rd). W.W. Norton. ISBN 978-0-393-97083-8.
• Hooke, Robert (1983). How to tell the liars from the statisticians. New York: M. Dekker. ISBN 0-8247-1817-8.
• Huff, Darrell (1954). How to Lie with Statistics. W. W. Norton & Company. LCCN 53013322. OL 6138576M.
• Kahneman, Daniel (2013). Thinking, fast and slow. New York: Farrar, Straus and Giroux. ISBN 9780374533557.
• Moore, David; McCabe, George P. (2003). Introduction to the practice of statistics (вид. 4th). New York: W.H. Freeman and Co. ISBN 0716796570.
• Moore, David; Notz, William I. (2006). Statistics: concepts and controversies (вид. 6th). New York: W.H. Freeman. ISBN 9780716786368.
• Spirer, Herbert; Spirer, Louise; Jaffe, A. J. (1998). Misused statistics (вид. revised and expanded 2nd). New York: M. Dekker. ISBN 978-0824702113. The book is based on several hundred examples of misuse.
• Oldberg, T. and R. Christensen (1995) «Erratic Measure» in NDE for the Energy Industry 1995, The American Society of Mechanical Engineers. ISBN 0-7918-1298-7 (pages 1–6) Republished on the Web by ndt.net
• Oldberg, T. (2005) "An Ethical Problem in the Statistics of Defect Detection Test Reliability, " Speech to the Golden Gate Chapter of the American Society for Nondestructive Testing. Published on the Web by ndt.net
• Stone, M. (2009) Failing to Figure: Whitehall's Costly Neglect of Statistical Reasoning, Civitas, London. ISBN 1-906837-07-4
• Galbraith, J.; Stone, M. (2011). The abuse of regression in the National Health Service allocation formulae: Response to the Department of Health's 2007 'resource allocation research paper'. Journal of the Royal Statistical Society, Series A. 174 (3): 517—528. doi:10.1111/j.1467-985X.2010.00700.x.