Упередження виживання

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Упере́дження вижива́ння (англ. Survivorship bias, або англ. survival bias) — логічна хиба концентрації на людях або речах, які «вижили» в певному процесі, та, відповідно, нехтування тими, які не «вижили», через відсутність про них достатньої інформації. Це може вести до кількох варіантів хибних висновків. Ті, хто вижив, можуть бути людьми, як при медичному дослідженні, або компаніями, предметами експерименту чи заявниками на роботу — тобто, будь-ким чи будь-чим, що мало пройти через певний процес відбору перед подальшим розглядом.

Упередження виживання може призводити до занадто оптимістичних вірувань, оскільки невдачі ігноруються — наприклад, коли збанкрутілі компанії виключаються з аналізу фінансового стану. Це упередження також може призводити до хибного вірування, що успіхи у групі мають якусь особливу причину, а не є просто випадком. Наприклад, якщо три з 5 студентів університету з найкращими оцінками навчались в одній школі, можна припустити, що в цій школі дуже високий рівень навчання. Це може бути правдою, а може й ні, однак, для з'ясування слід переглянути оцінки всіх студентів, які навчалися в цій школі, а не лише тих, хто потрапив («вижив») у «Топ-5».

Упередження виживання є типом селективного упередження.

Приклади[ред. | ред. код]

У фінансах та економіці[ред. | ред. код]

У фінансах, упередження виживання — це тенденція виключати з досліджень ефективності діяльності збанкрутілі компанії, оскільки вони припинили існування. Це часто веде до викривлення вгору результатів, оскільки у дослідження включаються лише компанії, достатньо успішні, щоб проіснувати до кінця періоду. Наприклад, відбір взаємних фондів сьогодні включатиме лише фонди, які успішні на поточний момент. Багато збиткових фондів закриваються або зливаються з іншими фондами, щоб приховати погану ефективність. У теорії, 90 % існуючих фондів може достовірно стверджувати, що їх ефективність знаходиться у першому квартилі таких самих фондів, якщо ця група включає закриті фонди.

1996 року Елтон, Грубер та Блейк продемонстрували, що упередження виживання є більшим у секторі малих фондів, ніж серед великих взаємних фондів (певно тому, що у маленьких фондів вища ймовірність збанкрутувати).[1] Вони оцінюють розмір упередження для галузі взаємних фондів США у 0,9 % на рік, де упередження визначається та вимірюється так:

«Упередження є середньою α вцілілих фондів мінус середня α для всіх фондів»: (Де α — зважений на ризик дохід S&P 500. Це стандартна величина виміру ефективності взаємних фондів).

При кількісному ретроспективному тестуванні ринкової ефективності чи інших характеристик, упередженням виживання є використання поточного складу фондового індексу, а не фактичних його складів у часі. Наприклад, при ретроспективному тестуванні до 1990 з метою знайти середню ефективність (загальний дохід) компаній-учасників S&P 500, які виплатили дивіденди минулого року. Якщо використати лише поточні 500 учасників для створення історичної лінії капіталу до загального доходу компаній, які відповідають критеріям, на результати вплине упередження виживання. S&P підтримує індекс «здорових» компаній, виключаючи ті, які більше не відповідають їх критеріям представників висококапіталізованого фондового ринку США. Компанії, які добре зростали на шляху до включення у S&P 500, будуть враховані наче вони були в індексі протягом свого періоду зростання, хоча їх там не було. Натомість компанія, яка була в індексі раніше, але втратила ринкову капіталізацію, не буде врахована у результатах. Для уникнення упередження слід використовувати фактичну участь в індексі, застосовуючи відповідні дати включення та виключення.

Майкл Шермер у Scientific American[2] та Ларрі Сміт з Університету Ватерлоо[3] описали, які поради щодо комерційного успіху викривляють його сприйняття, ігноруючи збанкрутілі бізнеси та виключення з коледжів.[4] Журналіст та автор книг Девід МакРайні зазначає, що «бізнес-консультування — це монополія, якою керують вцілілі. Коли щось програє, воно або повністю виключається, або його голос знижується до нуля».[5] Фінансовий автор Нассім Ніколас Талеб назвав упередження виживання «мовчазним свідченням» у своїй книзі «Чорний лебідь».

У виробництві[ред. | ред. код]

У суспільстві поширена думка, що машини, обладнання та товари, вироблені попередніми поколінням, часто краще зроблені та довше використовуються, ніж схожі сучасні товари, це сприйняття відображене у фразі «так, як раніше, вже не роблять».  Однак через селективний тиск часу та зношування, залишаються найвитриваліші предмети минулого. Тому будь-яке старе обладнання, що добре функціонує і зараз, неминуче було виготовлене за стандартами якості, необхідними для його збереження. А все обладнання, машини та товари, які колись припинили працювати, більше недоступні для оцінки широкого загалу, оскільки були викинуті, перероблені чи іншим способом знищені.

Упередження виживання може пояснити суттєву частину поширеної думки, що минулі процеси виробництва були більш жорсткі, але слід також зважати на «плановане застарівання» та «надмірний інжинірінг». Тим не менш, прямо порівняти минулу і поточну якість виробництва дуже важко — вироблені товари постійно змінюються, ті самі позиції рідко виробляються довше одного покоління і навіть сировина змінюється від ери до ери. Завдяки процесам 20-го сторіччя, середній споживач сьогодні має ширший доступ до товарів різної витривалості, ніж у минулі покоління, а з минулих поколінь він бачить лише товари найвищої витривалості.

У архітектурі та будівництві[ред. | ред. код]

Історія більшості світської та міської архітектури — це постійний процес відновлення, ремонту та революції. Лише (суб'єктивно на думку поколінь) найкрасивіші, найкорисніші та/або найбільш структурно стійкі будівлі зберігаються протягом поколінь. Це створює відповідний ефект відбору, де більш слабкі будівлі давно були знищені історією, і тому зникли з погляду громадськості, а тому створюється візуальне враження, що у минулому будували красивіші та міцніші будівлі.

Серед кар'єр з високою конкуренцією[ред. | ред. код]

ЗМІ часто розповідають про кінозірок, спортсменів, музикантів чи CEO мільярдних корпорацій, які кинули коледж, як історію впертої особистості, які слідує за своєю мрією та вдало долає всі перепони. А на людях, які мають схожі таланти і навички, і впертість, але не досягають успіху через вплив випадкових подій поза їх контролем, фокус значно менший.[5] Це створює хибну громадську думку, що будь-хто може досягнути великих висот, якщо в них є хист та впертість у докладанні зусиль. Переважна більшість невдач для громадськості невидима.

Серед військових[ред. | ред. код]

Пошкоджені частини літаків, що повернулись, показують місця, де вони могли отримати пошкодження і все ще безпечно повернутися; ті, що отримали пошкодження в інших місцях, не вижили. (Зображення показує гіпотетичні дані.)

Під час Другої світової війни статистик Абрахам Вальд врахував упередження виживання у своїх розрахунках мінімізації втрат бомбардувальників від ворожого вогню. Дослідники Центру військово-морського аналізу провели дослідження пошкоджень літаків, які повернулись з завдань, та порекомендували додати броні у місця, пошкодження яких було найчастіше і найбільше. Вальд зазначив, що дослідження врахувало лише літаки, які повернулися з завдання — збиті бомбардувальники не були присутні для оцінки їх пошкоджень. Таким чином, дірки у літаках, що повернулися, були ділянками, попадання в які насправді дозволяє бомбардувальнику повернутися на базу. Натомість він запропонував ВМС додати броні на ділянки, які були неушкоджені на вцілілих літаках, оскільки при попаданні у ці ділянки, літак буде збитий.[6][7] Абрахам Вальд вважається засновником дослідження операцій.

У котів[ред. | ред. код]

У дослідженні 1987 року було виявлено, що коти, які впали з висоти менше 6 поверхів та вижили, мають більше травм, ніж коти, які впали з висоти більше 6 поверхів.[8][9] Було висловлено припущення, що коти після орієнтації у просторі лапами до низу досягають граничної швидкості десь після 5 поверхів і після того розслабляються, що веде до менш серйозних травм.[10]

Однак іншим можливим поясненням цього феномену може бути упередження виживання: котів, які померли внаслідок падіння, рідше приносять до ветеринарів, ніж травмованих падінням котів, а тому, більшість котів, які розбилися при падінні з висоти, просто не враховані при дослідженні.[11]

Як загальна хиба експериментів[ред. | ред. код]

Поза межами фінансів, упередження виживання є статистичним артефактом, коли дослідження вцілілої популяції хибно порівнюються з історичним середнім, хоча вцілілі мають незвичні якості, в першу чергу історію успіху (як успішні взаємні фонди).

Наприклад, дослідник парапсихології Дж. Б.Райн вірив, що йому вдалося встановити декілька людей з сотень учасників експерименту, які мали екстрасенсорне сприйняття. Його розрахунки однак засновувались на припущенні неймовірності випадкового вгадування показаних карток Зенера.

Основною критикою до його розрахунків була ймовірність несвідомого упередження виживання при відборі учасників. Його звинуватили у неврахуванні великого ефективного розміру його вибірки (всіх людей, яких він відкинув за результатами попереднього тестування, як недостатньо «сильних телепатів»). Якби він врахував велику вибірку, він би побачив декількох людей, які б досягли необхідного рівня вгадування повністю випадково.

Пишучи про дослідження Райна у книзі «Fads and Fallacies in the Name of Science» (букв. — «Пунктики та хиби в ім'я науки»), Мартін Гарднер зазначав, що він не вважає причинами помилок експериментаторів їх статистичну наївність, а радше їх причиною було неявне відкидання деяких непідходящих учасників. Він зазначив, що у достатньо великій вибірці, без будь-яких фокусів, завжди знайдуться люди, які мають неймовірний рівень успіху. Для ілюстрації цього, він розмірковує, що трапиться, якщо працю Райна прочитає сотня професорів психології та вирішить провести власні тести; упередження виживання відкине типові провалені експерименти, але заохотить випадкові успіхи до продовження тестування. Він вважав, що про поширену нульову гіпотезу (відсутність результату) не буде повідомлено, а от про випадковий успіх:

«врешті-решт залишиться один експериментатор, чий учасник протягом 6-7 сесій отримав високі результати. Ні експериментатор, ні учасник не свідомі решти 99 провалених експериментів, а тому обидва сильно вірять в реальність екстрасенсорного сприйняття.»

І робить висновок:

«Експериментатор в захопленні пише статтю, шле її Райну, який друкує її в своєму журналі, а читачі дуже вражені».

Якщо достатньо науковців досліджують якийсь феномен, хтось випадково натрапить на статистично значущий результат, і саме цей експеримент публікується. Крім того, ймовірно наукові праці про позитивний результат більш привабливі для редакторів[12]. Ця проблема відома як упередження позитивного результату, тип упередження публікації. Для його подолання, деякі редактори вимагають інформацію про «негативні» результати дослідження, коли «нічого не трапилось». 

Упередження виживання було одним з предметів провокативної праці 2005 року «Why Most Published Research Findings Are False»[12] (букв. «Чому більшість надрукованих результатів досліджень є невірними»).

У бізнес-законодавстві[ред. | ред. код]

Упередження виживання може призвести до проблем з дотриманням принципу «правда у рекламі», коли відсоток успішної дії товару чи послуги, який проголошується у рекламі, був виміряний на популяції, що відрізняється від цільової аудиторії такого товару чи послуги. Такі проблеми стають особливо актуальними, якщо:

  1. рекламне оголошення або не зазначає про існування значущих відмінностей між цими двома популяціями або недостатньо детально описує їх;
  2. ці відмінності є наслідком навмисного «попереднього відбору» потенційних клієнтів з метою забезпечити, що придбати товар або послугу можуть лише клієнти з характеристиками, які збільшують ймовірність успіху такого товару або послуги, особливо, якщо процедури відбору компанії або стандарти оцінки зберігаються в секреті;
  3. та компанія, яка пропонує товар чи послугу, встановлює плату (комісію), особливо якщо вона не відшкодовується або не зазначена у рекламі, за привілей спробувати стати клієнтом.

Див. також[ред. | ред. код]

Примітки[ред. | ред. код]

  1. Elton; Gruber; Blake (1996). Survivorship Bias and Mutual Fund Performance. Review of Financial Studies 9 (4). с. 1097–1120. doi:10.1093/rfs/9.4.1097. 
  2. Michael Shermer (2014-08-19). How the Survivor Bias Distorts Reality. Scientific American. 
  3. Carmine Gallo (2012-12-07). High-Tech Dropouts Misinterpret Steve Jobs' Advice. Forbes. 
  4. Robert J Zimmer (2013-03-01). The Myth of the Successful College Dropout: Why It Could Make Millions of Young Americans Poorer. The Atlantic. 
  5. а б Karen E. Klein (2014-08-11). How Survivorship Bias Tricks Entrepreneurs. Bloomberg Business. 
  6. Mangel, Marc; Samaniego, Francisco (June 1984). Abraham Wald's work on aircraft survivability. Journal of the American Statistical Association 79 (386): 259–267. JSTOR 2288257. doi:10.2307/2288257.  Reprint on author's web site
  7. Wald, Abraham. (1943). A Method of Estimating Plane Vulnerability Based on Damage of Survivors. Statistical Research Group, Columbia University. CRC 432 — reprint from July 1980 Архівовано 9 жовтень 2014 у Wayback Machine.. Center for Naval Analyses.
  8. Whitney, WO; Mehlhaff, CJ (1987). High-rise syndrome in cats. Journal of the American Veterinary Medical Association 191 (11). с. 1399–403. PMID 3692980. 
  9. Highrise Syndrome in Cats
  10. Falling Cats. Архів оригіналу за 12 липень 2007. Процитовано 30 березень 2016. 
  11. Do cats always land unharmed on their feet, no matter how far they fall?. The Straight Dope. July 19, 1996. Процитовано 2008-03-13. 
  12. а б Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Med 2 (8). с. e124. PMC 1182327. PMID 16060722. doi:10.1371/journal.pmed.0020124.