Криза відтворюваності: відмінності між версіями

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
Інтерактивний перегляд історії
[неперевірена версія][неперевірена версія]
← Попереднє редагуванняНаступне редагування →
Вилучено вміст Додано вміст
ВізуальнийВікірозмітка
Рядок 176: Рядок 176:


=== Усунення упередженості публікацій шляхом попередньої реєстрації досліджень ===
=== Усунення упередженості публікацій шляхом попередньої реєстрації досліджень ===
Нещодавнє нововведення у публікації наукових робіт полягає у реєстрації звітів для подолання кризи відтворюваності. <ref>{{Cite web|title=Registered Replication Reports|publisher=Association for Psychological Science|url=http://www.psychologicalscience.org/index.php/replication|accessdate=2015-11-13}}</ref><ref>{{Cite news|title=Psychology's 'registration revolution'|url=https://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution|newspaper=The Guardian|accessdate=2015-11-13|first=Chris|last=Chambers|date=2014-05-20}}</ref> Формат рєстрованих звітів вимагає від авторів подати опис методів дослідження та аналізів до збору даних. Після того, як метод та план аналізу будуть перевірені шляхом експертної оцінки, публікація результатів дозволяє перевірити чи дотримуються автори запропонованого протоколу. Однією метою зареєстрованих звітів є обхід [[Упередження публікації|упередженості публікацій]] щодо значних висновків, які можуть призвести до впровадження сумнівних дослідницьких практик та заохотити публікацію досліджень з більш суворими методами.
Нещодавнє нововведення у публікації наукових робіт полягає у реєстрації звітів для подолання кризи відтворюваності .

Журнал Psychological Science заохочував попередню реєстрацію досліджень та звітування про ефект величини та довірчі інтервали.<ref>{{Cite journal|last=Lindsay|first=D. Stephen|date=2015-11-09|title=Replication in Psychological Science|journal=Psychological Science|volume=26|issue=12|pages=1827–32|doi=10.1177/0956797615616374|issn=0956-7976|pmid=26553013|doi-access=free}}</ref> Головний редактор також зазначив, що редакція буде просити відтворити дослідження з дивовижними висновками, із використанням зразків невеликих розмірів, перш ніж дозволити публікацію рукописів.

Більше того, лише дуже невелика частка наукових журналів з психології та нейронаук прямо заявляла, що вони вітають подання відтворення досліджень у своїй меті та галузі чи у вказівках авторам.<ref>{{Cite journal|last=Yeung|first=Andy W. K.|date=2017|title=Do Neuroscience Journals Accept Replications? A Survey of Literature|journal=Frontiers in Human Neuroscience|language=English|volume=11|pages=468|doi=10.3389/fnhum.2017.00468|issn=1662-5161|pmc=5611708|pmid=28979201}}</ref><ref>{{Cite journal|last=Martin|first=G. N.|last2=Clarke|first2=Richard M.|date=2017|title=Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices|journal=Frontiers in Psychology|language=English|volume=8|pages=523|doi=10.3389/fpsyg.2017.00523|issn=1664-1078|pmc=5387793|pmid=28443044}}</ref> Це явище не заохочує звітування або навіть спроби відтворення досліджень.

=== Перехід до парадигми складних систем ===
Стверджувалося, що зусилля дослідників, що працюють в рамках звичайної лінійної парадигми, обов'язково стикаються з труднощами відтворення.<ref>{{Cite journal|last=Wallot|first=Sebastian|last2=Kelty-Stephen|first2=Damian G.|date=2018-06-01|title=Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication|journal=Minds and Machines|language=en|volume=28|issue=2|pages=353–374|doi=10.1007/s11023-017-9455-0|issn=1572-8641|doi-access=free}}</ref> Проблеми виникають, якщо причинно-наслідкові процеси в досліджуваній системі є пов'язаними із взаємодією, а не з складовими, мультипликативністю замість аддитивності та з багатьма малими нелінійними взаємодіями, що виробляють явища на макрорівні такими які не зводяться до їх компонентів на мікрорівні. У контексті таких [[Складна система|складних систем]] звичайні лінійні моделі дають відповіді, які не є розумними, оскільки в принципі неможливо розкласти дисперсію, як це запропоновано [[Загальна лінійна модель| загальною лінійною моделлю]] - прагнення відтворити такий результат, отже, очевидно, є проблематичним. В даний час такі ж питання задаються в багатьох галузях науки, де дослідники починають ставити під сумнів припущення, що лежать в основі класичних статистичних методів.<ref>{{cite arxiv|last=Siegenfeld|first=Alexander F.|last2=Bar-Yam|first2=Yaneer|date=2019-12-10|title=An Introduction to Complex Systems Science and its Applications|eprint=1912.05088|class=physics.soc-ph}}</ref>


== Примітки ==
== Примітки ==

Версія за 14:10, 8 липня 2020

Ця стаття в процесі редагування певний час.

Будь ласка, не редагуйте її, бо Ваші зміни можуть бути втрачені.

Якщо ця сторінка не редагувалася кілька днів, будь ласка, приберіть цей шаблон. Це повідомлення призначене для уникнення конфліктів редагування.

Останнє редагування зробив користувач Alessot (внесок, журнали) о 14:10 UTC (2053992 хвилини тому).

Криза відтворюваності станом на 2020 рік є тривалою методологічною кризою, в якій було встановлено, що багато наукових досліджень важко або неможливо повторити або відтворити. Криза відтворюваності найгірше впливає на суспільні науки та медицину.[1][2] Криза має давні корені; ця фраза була придумана на початку 2010-х[3] як частина зростаючої обізнаності про проблему. Криза відтворюваності є важливим полем досліджень у галузі метанауки. [4]

Оскільки відтворюваність експериментальних результатів є важливою частиною наукового методу,[5] неможливість повторити дослідження інших людей може мати серйозні наслідки для багатьох галузей науки, де значні теорії ґрунтуються на невідтворюваній експериментальній роботі. Криза відтворюваності особливо широко обговорюється в галузі психології та в медицині, де було зроблено ряд зусиль для повторного дослідження класичних результатів, для визначення достовірності результатів та, у випадку визнання ненадійним, причини збою відтворюваності.[6][7]

Область застосування

Загалом

У опитуванні 1500 науковців 2016 року було повідомлено, що 70% з них не змогли відтворити хоча б одного експерименту іншого вченого (50% не вдалося відтворити один з власних експериментів).[8] У 2009 році 2% вчених визнали фальсифікацію досліджень принаймні один раз, а 14% визнали, що особисто знають когось, хто це робив. Медичні дослідники повідомляли про проступки частіше, ніж інші.[9]

У психології

Кілька факторів поєднались, що поставило психологію в центр суперечки.[10] Значна увага приділялася області соціальної психології,[11] хоча інші сфери психології, такі як клінічна психологія,[12][13] психологія розвитку,[14] і педагогічні дослідження також були зачеплені.[15][16] Відповідно до опитування, проведеного в 2018 році, на 200 мета-аналізів, "психологічні дослідження в середньому страждають низькою статистичною потужністю".[17]

По-перше, сумнівні дослідницькі практики (СДП) були визначені як поширені у цій галузі. [18] Такі практики, хоча і не є навмисно шахрайськими, передбачають використання великої кількості сірої області прийнятних наукових практик або використання гнучкості збору даних, аналізу та звітності, з намаганням отримати бажаний результат. Приклади СДП включають вибіркову звітність або часткову публікацію даних (повідомлення лише про деякі умови дослідження або зібрані залежні заходи в публікації), необов'язкові зупинки (вибір, коли зупинити збір даних, часто виходячи зі статистичної значущості тестів), округлення p-значення (округлення p - значення до 0,05 для підрахунку статистичної значущості), ефект витягування файлів (непублікація даних), підтверджуючі доповіді (оформлення дослідницьких аналізів як підтверджуючих аналізи) та маніпуляції з упередженням виживання (або вилучення залишків, або залишення залишків у наборі даних, щоб зробити статистичний тест значимим).[18][19][20][21] Опитування понад 2000 психологів показало, що більшість респондентів визнали, що використовують хоча б один методів СДП, хибнопозитивні висновки, які часто є наслідком тиску моделі "Публікуйся або помри", авторську упередженість підтвердження, є властивою небезпекою в цій галузі, що вимагає певної ступеня скептицизму з боку читачів.[22]

По-друге, зокрема, психологія та соціальна психологія опинилися в центрі декількох скандалів, пов’язаних із відвертим фальшивим дослідженням, зокрема, даними, зібраними Дідеріком Стапелем [23] а також звинувачення проти інших. Однак більшість науковців визнає, що шахрайство, мабуть, робить менший внесок у кризу відтворюваності.

По-третє, було виявлено, що кілька наслідків у психологічній науці важко повторити ще до нинішньої кризи відтворюваності. Наприклад, науковий журнал Judgment and Decision Making опублікував декілька досліджень протягом багатьох років, які не забезпечують підтримки теорії несвідомої думки. Відтворення виглядають особливо важко, коли дослідницькі випробування попередньо зареєстровані та проводяться дослідницькими групами, які не дуже вкладаються у досліджувану теорію.

Ці три елементи разом призвели до відновлення уваги до відтворюваності, яку підтримує психолог Деніел Канеман.[24] Вивчення багатьох ефектів показало, що декілька основних переконань важко повторити. Спеціальне видання журналу Social Psychology, присвячене дослідженню відтворюваності, і ряду попередніх переконань, які було важко повторити.[25] Спеціальне видання журналу Perspectives on Psychological Science у 2012 році також зосереджувалося на проблемах, починаючи від упередженості публікацій до нульової відрази, що сприяє кризі відтворюваності в психології.[26] У 2015 році було опубліковано перше відкрите емпіричне дослідження відтворюваності в психології під назвою Reproducibility Project. Дослідники з усього світу співпрацювали над повторенням 100 емпіричних досліджень із трьох найкращих журналів з психології. Менше половини спроб відтворення виявилися успішними у створенні статистично значущих результатів у очікуваних напрямках, хоча більшість спроб відтворення дали тенденції у очікуваних напрямках.[27]

Багато експериментів та метааналізів скомпрометовані низькою якістю та конфліктом інтересів, що пов’язані як з авторами, так і з професійними адвокатськими організаціями, що призводить до багатьох помилкових позитивних результатів щодо ефективності певних видів психотерапії.[28]

Хоча британська газета The Independent писала, що результати Reproducibility Project показують, що значна частина опублікованих досліджень - це лише "психо-балаканина",[29] криза відтворюваності не обов'язково означає, що психологія є ненауковою.[30][31][32] Радше цей процес є частиною наукового процесу, в якому видаляються старі ідеї або ті, які не витримують ретельного вивчення,[33][34] хоча цей процес видалення не завжди ефективний.[35][36] Наслідком цього є те, що деякі сфери психології, які колись вважалися твердими, наприклад, соціальне домінування, потрапляли під посилену перевірку через невдалі відтворення.[37]

Нобелівський лауреат та професор у галузі психології Деніел Канеман стверджував, що оригінальні автори повинні залучатися до відтворення, оскільки опубліковані методи часто занадто розпливчасті.[38] Інші, такі як доктор Ендрю Вілсон, не погоджуються і стверджують, що методи повинні бути описані докладно.[38] Дослідження рівня відтворюваності в психології в 2012 році показало більш високі показники успішності в дослідженнях відтворюваності , коли автор перетинався з авторами оригінального дослідження [39] (91,7% успішних відтворень у дослідженнях з перетинанням авторів порівняно з часткою 64,6% успішності відтворення без перетину авторів).

Орієнтація на кризу реплікації призвела до інших оновлених зусиль у цій дисципліні для повторної перевірки важливих висновків, [22][40] і у відповідь на занепокоєння щодо упередженості публікацій та p-хакінгу, понад 140 психологічних журналів прийняли сліпе рецензування результатів, де дослідження приймаються не на основі отриманих результатів та після закінчення досліджень, а перед проведенням досліджень та на основі методологічної суворості їх експериментальних розробок і теоретичних обґрунтувань методів статистичного аналізу перед збором чи аналізом даних.[41] Крім того, широкомасштабне співробітництво між дослідниками, що працюють в декількох лабораторіях у різних країнах, і які регулярно відкривають свої дані для оцінки різними дослідниками, стали набагато більш поширеними в цій галузі.[42] Попередній аналіз таких реформ підрахував, що 61 відсоток «сліпих результатів» досліджень призвели до нульового результату, на відміну від оцінених 5–20% у попередніх дослідженнях.[43]

Частоти відтворення результатів у психології

У доповіді Open Science Collaboration у серпні 2015 року, яку координував Брайан Носек, було оцінено відтворюваність 100 досліджень з психологічних наук з трьох високорейтингових журналів з психології.[44] В цілому 36% реплікацій дали значні результати (p-значення нижче 0,05) порівняно з 97% початкових досліджень, у яких наявні відомості про суттєвий вплив. Середнє значення величини ефекту у відтвореннях становило приблизно половину магнітуди величини ефектів, про які повідомлялося в оригінальних дослідженнях.

У цьому ж документі розглядалися показники відтворюваності та величини ефектів за журналом (Journal of Personality and Social Psychology [JPSP], Journal of Experimental Psychology: Learning, Memory, and Cognition [JEP:LMC], Psychological Science [PSCI]) та дисципліною (соцальна психологія, психологія розвитку). Коефіцієнт відтворення дослідження становив 23% для JPSP, 48% для JEP:LMC та 38% для PSCI. Дослідження в галузі когнітивної психології мали вищій рівень реплікації (50%), ніж дослідження в галузі соціальної психології (25%).[45]

Аналіз історії публікацій у топ-100 журналах з психології за 1900–2012 роки показав, що приблизно 1,6% усіх публікацій з психології були спробами відтворення.[39] Статті вважалися спробою відтворення, якщо в тексті з'явився термін "відтворення". Підмножина цих досліджень (500 досліджень) була вибрана випадковим чином для подальшого дослідження і дала менший коефіцієнт відтворюваності 1,07% (342 з 500 досліджень [68,4%] - насправді відтворення). У підмножині 500 досліджень аналіз показав, що 78,9% опублікованих спроб відтворення були успішними. Імовірність успішного відтворення була значно вищою, коли хоча б один автор оригінального дослідження був учасником спроби відтворення (91,7% відносно 64,6%)

Дослідження, опубліковане у 2018 році у «Nature Human Behavior» , прагнуло повторити 21 наукову роботу з соціальних та поведінкових досліджень із «Nature» та «Science» , виявивши, що лише 13 можна успішно повторити.[46][47] Аналогічно, у дослідженні, проведеному під егідою Center for Open Science, група з 186 дослідників з 60 різних лабораторій (що представляють 36 різних національностей з 6 різних континентів) здійснила відтворення 28 класичних та сучасних висновків з психології.[48] Основна увага в дослідженні приділялась не тільки на тому, чи не повторювались висновки з оригінальних статей, а й у тому, наскільки висновки змінювалися залежно від варіацій вибірки та контексту. Загалом 14 з 28 досліджень не вдалося повторити, незважаючи на величезні розміри вибірки. Однак, якщо дослідження повторюється, воно відтворюється у більшості зразків, тоді як якщо дослідження не відтворюється, його не вдається повторити з невеликими варіаціями у вибірках та контекстах. Ці докази суперечать популярному поясненню, що невдача при відтворенні в психології, ймовірно, пов'язана зі зміною вибірки між початковим та повторним дослідженням.[49]

Дисциплінарна соціальна дилема

Висвітлюючи соціальну структуру, яка стримує реплікацію в психології, Брайан Д. Ерп та Джим А. Еверетт перерахували п’ять пунктів щодо того, чому спроби відтворення є рідкістю:[50][51]

  • "Незалежні, прямі відтворення інших висновків можуть забирати багато часу для дослідника, що займається відтворенням"
  • "[Відтворення], ймовірно, забирають енергію та ресурси безпосередньо від інших проектів, що відображають власне оригінальне мислення".
  • "[Відтворення] взагалі важче публікувати (значною мірою тому, що вони розглядаються як неоригінальні)"
  • "Навіть будучи опублікованими вони [відтворення], швидше за все, будуть сприйматися як базові вправи, а не як внески в основну галузь
  • "[Відтворення] приносять менше визнання і винагороди та навіть безпеки кар'єри авторам "[52]

З цієї причини автори стверджують, що психологія стоїть перед дисциплінарною соціальною дилемою, коли інтереси дисципліни суперечать інтересам окремого дослідника.

Полеміка "методологічного тероризму"

Із зверненням уваги на кризу відтворюваності психології, психолог університету Прінстона Сьюзан Фіске повернула полеміку на виклик до критиків психології.[53][54][55][56] Вона позначила цих невстановлених «супротивників» такими іменами, як «методологічний терорист» та «самопризначена поліція даних», і сказала, що критику психології слід висловлювати лише приватно або через контакт з журналами.[53] Статистик і політолог Колумбійського університету Ендрю Гельман відповів Фіске, сказавши, що вона виявила готовність терпіти "мертву парадигму" неправдивої ​​статистики і відмовилася відкликати публікації навіть тоді, коли вказували помилки.[53][57] Він додав, що її перебування на посаді редактора було неприйнятним, і що ряд опублікованих нею праць базувався на надзвичайно слабкій статистиці; в одній із опублікованих робіт Фіске були великі статистичні помилки та "неможливі" висновки.[53]

У медицині

З 49 медичних досліджень 1990–2003 рр. З більш ніж 1000 цитатами 45 заявили, що вивчена терапія була ефективною. З цих досліджень 16% суперечили подальшим дослідженням, 16% виявили сильніші ефекти, ніж наступні дослідження, 44% були повторені, а 24% залишилися беззаперечними.[58] Управління з харчовх продуктів та лікарських препаратів США у 1977–1990 роках виявило вади у 10–20% медичних досліджень.[59] У праці, опублікованій у 2012 році, Гленн Беглі, консультант з біотехнологій, що працює в Amgen, та Лі Еллісс із Техаського університету, стверджували, що лише 11% доклінічних досліджень раку можна повторити.[60][61]

У 2016 році розроблена стаття Джона Іоаннідіса, професора медицини та досліджень і політики в галузі охорони здоров'я в університеті медицини Стенфордського університету та професора статистики в університеті гуманітарних наук і наук Станфордського університету на тему "Чому більшість клінічних досліджень не корисні. ".[62] У статті Іоанідіс виклав деякі проблеми та закликав до реформи, характеризуючи певні моменти, щоб медичні дослідження знову були корисними. Один із прикладів, який він зробив, - це потреба в тому щоб медицина була пацієнтоорієнтованою (наприклад, у формі Інституту дослідження результатів пацієнтів), а не в сучасній практиці, в основному, спрямованій на забезпечення "потреб лікарів, дослідників або спонсорів ". Іоанідіс відомий тим, що його дослідження зосереджувались на самій науці ще з статті 2005 р. "Чому більшість опублікованих досліджень є помилковими".[63]

У маркетингу

Маркетинг - ще одна дисципліна з "відчайдушною потребою" у відтворенні.[64] Багато відомих маркетингових досліджень не повторюються після відтворення, помітним прикладом є ефект "занадто багато варіантів вибору", в якому велика кількість варіантів продукту робить меншими шанси придбання споживачем.[65] Окрім згаданих раніше аргументів, потрібні дослідження відтворюваності у маркетингу, щоб вивчити застосованість теорій та моделей у різних країнах та культурах, що особливо важливо через можливий вплив глобалізації.[66]

У економіці

У дослідженні 2016 року в журналі «Science» було встановлено, що третину з 18 експериментальних досліджень двох економічних журналів найвищого рівня («American Economic Review» та «Quarterly Journal of Economics») не вдалося повторити.[67][68] Дослідження, проведене в 2017 році в "Economic Journal", припустило, що "більшість середніх ефектів в літературі з емпіричної економіки перебільшуються коефіцієнтом щонайменше 2, а принаймні одна третина перебільшується в 4 або більше разів" .[69]

У дослідженнях спорту

У дослідженні 2018 року розглянуто сферу фізичних вправ та спорту для вирішення завдань щодо недостатнього дослідження реплікації, обмеженої звітності про нульові та тривіальні результати та недостатньої прозорості досліджень.[70] Статистики розкритикували спортивну науку за загальне використання суперечливого статистичного методу під назвою "висновок на основі величини", який дозволив вченим у галузі спорту отримати очевидно значні результати з зашумлених даних, тоді коли звичайне тестування гіпотез не знайшло жодного.[71]

У керуванні водними ресурсами

Дослідження, проведене у2019 році у "Scientific Data", припустило, що лише невелика кількість статей у журналах водні ресурси можуть бути відтворені, тоді як більшість статей не можна було повторити через недоступність даних. Дослідження оцінило з 95% впевненістю, що "результати можуть бути відтворені лише від 0,6% до 6,8% з усіх 1989 статей".[72]

У системах пошуку інформації та рекомендацій

Дослідження в 2019 році, в якому повідомлялося про систематичний аналіз останніх публікацій, що застосовують методи глибинного навчання чи нейронні мережі до рекомендаційних систем, опубліковані на високорівневих конференціях (SIGIR, KDD, WWW, RecSys), показали, що в середньому менше 40% статей відтворювані, від 75% і 14% залежно від конференцій. Більше того, всі, окрім однієї з проаналізованих статей, пропонували алгоритми, які не були конкурентоспроможними щодо значно старших та простіших правильно налаштованих базових алгоритмів. У статті також висвітлено низку потенційних проблем сьогоднішньої наукової діяльності та наведено заклик до вдосконалення наукової практики в цій галузі.[73] Ці результати відповідають попереднім аналогічним висновкам ще з 2011 року.[74][75]

Політичні наслідки

У США криза відтворюваності науки стала темою політичних суперечок, пов'язаних із спробою зменшити норми - наприклад. викидів забруднюючих речовин, аргументуючи тим, що ці норми ґрунтуються на дослідженнях, що не відтворюються.[76][77] Попередні аналогічні спроби звинувачували дослідження, які використовували регулятори, у непрозорості.[78]

Причини

Glenn Begley та Джон Іоаннідіс запропонували наступні причини:

  • Генерування нових даних / публікацій безпрецедентною швидкістю.
  • Більшість цих відкриттів не витримають випробування часом.
  • Недотримання належної наукової практики та тиск "Публікуйся або помри".
  • Кілька різноманітних зацікавлених сторін

Вони роблять висновок, що жодна сторона не несе виключної відповідальності, і жодного єдиного рішення не буде достатньо. Насправді, деякі прогнози майбутньої кризи в механізмі контролю якості науки простежуються протягом декількох десятиліть, особливо серед науковців у науково-технічних дослідженнях (СТС). Дерек де Солла Прайс, який вважається батьком наукометрії, передбачав, що наука може досягти "старіння" в результаті її власного експоненційного зростання.[79] Деяка сучасна література, схоже, підтверджує це передбачення «переповнення», нарікаючи на занепад як уваги, так і якості.[80][81]

Філософ і історик науки Джеронім Р. Равец передбачив у своїй книзі 1971 р. "Scientific Knowledge and Its Social Problems" що наука - у прогресуванні від "малої" науки, що складається з ізольованих спільнот дослідників, до "великої" науки або "техно-науки" зазнала б великих проблем у її внутрішній системі контролю якості. Равец визнав, що структура стимулів для сучасних вчених може стати нефункціональною, відомою як теперішній виклик "Публікуйся або помри", створюючи збочені стимули для публікації будь-яких висновків, хоча б сумнівних. За словами Равеца, якість науки підтримується лише тоді, коли існує спільнота науковців, пов'язана набором загальних норм і стандартів, якї всі сприймають, і можуть притягувати один одного до відповідальності.

Історик Філіп Мировський запропонував аналогічний діагноз у своїй книзі «Science Mart» (2011) у 2011 році.[82] У назві слово "Mart" посилається на роздрібний гігант "Walmart", який Міровський використовує як метафору для кодифікації науки. Згідно з аналізом Міровського якість науки падає, коли вона стає товаром, яким торгують на ринку. Міровський аргументує свою думку, простежуючи занепад науки до рішення великих корпорацій закрити власні лабораторії. Вони передавали свою роботу в університети, прагнучи зменшити витрати та збільшити прибуток. Згодом корпорації перенесли свої дослідження далеко від університетів до ще дешевшого варіанту - Contract Research Organisations (CRO).

Криза системи контролю якості науки впливає на використання науки для політики. Це теза нещодавньої роботи групи науковців, яка визначає сучасну точку напруженості в "політиці, заснованій на доказах (або на основі інформації)" .[83][84][85][77] Економіст Ноа Сміт припускає, що фактором кризи стала завищена оцінка наукових досліджень та недооцінка навчальних можливостей, особливо у галузях, де зроблені останні великі відкриття. [86]Інша основна причина - це упередження публікації, той факт, що позитивні результати швидше публікуються, ніж негативні (або нульові) результати. Це може призвести до канонізації помилкових фактів.[87]

Відповідь

Відтворюваність називається "наріжним каменем науки".[88][89] Дослідження відтворюваності намагаються оцінити, чи відображаються у опублікованих результатах справжні висновки чи хибнопозитивні. Цілісність наукових висновків та відтворюваність досліджень важливі, оскільки вони формують фундамент знань, на якому будуються майбутні дослідження.

Метанаука

Докладніше: Метанаука

Метанаука - це використання наукової методології для вивчення самої науки. Метанаука прагне підвищити якість наукових досліджень, зменшуючи відходи. Він також відомий як "дослідження досліджень" і "наука про науку", оскільки він використовує наукові методи для вивчення того, як дослідження робиться і де можуть бути зроблені удосконалення. Метанаука стосується всіх галузей досліджень і була описана як "погляд на науку з висоти пташиного польоту".[90] За словами Джона Іоаннідіса, "наука - це найкраще, що трапилося з людьми ... але ми можемо це зробити краще".[91]

Метадослідження продовжують проводитись для виявлення коренів кризи та їх подолання. Методи подолання кризи включають попередню реєстрацію наукових досліджень та клінічних випробувань, а також заснування таких організацій, як CONSORT та EQUATOR Network, які видають вказівки щодо методології та звітності. Продовжуються зусилля щодо реформування системи академічних стимулів, удосконалення академічної експертної оцінки, зменшення неправильного використання статистичних даних, боротьби з упередженостю у науковій літературі та підвищення загальної якості та ефективності наукового процесу.

Усунення упередженості публікацій шляхом попередньої реєстрації досліджень

Нещодавнє нововведення у публікації наукових робіт полягає у реєстрації звітів для подолання кризи відтворюваності. [92][93] Формат рєстрованих звітів вимагає від авторів подати опис методів дослідження та аналізів до збору даних. Після того, як метод та план аналізу будуть перевірені шляхом експертної оцінки, публікація результатів дозволяє перевірити чи дотримуються автори запропонованого протоколу. Однією метою зареєстрованих звітів є обхід упередженості публікацій щодо значних висновків, які можуть призвести до впровадження сумнівних дослідницьких практик та заохотити публікацію досліджень з більш суворими методами.

Журнал Psychological Science заохочував попередню реєстрацію досліджень та звітування про ефект величини та довірчі інтервали.[94] Головний редактор також зазначив, що редакція буде просити відтворити дослідження з дивовижними висновками, із використанням зразків невеликих розмірів, перш ніж дозволити публікацію рукописів.

Більше того, лише дуже невелика частка наукових журналів з психології та нейронаук прямо заявляла, що вони вітають подання відтворення досліджень у своїй меті та галузі чи у вказівках авторам.[95][96] Це явище не заохочує звітування або навіть спроби відтворення досліджень.

Перехід до парадигми складних систем

Стверджувалося, що зусилля дослідників, що працюють в рамках звичайної лінійної парадигми, обов'язково стикаються з труднощами відтворення.[97] Проблеми виникають, якщо причинно-наслідкові процеси в досліджуваній системі є пов'язаними із взаємодією, а не з складовими, мультипликативністю замість аддитивності та з багатьма малими нелінійними взаємодіями, що виробляють явища на макрорівні такими які не зводяться до їх компонентів на мікрорівні. У контексті таких складних систем звичайні лінійні моделі дають відповіді, які не є розумними, оскільки в принципі неможливо розкласти дисперсію, як це запропоновано загальною лінійною моделлю - прагнення відтворити такий результат, отже, очевидно, є проблематичним. В даний час такі ж питання задаються в багатьох галузях науки, де дослідники починають ставити під сумнів припущення, що лежать в основі класичних статистичних методів.[98]

Примітки

  1. ↑ Schooler, J. W. (2014). Metascience could rescue the 'replication crisis'. Nature. 515 (7525): 9. Bibcode:2014Natur.515....9S. doi:10.1038/515009a. PMID 25373639.
  2. ↑ Smith, Noah. Why 'Statistical Significance' Is Often Insignificant. Bloomberg. Процитовано 7 November 2017.
  3. ↑ Pashler, Harold; Wagenmakers, Eric Jan (2012). Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?. Perspectives on Psychological Science. 7 (6): 528—530. doi:10.1177/1745691612465253. PMID 26168108.
  4. ↑ Fidler, Fiona; Wilcox, John (2018). Reproducibility of Scientific Results. The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University. Процитовано 19 May 2019.
  5. ↑ Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis.
  6. ↑ Lehrer, Jonah (13 грудня 2010). The Truth Wears Off. The New Yorker (англ.). Процитовано 30 січня 2020.
  7. ↑ Marcus, Gary (1 травня 2013). The Crisis in Social Psychology That Isn't. The New Yorker (англ.). Процитовано 30 січня 2020.
  8. ↑ Nature Video (28 May 2016). Is There a Reproducibility Crisis in Science?. Scientific American (англ.). Процитовано 15 August 2019.
  9. ↑ Fanelli, Daniele (29 May 2009). How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS ONE. 4 (5): e5738. Bibcode:2009PLoSO...4.5738F. doi:10.1371/journal.pone.0005738. PMC 2685008. PMID 19478950.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  10. ↑ Achenbach, Joel. No, science's reproducibility problem is not limited to psychology. The Washington Post. Процитовано 10 September 2015.
  11. ↑ Dominus, Susan (18 жовтня 2017). When the Revolution Came for Amy Cuddy. The New York Times (амер.). ISSN 0362-4331. Процитовано 19 жовтня 2017.
  12. ↑ Leichsenring, Falk; Abbass, Allan; Hilsenroth, Mark J.; Leweke, Frank; Luyten, Patrick; Keefe, Jack R.; Midgley, Nick; Rabung, Sven; Salzer, Simone; Steiner, Christiane (April 2017). Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research. Psychological Medicine. 47 (6): 1000—1011. doi:10.1017/S003329171600324X. PMID 27955715.
  13. ↑ Hengartner, Michael P. (28 лютого 2018). Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?. Frontiers in Psychology. Frontiers Media. 9: 256. doi:10.3389/fpsyg.2018.00256. PMC 5835722. PMID 29541051.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  14. ↑ Frank, Michael C.; Bergelson, Elika; Bergmann, Christina; Cristia, Alejandrina; Floccia, Caroline; Gervain, Judit; Hamlin, J. Kiley; Hannon, Erin E.; Kline, Melissa; Levelt, Claartje; Lew-Williams, Casey; Nazzi, Thierry; Panneton, Robin; Rabagliati, Hugh; Soderstrom, Melanie; Sullivan, Jessica; Waxman, Sandra; Yurovsky, Daniel (9 March 2017). A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building. Infancy. 22 (4): 421—435. doi:10.1111/infa.12182. hdl:10026.1/9942. PMC 6879177. PMID 31772509.
  15. ↑ Tyson, Charlie (14 August 2014). Failure to Replicate. Inside Higher Ed. Процитовано 19 December 2018.
  16. ↑ Makel, Matthew C.; Plucker, Jonathan A. (1 August 2014). Facts Are More Important Than Novelty: Replication in the Education Sciences. Educational Researcher. 43 (6): 304—316. doi:10.3102/0013189X14545513. Процитовано 19 December 2018.
  17. ↑ Stanley, T. D.; Carter, Evan C.; Doucouliagos, Hristos (2018). What meta-analyses reveal about the replicability of psychological research. Psychological Bulletin (англ.). 144 (12): 1325—1346. doi:10.1037/bul0000169. ISSN 1939-1455. PMID 30321017.
  18. ↑ а б John, Leslie K.; Loewenstein, George; Prelec, Drazen (1 травня 2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling (PDF). Psychological Science. 23 (5): 524—532. doi:10.1177/0956797611430953. ISSN 0956-7976. PMID 22508865.
  19. ↑ Neuroskeptic (1 листопада 2012). The Nine Circles of Scientific Hell. Perspectives on Psychological Science. 7 (6): 643—644. doi:10.1177/1745691612459519. ISSN 1745-6916. PMID 26168124.
  20. ↑ Research misconduct - The grey area of Questionable Research Practices. www.vib.be. 30 September 2013. Архів оригіналу за 31 жовтня 2014.
  21. ↑ Fiedler, Klaus; Schwarz, Norbert (19 жовтня 2015). Questionable Research Practices Revisited. Social Psychological and Personality Science. 7: 45—52. doi:10.1177/1948550615612150. ISSN 1948-5506.
  22. ↑ а б Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science. 22 (11): 1359—1366. doi:10.1177/0956797611417632. ISSN 0956-7976. PMID 22006061.
  23. ↑ Shea, Christopher (13 November 2011). Fraud Scandal Fuels Debate Over Practices of Social Psychology. The Chronicle of Higher Education.
  24. ↑ Kahneman, Daniel (2014). A New Etiquette for Replication. Social Psychology. 45 (4): 310—311. doi:10.1027/1864-9335/a000202.
  25. ↑ Table of contents. Social Psychology. 45 (3). 2014. ISSN 1864-9335.
  26. ↑ Table of contents. Perspectives on Psychological Science. 7 (6). 2012. ISSN 1745-6916.
  27. ↑ Open Science Collaboration (2015). Estimating the reproducibility of Psychological Science (PDF). Science. 349 (6251): aac4716. doi:10.1126/science.aac4716. hdl:10722/230596. PMID 26315443.
  28. ↑ Coyne, James (15 квітня 2014). Are meta analyses conducted by professional organizations more trustworthy?. Mind the Brain. PLOS Blogs. Архів оригіналу за 14 серпня 2014. Процитовано 13 вересня 2016.
  29. ↑ Connor, Steve (27 August 2015). Study reveals that a lot of psychology research really is just 'psycho-babble'. The Independent. London.
  30. ↑ Meyer, Michelle N.; Chabris, Christopher (31 July 2014). Why Psychologists' Food Fight Matters. Slate.
  31. ↑ Aschwanden, Christie (19 August 2015). Science Isn't Broken. FiveThirtyEight (амер.). Процитовано 30 січня 2020.
  32. ↑ Aschwanden, Christie (27 August 2015). Psychology Is Starting To Deal With Its Replication Problem. FiveThirtyEight (амер.). Процитовано 30 січня 2020.
  33. ↑ Etchells, Pete (28 May 2014). Psychology's replication drive: it's not about you. The Guardian.
  34. ↑ Wagenmakers, Eric-Jan; Wetzels, Ruud; Borsboom, Denny; Maas, Han L. J. van der; Kievit, Rogier A. (1 листопада 2012). An Agenda for Purely Confirmatory Research. Perspectives on Psychological Science. 7 (6): 632—638. doi:10.1177/1745691612463078. ISSN 1745-6916. PMID 26168122.
  35. ↑ Ioannidis, John P. A. (1 листопада 2012). Why Science Is Not Necessarily Self-Correcting. Perspectives on Psychological Science. 7 (6): 645—654. doi:10.1177/1745691612464056. ISSN 1745-6916. PMID 26168125.
  36. ↑ Pashler, Harold; Harris, Christine R. (1 листопада 2012). Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 7 (6): 531—536. doi:10.1177/1745691612463401. ISSN 1745-6916. PMID 26168109.
  37. ↑ Bartlett, Tom (30 January 2013). Power of Suggestion. The Chronicle of Higher Education.
  38. ↑ а б Chambers, Chris (10 June 2014). Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?. The Guardian.
  39. ↑ а б Makel, Matthew C.; Plucker, Jonathan A.; Hegarty, Boyd (1 листопада 2012). Replications in Psychology Research How Often Do They Really Occur?. Perspectives on Psychological Science. 7 (6): 537—542. doi:10.1177/1745691612460688. ISSN 1745-6916. PMID 26168110.
  40. ↑ Stroebe, Wolfgang; Strack, Fritz (2014). The Alleged Crisis and the Illusion of Exact Replication (PDF). Perspectives on Psychological Science. 9 (1): 59—71. doi:10.1177/1745691613514450. PMID 26173241.
  41. ↑ Aschwanden, Christie (6 December 2018). Psychology's Replication Crisis Has Made The Field Better. FiveThirtyEight. Процитовано 19 December 2018.
  42. ↑ Chartier, Chris; Kline, Melissa; McCarthy, Randy; Nuijten, Michele; Dunleavy, Daniel J.; Ledgerwood, Alison (December 2018), The Cooperative Revolution Is Making Psychological Science Better, Observer, 31 (10), процитовано 19 December 2018
  43. ↑ Allen, Christopher P G.; Mehler, David Marc Anton. Open Science challenges, benefits and tips in early career and beyond. doi:10.31234/osf.io/3czyt.
  44. ↑ Open Science Collaboration (28 серпня 2015). Estimating the reproducibility of psychological science (PDF). Science. 349 (6251): aac4716. doi:10.1126/science.aac4716. hdl:10722/230596. ISSN 0036-8075. PMID 26315443.
  45. ↑ Summary of reproducibility rates and effect sizes for original and replication studies overall and by journal/discipline. Процитовано 16 October 2019.
  46. ↑ Roger, Adam (27 серпня 2018). The Science Behind Social Science Gets Shaken Up—Again. Wired (англ.). Процитовано 28 серпня 2018.
  47. ↑ Camerer, Colin F.; Dreber, Anna та ін. (27 August 2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 (PDF). Nature Human Behaviour. 2 (9): 637—644. doi:10.1038/s41562-018-0399-z. PMID 31346273.
  48. ↑ Klein, R.A. (2018). Many Labs 2: Investigating Variation in Replicability Across Samples and Settings. Advances in Methods and Practices in Psychological Science. 1 (4): 443—490. doi:10.1177/2515245918810225.
  49. ↑ Witkowski, Tomasz (2019). Is the glass half empty or half full? Latest results in the replication crisis in Psychology (PDF). Skeptical Inquirer. 43 (2): 5—6. Архів оригіналу (PDF) за 30 січня 2020.
  50. ↑ Earp, Brian D.; Trafimow, David (2015). Replication, falsification, and the crisis of confidence in social psychology. Frontiers in Psychology (English) . 6: 621. doi:10.3389/fpsyg.2015.00621. ISSN 1664-1078. PMC 4436798. PMID 26042061.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  51. ↑ Everett, Jim Albert Charlton; Earp, Brian D. (1 січня 2015). A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers. Frontiers in Psychology. 6: 1152. doi:10.3389/fpsyg.2015.01152. PMC 4527093. PMID 26300832.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  52. ↑ Earp, Brian D. Resolving the replication crisis in social psychology? A new proposal. Society for Personality and Social Psychology. Процитовано 18 листопада 2015.
  53. ↑ а б в г Letzter, Rafi (22 вересня 2016). Scientists are furious after a famous psychologist accused her peers of 'methodological terrorism'. Business Insider. Процитовано 30 січня 2020.
  54. ↑ Draft of Observer Column Sparks Strong Social Media Response. Association for Psychological Science (амер.). Процитовано 4 жовтня 2017.
  55. ↑ Fiske, Susan T. (31 жовтня 2016). A Call to Change Science's Culture of Shaming. APS Observer (амер.). 29 (9).
  56. ↑ Singal, Jesse (12 жовтня 2016). Inside Psychology's 'Methodological Terrorism' Debate. NY Mag (англ.). Процитовано 4 жовтня 2017.
  57. ↑ BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science. Statistical Modeling, Causal Inference, and Social Science (амер.). 4 жовтня 2017. Процитовано 4 жовтня 2017.
  58. ↑ Ioannidis JA (13 July 2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA. 294 (2): 218—228. doi:10.1001/jama.294.2.218. PMID 16014596.
  59. ↑ Glick, J. Leslie (1992). Scientific data audit—A key management tool. Accountability in Research. 2 (3): 153—168. doi:10.1080/08989629208573811.
  60. ↑ Begley, C. G.; Ellis, L. M. (2012). Drug Development: Raise Standards for Preclinical Cancer Research. Nature. 483 (7391): 531—533. Bibcode:2012Natur.483..531B. doi:10.1038/483531a. PMID 22460880.
  61. ↑ Begley, C. G. (2013). Reproducibility: Six red flags for suspect work. Nature. 497 (7450): 433—434. Bibcode:2013Natur.497..433B. doi:10.1038/497433a. PMID 23698428.
  62. ↑ Ioannidis, JPA (2016). Why Most Clinical Research Is Not Useful. PLOS Med. 13 (6): e1002049. doi:10.1371/journal.pmed.1002049. PMC 4915619. PMID 27328301.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  63. ↑ Ioannidis, John P. A. (1 серпня 2005). Why Most Published Research Findings Are False. PLOS Medicine. 2 (8): e124. doi:10.1371/journal.pmed.0020124. ISSN 1549-1277. PMC 1182327. PMID 16060722.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  64. ↑ Hunter, John E. (1 червня 2001). The desperate need for replications. Journal of Consumer Research. 28 (1): 149—158. doi:10.1086/321953.
  65. ↑ Armstrong, J.; Green, Kesten (24 січня 2017). Guidelines for Science: Evidence and Checklists. Marketing Papers. SSRN 3055874.
  66. ↑ Aichner, Thomas; Coletti, Paolo; Forza, Cipriano; Perkmann, Urban; Trentin, Alessio (22 березня 2016). Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study. Journal of Global Marketing. 29 (3): 115—127. doi:10.1080/08911762.2015.1138012.
  67. ↑ Camerer, Colin F.; Dreber, Anna; Forsell, Eskil; Ho, Teck-Hua; Huber, Jürgen; Johannesson, Magnus; Kirchler, Michael; Almenberg, Johan; Altmejd, Adam (25 березня 2016). Evaluating replicability of laboratory experiments in economics. Science (англ.). 351 (6280): 1433—1436. Bibcode:2016Sci...351.1433C. doi:10.1126/science.aaf0918. ISSN 0036-8075. PMID 26940865.
  68. ↑ Bohannon, John (3 березня 2016). About 40% of economics experiments fail replication survey. Science (англ.). Процитовано 25 жовтня 2017.
  69. ↑ Ioannidis, John P. A.; Stanley, T. D.; Doucouliagos, Hristos (1 жовтня 2017). The Power of Bias in Economics Research. The Economic Journal (англ.). 127 (605): F236—F265. doi:10.1111/ecoj.12461. ISSN 1468-0297.
  70. ↑ Halperin, Israel; Vigotsky, Andrew D.; Foster, Carl; Pyne, David B. (1 лютого 2018). Strengthening the Practice of Exercise and Sport-Science Research. International Journal of Sports Physiology and Performance. 13 (2): 127—134. doi:10.1123/ijspp.2017-0322. hdl:10072/383414. ISSN 1555-0273. PMID 28787228.
  71. ↑ Aschwanden, Christie; Nguyen, Mai (16 травня 2018). How Shoddy Statistics Found A Home In Sports Research. FiveThirtyEight (амер.). Процитовано 16 травня 2018.
  72. ↑ Stagge, James H.; Rosenberg, David E.; Abdallah, Adel M.; Akbar, Hadia; Attallah, Nour A.; James, Ryan (26 лютого 2019). Assessing data availability and research reproducibility in hydrology and water resources. Scientific Data (англ.). 6: 190030. Bibcode:2019NatSD...690030S. doi:10.1038/sdata.2019.30. ISSN 2052-4463. PMC 6390703. PMID 30806638.
  73. ↑ Ferrari Dacrema, Maurizio; Cremonesi, Paolo; Jannach, Dietmar (2019). Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. Proceedings of the 13th ACM Conference on Recommender Systems. ACM: 101—109. arXiv:1907.06902. doi:10.1145/3298689.3347058. hdl:11311/1108996. ISBN 9781450362436. Процитовано 16 October 2019.
  74. ↑ Ekstrand, Michael D.; Ludwig, Michael; Konstan, Joseph A.; Riedl, John T. (1 січня 2011). Rethinking the Recommender Research Ecosystem: Reproducibility, Openness, and LensKit. RecSys '11. New York, NY, USA: ACM. с. 133—140. doi:10.1145/2043932.2043958. ISBN 9781450306836. {{cite book}}: Проігноровано |journal= (довідка)
  75. ↑ Konstan, Joseph A.; Adomavicius, Gediminas (1 січня 2013). Toward Identification and Adoption of Best Practices in Algorithmic Recommender Systems Research. RepSys '13. New York, NY, USA: ACM. с. 23—28. doi:10.1145/2532508.2532513. ISBN 9781450324656. {{cite book}}: Проігноровано |journal= (довідка)
  76. ↑ Oreskes, N. (2018). Beware: Transparency rule is a trojan horse. Nature. 557 (7706): 469. Bibcode:2018Natur.557..469O. doi:10.1038/d41586-018-05207-9. PMID 29789751.
  77. ↑ а б Saltelli, Andrea (December 2018). Why science's crisis should not become a political battling ground. Futures. 104: 85—90. doi:10.1016/j.futures.2018.07.006.
  78. ↑ Michaels, D. (2008). Doubt is their product: How industry's assault on science threatens your health. Oxford University Press. ISBN 9780195300673.
  79. ↑ De Solla Price; Derek J. (1963). Little science big science. Columbia University Press.
  80. ↑ Siebert, S.; Machesky, L. M. & Insall, R. H. (2015). Overflow in science and its implications for trust. eLife. 4: e10825. doi:10.7554/eLife.10825. PMC 4563216. PMID 26365552.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  81. ↑ Della Briotta Parolo, P.; Kumar Pan; R. Ghosh; R. Huberman; B.A. Kimmo Kaski; Fortunato, S. (2015). Attention decay in science. Journal of Informetrics. 9 (4): 734—745. arXiv:1503.01881. Bibcode:2015arXiv150301881D. doi:10.1016/j.joi.2015.07.006.
  82. ↑ Mirowski, P. (2011). Science-Mart: Privatizing American Science. Harvard University Press.
  83. ↑ Saltelli, A.; Funtowicz, S. (2017). What is science's crisis really about?. Futures. 91: 5—11. doi:10.1016/j.futures.2017.05.010.
  84. ↑ Benessia, A.; Funtowicz, S.; Giampietro, M.; Guimarães Pereira, A.; Ravetz, J.; Saltelli, A.; Strand, R.; van der Sluijs, J. (2016). The Rightful Place of Science: Science on the Verge. Consortium for Science, Policy and Outcomes at Arizona State University.
  85. ↑ Saltelli, Andrea; Ravetz, Jerome R. & Funtowicz, Silvio (25 June 2016). A new community for science. New Scientist. № 3079. с. 52.
  86. ↑ Smith, Noah (14 грудня 2016). Academic signaling and the post-truth world. Noahpinion. Stony Brook University. Процитовано 5 November 2017.
  87. ↑ Nissen, Silas Boye; Magidson, Tali; Gross, Kevin; Bergstrom, Carl (20 грудня 2016). Research: Publication bias and the canonization of false facts. eLife. 5: e21451. arXiv:1609.00494. doi:10.7554/eLife.21451. PMC 5173326. PMID 27995896.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  88. ↑ Moonesinghe, Ramal; Khoury, Muin J.; Janssens, A. Cecile J. W. (27 лютого 2007). Most Published Research Findings Are False—But a Little Replication Goes a Long Way. PLOS Med. 4 (2): e28. doi:10.1371/journal.pmed.0040028. PMC 1808082. PMID 17326704.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  89. ↑ Simons, Daniel J. (1 січня 2014). The Value of Direct Replication. Perspectives on Psychological Science. 9 (1): 76—80. doi:10.1177/1745691613514755. ISSN 1745-6916. PMID 26173243.
  90. ↑ Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2 жовтня 2015). Meta-research: Evaluation and Improvement of Research Methods and Practices. PLOS Biology. 13 (10): –1002264. doi:10.1371/journal.pbio.1002264. ISSN 1545-7885. PMC 4592065. PMID 26431313.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  91. ↑ Bach, Author Becky (8 December 2015). On communicating science and uncertainty: A podcast with John Ioannidis. Scope. Процитовано 20 May 2019.
  92. ↑ Registered Replication Reports. Association for Psychological Science. Процитовано 13 листопада 2015.
  93. ↑ Chambers, Chris (20 травня 2014). Psychology's 'registration revolution'. The Guardian. Процитовано 13 листопада 2015.
  94. ↑ Lindsay, D. Stephen (9 листопада 2015). Replication in Psychological Science. Psychological Science. 26 (12): 1827—32. doi:10.1177/0956797615616374. ISSN 0956-7976. PMID 26553013.
  95. ↑ Yeung, Andy W. K. (2017). Do Neuroscience Journals Accept Replications? A Survey of Literature. Frontiers in Human Neuroscience (English) . 11: 468. doi:10.3389/fnhum.2017.00468. ISSN 1662-5161. PMC 5611708. PMID 28979201.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  96. ↑ Martin, G. N.; Clarke, Richard M. (2017). Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices. Frontiers in Psychology (English) . 8: 523. doi:10.3389/fpsyg.2017.00523. ISSN 1664-1078. PMC 5387793. PMID 28443044.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
  97. ↑ Wallot, Sebastian; Kelty-Stephen, Damian G. (1 червня 2018). Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication. Minds and Machines (англ.). 28 (2): 353—374. doi:10.1007/s11023-017-9455-0. ISSN 1572-8641.
  98. ↑ Siegenfeld, Alexander F.; Bar-Yam, Yaneer (10 грудня 2019). An Introduction to Complex Systems Science and its Applications. arXiv:1912.05088 [physics.soc-ph].
Отримано з https://uk.wikipedia.org/w/index.php?title=Криза_відтворюваності&oldid=28854774