Нова робота американських науковців вказує, що криза відтворюваності може бути гіршою, ніж передбачалося, позаяк невідтворювані дослідження процитовані у середньому в 153 рази частіше, ніж відтворювані. Тенденція зберігається навіть після того, як публікуються дослідження про невідтворюваність попередніх результатів, йдеться у статті журналу Science Advances.
GIPHY
Про яку кризу йде мова?
Тема кризи відтворюваності результатів наукових досліджень широко обговорюється у науковому колі останніми роками. Вона полягає у тому, що багато результатів наукових праць не проходять перевірки іншими вченими. Тобто коли науковці повторюють раніше проведений експеримент, вони отримують істотно відмінний від оригінального дослідження результат. Це не завжди вказує на те, що оригінальні результати хибні, приміром, вони можуть стати застарілими. Особливо це стосується робіт у галузях соціальних наук, зокрема, психології та економіки. Однак попередні дослідження також показували, що часто вчені можуть правильно передбачити, наскільки окремий експеримент може бути відтвореним. У такому разі здається дивним, що рецензенти наукових статей пропускають до публікацій такі праці. Проте, можливо, що коли вони стикаються з незвичайними, цікавими результатами, то понижують вимоги і можуть закривати очі на деякі неточності або відхилення. Група дослідників з Каліфорнійського університету в Сан-Дієго вирішила перевірити, чи справді наукові роботи з ефектними результатами справляють більше враження на вчених, навіть будучи невідтворюваними, ніж дослідження, які відтворюються.
Як це перевіряли?
Науковці спершу проаналізували дані трьох наукових проєктів, які займаються систематичним відтворенням експериментів. Переважно експерти намагаються відтворити дослідження, опубліковані у топових загальних журналах (Nature та Science), а також спеціалізованих на психології або економіці. Результати вказують: у психологічних журналах лише 39 відсотків зі ста експериментів успішно відтворюються, в економічних — 61 відсоток із 18 досліджень, а в престижних журналах Nature та Science успішно вдалося відтворити результати лише 62 відсотки експериментів із 21.
Зважаючи на це, у новій роботі вчені вирішили перевірити, чи роботи, які не пройшли перевірку результатів, цитуються частіше за інші. Вони використали сервіс Google Scholar, щоб визначити, як часто цитували наукові статті від часу їх публікування до кінця 2019 року, тобто до та після того, як вони виявилися невідтворюваними. Увага зверталася також на те, як часто цитувалися самі цитати та на імпакт-фактор журналу, який їх опублікував. Загалом науковці проаналізували 20 252 статті, які процитували враховані у трьох проєктах дослідження.
Які результати цього дослідження?
Справді, загалом невідтворювані дослідження процитовані у 153 рази більше за відтворювані. Вплив зростає з часом: у середньому за рік дослідження, чиї результати не відтворилися, цитуються на 16 разів більше. Що важливо, тенденція не змінюється навіть після того, як публікується спростування результатів цих праць, і лише 12 відсотків цитувань згадують про провал у перевірці досліджень. Найбільше цитувалися невідтворювані статті в рейтингових журналах Nature та Science: у 300 разів частіше, ніж відтворювані. Відмінність зберігалася навіть після врахування таких факторів, як кількість авторів дослідження, відсоток у них чоловіків, локація й мова експериментів та галузь науки, у якій роботу опубліковано.
Цікавіші результати невідтворюваних досліджень також частіше висвітлюються у засобах масової інформації та соціальних мережах. Це може мати довгострокові негативні наслідки, як було зі статтею 1998 року про зв'язок вакцинацій та аутизму в дітей. Цю статтю через 12 років після публікації відкликали, але у медіапросторі продовжують ширитися хибні доводи на користь пов'язаності щеплень з аутизмом. Але все ж результати вказують, що відкликання статей має значення — цитування таких праць знижується у середньому на 7 відсотків щороку.
Причина високих цитувань невідтворюваних досліджень частково полягає в особливостях роботи вчених. Останні перебувають під тиском публікації більш цікавих результатів, щоб привернути до себе більше уваги та підвищити кількість їх цитувань, від якої часто залежить їхнє кар'єрне просування. Автори нової роботи сподіваються, що читачі звертатимуть більше уваги на відтворюваність результатів досліджень, всупереч разючим відкриттям, кількості їх цитувань та публікації в рейтингових журналах.
Більше про те, що таке науковий метод, як обмінюються інформацією науковці та чому, попри недоліки, наука є найкращим інструментом пізнання світу, читайте в нашому матеріалі «Науковий метод. Як працює наука і чому їй варто довіряти».