Replikační krize

V psychologii je uváděn za počátek replikační krize rok 2011, kdy Daryl J. Bem provedl experiment, který prokazoval existenci časově obrácené kauzality a tedy, že budoucí události mají kauzální účinek na minulé události. Tato studie byla následně vydána ve vědeckých vlivných časopisech Social Psychology a Journal of Personality, což vyvolalo pochybnosti ve vědecké sféře. Pokus byl poté proveden dalšími nezávislými vědeckými týmy pomocí stejných metod, jak tomu bylo u Bema, avšak s neúspěšným výsledkem. Výsledné replikační studie, popírající tu originální, pak byly vědeckými časopisy odmítnuty včetně časopisů, které Bemovu studii publikovaly. Následkem toho bylo vyvolání pochybností z řad vědců v další publikované studie.[4]

Dalším případem, který vyvolal diskuzi ohledně replikační krize je vědecký podvod nizozemského psychologa Diederyka Stapela. V roce 2011 se ukázalo, že psycholog manipuloval s daty, a to nejméně ve 30 svých publikacích. Velká část jeho kariéry tak byla postavena na pochybných základech. Svým kolegům měl předkládat jím upravené a zkreslené hodnoty, které byly dále analyzovány. K roku 2019 bylo staženo 58 jeho publikací.[5][6]

Vědecké časopisy publikují články s významnými závěry, zjištěním a vyvolávají tak tlak na vědce, kteří upravují data tak dlouho dokud nedosáhnou chtěného výsledku, který pak může být publikován. Studie, které dochází k negativním výsledkům, popřípadě samotné replikace studií jsou pak často odmítány a oproti těm pozitivním zaujímají v časopisech jen zlomek.[7]

Studie, které vycházejí z malého vzorku zkoumaných subjektů mohou mít zkreslené výsledky a může se zde projevit náhoda. Následná replikace je pak obtížná, vychází-li z většího vzorku, který by měl být objektivnější.[8]

Statistická síla určuje pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. Například v neurovědě je publikováno 85 % studií se statisticky významným výsledkem, nicméně průměrná statistická síla těchto studií dosahuje přinejlepším hodnoty 31 %. Pokud by nedocházelo ke zkreslení publikování statisticky významných výsledků, měly by se tyto dvě hodnoty shodovat. Rozdíl mezi těmito hodnotami (85 % a 31 %) je proto indikátorem zkreslení.[7]

I když studie provedená v minulosti proběhla v pořádku, studie snažící se o replikaci mohou vykazovat odlišný závěr vlivem změny prostředí, smýšlení lidí, politické situace, času aj.[8]

Zatajení, či ignorování některých proměnných, které se podílely na výsledku, nebo zveřejnění jen významných, pozitivních výsledků z velkého počtu realizovaných pokusů.[9][7]

(hypothesizing after the results are known)

Pochybný vědecký postup, kdy hypotéza je vytvořena až poté co jsou známy výsledky. Předchozí hypotéza je mnohdy vynechána, neboť se neslučuje s výsledky testu. Následně je stanovena taková hypotéza, která koresponduje s výsledky práce a činí tak studii úspěšnou, i když prvotní studie chtěla najít zcela jiný efekt. Takovýto postup, kdy otázka je uměle předložena až po znalosti výsledku není v souladu se správným vědeckým postupem. [7][9]

Zneužití datové analýzy, kdy jsou sbírána data tak dlouho dokud nenastane potřebná hodnota p. Často je tak sbíraný vzorek nižší, než původně výzkumníci zamýšleli. Patří sem i upravování hodnoty p, například zaokrouhlováním (0,054 na 0,05 aj.).[7]

Jedná se o registraci vědecké studie na oficiálních místech před jejím provedením. Měla by znemožnit zkreslení výsledků, úpravu dat, či HARKing.[11]

Mnoho publikací vyžaduje pro získání statistické významnosti hodnotu p < 0,05. Mnoho vědců navrhuje snížit tuto hodnotu pod 0,005, což by mělo zjednodušit samotnou reprodukovatelnost.[12]

Studenti by na základě přesných metodologických postupů replikovali původní studie, přičemž by pomohli vědecké komunitě s ověřitelností dosud neověřených prací a získali by praktické zkušenosti. Podobně tomu je například na univerzitě ve Washingtonu.[13]

Replikace studií by se na poli vědeckých časopisů měli stát standardně publikovanými. Nynější přístup je takový, že replikace jsou vnímány jako nezajímavé, protože buď pouze potvrdí efekt předchozí studie anebo přichází s negativním výsledkem, který není pro časopis tak atraktivní.[14]

Dalším možným způsobem je sdílení nezpracovaných dat. Data by byla uložena na online úložištích, kde mohou být následně kontrolována, vyhodnocována a přezkoumávána veřejností, či dalšími vědci. Jedním z takových úložišť je například Open Science Framework (osf.io).[15]

V roce 2015 časopis Science zveřejnil článek, který zkoumal reprodukovatelnost experimentů v psychologii. Bylo vybráno 100 studií ze třech psychologických časopisů s cílem dosáhnout stejných výsledků, jak tomu bylo u původních studií. Pouze u 36 % z 97 % originálních studií bylo dosaženo signifikantních výsledků.[16]

Do projektu bylo zapojeno 36 výzkumných týmů z 11 zemí s cílem replikovat zvolených 13 psychologických efektů. Všechny týmy musely striktně dodržovat stanovený postup a kritéria. Výsledek projektu ukázal, že se týmům podařilo úspěšně replikovat 10 z 13 efektů. Ani jednomu z týmu se nepodařilo replikovat zbylé 3 efekty (flag priming, currency priming, imagined contact).[17]

V roce 2015 se Eva Ranehill a její tým rozhodli replikovat „postoj síly“, který byl publikován již roku 2010 ve vědeckém časopisu Psychological Science americkou psycholožkou Amy Cuddy. Postoj měl být jakýsi „life-hack“ a umožnit člověku dosáhnout větší síly, přičemž samotný postoj měl ovlivnit i hladinu hormonů v těle. Při replikaci byl vybrán vzorek zhruba pětkrát větší než při původním pokusu. Týmu se nepodařilo dosáhnout původního efektu a shledal tak toto tvrzení jako další z případů, kdy vlivem náhody bylo dosaženo statisticky významného výsledku.[18]