p-hacking

Prostředkem p-hackingu je tzv. p-hodnota, číselná hodnota, jež se užívá při statickém testování hypotéz. Typicky se jako hranice pro určení relevance získaných dat stanovuje hodnota 0,05. Pokud je p-hodnota menší než 0,05, má se za to, že mezi zkoumanými vzorky existují rozdíly. Na druhou stranu pokud je p-hodnota větší než 0,05, nelze tvrdit, že by mezi vzorky existovala prokazatelná rozdílnost. p-hodnota potvrzuje či vyvrací možnost rozdílů mezi vzorky, ale neurčuje, jak velké tyto rozdíly jsou.[3]

• Pokud budou získaná data opakovaně podrobována stejnému zkoumání, nevyhnutelně mezi nimi dříve či později statistický rozdíl vznikne, jedná se ale o tzv. falešně pozitivní výsledek. V tomto případě se jedná o p-hacking ve smyslu, že se tentýž experiment provádí stále dokola, dokud nedojde k potvrzení dané hypotézy.
• Dalšího způsobu p-hackingu může být užito v případech, kdy experiment vyústí v p-hodnotu blížící se hranici 0,05, nicméně stále vyšší. Pokud je po získání prvotních dat uměle jejich objem zvětšen o data dodaná následně, pravděpodobně se autor výzkumu dopracuje k hodnotě nižší, než 0,05. Takovýto výsledek se ovšem nemůže považovat za směrodatný, neboť se jedná o p-hacking. Ve správném případě musí být předem známo co, do jaké míry a jakým způsobem se zkoumá a pro validitu experimentu se musí těchto předem vytyčených hranic držet, i přes riziko vyvrácení hypotézy.
• Alternativně pokud výzkumník začne vyhodnocovat získaná data již v procesu jejich kolekce, vyhodnotí z nich požadovaný výsledek a na základě toho předčasně ukončí sběr dat, jedná se také o p-hacking. [4]
• Nelze opomenout fakt, že p-hackingu se lze dopouštět i neúmyslně. Například se toho může omylem dopustit výzkumník v momentě, kdy získaná data předá k analýze svému asistentovi. Lze předpokládat, že ten bude hledat výsledky analýzy, o kterých bude soudit, že s nimi jeho nadřízený bude spokojen. Ač fyzické ovlivnění dat učinil asistent, právě výzkumník samotný mohl předpokládat, že k tomuto může dojít, a tedy se bez svého vědomí dopustil p-hackingu.[4]

Ve skutečnosti je p-hacking velice častým jevem. Lze to ilustrovat prostřednictvím výzkumu Leslie K. John a kol[5]. Výzkum spočíval ve sběru dat skrze dotazníky. Respondenti byli dotazováni, zda se někdy ocitnuli v situaci, kdy došli při výzkumu k řadě pochybných výsledků a pokud ano, zdali si myslí, že jejich skutky byly na stupnici 0-2 (0 = ne, 1 = možná, 2 = ano) obhajitelné. Přes 50 % účastníků dotazníku se přiznalo k “selhání v nahlášení všech měření závislých na příslušné studii” a k “rozhodování se, zda sbírat více dat po tom, co se již podívali, zda jsou pro ně výsledky podstatné,” tyto výsledky ale ovšem dosáhly průměrného hodnocení vyššího než 1,5.”[3]

Prvotním varováním před potenciálním p-hackingem by čtenáři mělo být podezřele vysoké množství p-hodnot v analýzách dat na dané téma, které se pohybují těsně kolem hranice 0,05, typicky lehce pod ní. Často se tento jev projevuje ve studiích, které se dotýkají subjektivně vnímaných podnětů a pocitů lidí: typicky výzkumy spojené se zdravím, životosprávou, psychikou a psychologií člověka.[2]