Publikační zkreslení
Publikační zkreslení (anglicky publication bias) je typ zkreslení, které se vyskytuje v publikovaném akademickém výzkumu. Dochází k němu tehdy, když výsledek experimentu nebo výzkumné studie ovlivňuje rozhodnutí, zda ji publikovat nebo jinak šířit. Zveřejnění pouze těch výsledků, které vykazují významný nález, narušuje rovnováhu výsledků a vkládá předpojatost ve prospěch pozitivních výsledků.[2] Studium publikačního zkreslení je důležitým tématem metavědy.
Studie s významným výsledkem mohou mít stejnou úroveň jako studie s nulovým výsledkem, pokud jde o kvalitu provedení a design,[3] nicméně statisticky významné výsledky jsou třikrát častěji publikovány než práce s nulovým výsledkem,[4] což má za následek, že výzkumní pracovníci jsou nepřiměřeně motivováni manipulovat se svými postupy, aby zajistili, že bude uveden statisticky významný výsledek.[5]
K publikačnímu zkreslení přispívá více faktorů,[6] například jakmile je vědecké zjištění dobře zavedené, může se stát, bývá trendem zveřejňovat spolehlivé práce, které nepodporují nulovou hypotézu.[7] Bylo zjištěno, že nejčastějším důvodem nepublikování je prostě to, že výzkumníci odmítnou předložit výsledky, což vede ke zkreslení bez odezvy. Mezi faktory, které jsou uváděny jako základ tohoto efektu, patří předpoklad řešitelů, že museli udělat chybu, nepodpoření známého zjištění, ztráta zájmu o téma nebo očekávání, že ostatní nebudou mít zájem o nulové výsledky.[3] Povaha těchto otázek a problémů, které byly vyvolány, byla označena jako 5 nemocí, které ohrožují vědu, mezi něž patří:
„significosis, nepřiměřené zaměření na statisticky významné výsledky;
neophilia, nadměrné oceňování novinek;
theorrhea, mánie pro nové teorie;
arigorium, nedostatek rigoróznosti v teoretické a empirické práci; a konečně
disjunctivitis, sklon k produkci velkého množství nadbytečných, triviálních a nesouvislých prací“.[8]
Pokusy o identifikaci nepublikovaných studií se často ukazují jako obtížné nebo neuspokojivé.[6] Ve snaze bojovat s tímto problémem některé časopisy vyžadují, aby studie předkládané k publikaci byly předem registrovány (registrace studie před sběrem dat a analýzou) u organizací, jako je Center for Open Science.
Mezi další navrhované strategie k odhalení a kontrole publikační chyby[6] patří analýza p-křivky[9] a znevýhodňování malých a nerandomizovaných studií kvůli jejich prokazatelně vysoké náchylnosti k chybám a zkreslení.[3]
Definice
K publikačnímu zkreslení dochází tehdy, když zveřejnění výsledků výzkumu závisí nejen na kvalitě výzkumu, ale také na testované hypotéze a na významnosti a směru zjištěných účinků.[10] O tomto tématu poprvé hovořil v roce 1959 statistik Theodore Sterling, aby označil oblasti, v nichž je pravděpodobnější, že bude publikován „úspěšný“ výzkum. Výsledkem je, že „literatura takového oboru se z podstatné části skládá z falešných závěrů vyplývajících z chyb prvního druhu ve statistických testech významnosti.“[11] V nejhorším případě by se falešné závěry mohly kanonizovat jako pravdivé, pokud je míra publikování negativních výsledků příliš nízká.[12]
Publikační zkreslení se někdy nazývá efekt složky se soubory nebo problém složky se soubory. Tento termín naznačuje, že výsledky, které nepotvrzují hypotézy výzkumníků, se často nedostanou dál než do složek se soubory výzkumníků, což vede ke zkreslení publikovaného výzkumu.[13] Termín „problém složky se spisy“ zavedl psycholog Robert Rosenthal v roce 1979.[14]
K pozitivnímu zkreslení výsledků, jednomu z typů publikačního zkreslení, dochází tehdy, když autoři častěji předkládají nebo redaktoři častěji přijímají pozitivní výsledky než výsledky negativní nebo neprůkazné.[15] K zkreslení vykazování výsledků dochází tehdy, když je měřeno a analyzováno více výsledků, ale vykazování těchto výsledků je závislé na síle a směru jeho výsledků. Obecný termín vytvořený pro popis těchto post-hoc rozhodnutí je HARKing ("Hypothesizing After the Results are Known").[16]
Důkaz
V biomedicíně existuje rozsáhlý meta-výzkum týkající se publikačního zkreslení. Výzkumníci sledující klinické studie od předložení jejich protokolů etickým komisím (nebo regulačním orgánům) až po zveřejnění jejich výsledků vypozorovali, že ty s pozitivními výsledky jsou publikovány častěji.[17][18][19] Kromě toho studie často neuvádějí negativní výsledky, když jsou publikovány, jak ukázal výzkum srovnávající protokoly studií s publikovanými články.[20][21]
Přítomnost publikačního zkreslení byla zkoumána v metaanalýzách. Největší taková analýza zkoumala přítomnost publikačního zkreslení v systematických přehledech léčebných postupů z Cochrane Library.[22] Studie ukázala, že statisticky významné pozitivní nálezy jsou do metaanalýz účinnosti zahrnuty s o 27 % větší pravděpodobností než ostatní nálezy. Výsledky, které neprokázaly žádné nežádoucí účinky, mají o 78 % větší pravděpodobnost zařazení do studií bezpečnosti než statisticky významné výsledky, které nežádoucí účinky prokázaly. V metaanalýzách publikovaných ve významných lékařských časopisech byly nalezeny důkazy o publikačním zkreslení.[23]
Dopad na metaanalýzu
V případě publikačního zkreslení již publikované studie nepředstavují reprezentativní vzorek dostupných důkazů. Toto zkreslení zkresluje výsledky metaanalýz a systematických přehledů. Například medicína založená na důkazech se při hodnocení důkazů stále více spoléhá na metaanalýzu.
Metaanalýzy a systematické přehledy mohou zohlednit publikační zkreslení zahrnutím důkazů z nepublikovaných studií a šedé literatury. Přítomnost publikačního zkreslení lze také zkoumat sestrojením trychtýřového grafu, v němž je odhad uváděné velikosti účinku vynesen do grafu proti míře přesnosti nebo velikosti vzorku. Předpokladem je, že rozptyl bodů by měl odrážet trychtýřovitý tvar, což naznačuje, že vykazování velikosti účinku nesouvisí s jeho statistickou významností.[24] Pokud malé studie převažují v jednom směru (obvykle ve směru větší velikosti účinku), dojde k asymetrii, což může svědčit o publikačním zkreslení.[25]
Protože při interpretaci trychtýřových grafů existuje nevyhnutelná míra subjektivity, bylo navrženo několik testů pro detekci asymetrie trychtýřových grafů,[24][26][27] které jsou často založeny na lineární regresi a mohou přijmout multiplikativní nebo aditivní parametr rozptylu, aby upravily přítomnost heterogenity mezi studiemi. Některé přístupy se mohou dokonce pokoušet kompenzovat (potenciální) přítomnost publikačního zkreslení,[22][28][29] což je užitečné zejména pro zkoumání potenciálního dopadu na výsledky metaanalýzy.[30][31][32]
Odkazy
V tomto článku byl použit překlad textu z článku Publication bias na anglické Wikipedii.
Reference
- Flore P. C.; WICHERTS J. M. Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol. 2015, s. 25–44. DOI 10.1016/j.jsp.2014.10.002. PMID 25636259. (anglicky)
- SONG, F; PAREKH,, S; HOOPER, L. Dissemination and publication of research findings: an updated review of related biases. Health Technology Assessment. 2010-02, roč. 14, čís. 8. Dostupné online [cit. 2022-01-31]. ISSN 1366-5278. DOI 10.3310/hta14080. (anglicky)
- EASTERBROOK, P.J; GOPALAN, R; BERLIN, J.A. Publication bias in clinical research. The Lancet. 1991-04, roč. 337, čís. 8746, s. 867–872. Dostupné online [cit. 2022-01-31]. DOI 10.1016/0140-6736(91)90201-Y. (anglicky)
- DICKERSIN, K.; CHAN, S.; CHALMERSX, T.C. Publication bias and clinical trials. Controlled Clinical Trials. 1987-12, roč. 8, čís. 4, s. 343–353. Dostupné online [cit. 2022-01-31]. DOI 10.1016/0197-2456(87)90155-3. (anglicky)
- PEARCE, Jack; DERRICK, Ben. Preliminary Testing: The Devil of Statistics?. Reinvention: an International Journal of Undergraduate Research. 2019-10-05, roč. 12, čís. 2. Dostupné online [cit. 2022-01-31]. ISSN 1755-7429. DOI 10.31273/reinvention.v12i2.339.
- Publication bias in meta-analysis : prevention, assessment and adjustments. Chichester, England: Wiley 1 online resource (xvii, 356 pages) s. Dostupné online. ISBN 0-470-87016-8, ISBN 978-0-470-87016-7. OCLC 85784976
- LUIJENDIJK, Hendrika J.; KOOLMAN, Xander. The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle. Journal of Clinical Epidemiology. 2012-05, roč. 65, čís. 5, s. 488–492. Dostupné online [cit. 2022-01-31]. DOI 10.1016/j.jclinepi.2011.06.022. (anglicky)
- ANTONAKIS, John. On doing better science: From thrill of discovery to policy implications. The Leadership Quarterly. 2017-02, roč. 28, čís. 1, s. 5–21. Dostupné online [cit. 2022-01-31]. DOI 10.1016/j.leaqua.2017.01.006. (anglicky)
- SIMONSOHN, Uri; NELSON, Leif D.; SIMMONS, Joseph P. P-curve: A key to the file-drawer.. Journal of Experimental Psychology: General. 2014, roč. 143, čís. 2, s. 534–547. Dostupné online [cit. 2022-01-31]. ISSN 1939-2222. DOI 10.1037/a0033242. (anglicky)
- DICKERSIN, K. The existence of publication bias and risk factors for its occurrence. JAMA: The Journal of the American Medical Association. 1990-03-09, roč. 263, čís. 10, s. 1385–1389. Dostupné online [cit. 2022-01-31]. DOI 10.1001/jama.263.10.1385.[nedostupný zdroj]
- STERLING, Theodore D. Publication Decisions and Their Possible Effects on Inferences Drawn from Tests of Significance--Or Vice Versa. Journal of the American Statistical Association. 1959-03, roč. 54, čís. 285, s. 30. Dostupné online [cit. 2022-01-31]. DOI 10.2307/2282137.
- NISSEN, Silas Boye; MAGIDSON, Tali; GROSS, Kevin. Publication bias and the canonization of false facts. eLife. 2016-12-20, roč. 5, s. e21451. Dostupné online [cit. 2022-01-31]. ISSN 2050-084X. DOI 10.7554/eLife.21451. PMID 27995896. (anglicky)
- SCARGLE, Jeffrey D. Publication Bias (The "File-Drawer Problem") in Scientific Inference. arXiv e-prints. 1999-09-01, s. physics/9909033. Citation Key: 1999physics...9033S ADS Bibcode: 1999physics...9033S. Dostupné online [cit. 2022-01-31].
- ROSENTHAL, Robert. The file drawer problem and tolerance for null results.. Psychological Bulletin. 1979, roč. 86, čís. 3, s. 638–641. Dostupné online [cit. 2022-01-31]. ISSN 0033-2909. DOI 10.1037/0033-2909.86.3.638. (anglicky)
- SACKETT, David L. Bias in analytic research. Journal of Chronic Diseases. 1979-01, roč. 32, čís. 1–2, s. 51–63. Dostupné online [cit. 2022-01-31]. DOI 10.1016/0021-9681(79)90012-2. (anglicky)
- KERR, Norbert L. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review. 1998-08, roč. 2, čís. 3, s. 196–217. Dostupné online [cit. 2022-01-31]. ISSN 1088-8683. DOI 10.1207/s15327957pspr0203_4. (anglicky)
- DICKERSIN, K.; MIN, Y. I. NIH clinical trials and publication bias. The Online Journal of Current Clinical Trials. 1993-04-28, roč. Doc No 50, s. [4967 words; 53 paragraphs]. PMID: 8306005. Dostupné online [cit. 2022-01-31]. ISSN 1059-2725. PMID 8306005.
- DECULLIER, Evelyne; LHÉRITIER, Véronique; CHAPUIS, François. Fate of biomedical research protocols and publication bias in France: retrospective cohort study. BMJ. 2005-07-02, roč. 331, čís. 7507, s. 19. Dostupné online [cit. 2022-01-31]. ISSN 0959-8138. DOI 10.1136/bmj.38488.385995.8F. PMID 15967761. (anglicky)
- SONG, Fujian; PAREKH-BHURKE, Sheetal; HOOPER, Lee. Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Medical Research Methodology. 2009-12, roč. 9, čís. 1, s. 79. Dostupné online [cit. 2022-01-31]. ISSN 1471-2288. DOI 10.1186/1471-2288-9-79. PMID 19941636. (anglicky)
- CHAN, An-Wen; ALTMAN, Douglas G. Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ. 2005-04-02, roč. 330, čís. 7494, s. 753. Dostupné online [cit. 2022-01-31]. ISSN 0959-8138. DOI 10.1136/bmj.38356.424606.8F. PMID 15681569. (anglicky)
- RIVEROS, Carolina; DECHARTRES, Agnes; PERRODEAU, Elodie. Timing and Completeness of Trial Results Posted at ClinicalTrials.gov and Published in Journals. PLoS Medicine. 2013-12-03, roč. 10, čís. 12, s. e1001566. Dostupné online [cit. 2022-01-31]. ISSN 1549-1676. DOI 10.1371/journal.pmed.1001566. PMID 24311990. (anglicky)
- KICINSKI, Michal; SPRINGATE, David A.; KONTOPANTELIS, Evangelos. Publication bias in meta‐analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine. 2015-09-10, roč. 34, čís. 20, s. 2781–2793. Dostupné online [cit. 2022-01-31]. ISSN 0277-6715. DOI 10.1002/sim.6525. (anglicky)
- KICINSKI, Michal. Publication Bias in Recent Meta-Analyses. PLoS ONE. 2013-11-27, roč. 8, čís. 11, s. e81823. Dostupné online [cit. 2022-01-31]. ISSN 1932-6203. DOI 10.1371/journal.pone.0081823. PMID 24363797. (anglicky)
- DEBRAY, Thomas P. A.; MOONS, Karel G. M.; RILEY, Richard D. Detecting small-study effects and funnel plot asymmetry in meta-analysis of survival data: A comparison of new and existing tests: Detecting small-study effects. Research Synthesis Methods. 2018-03, roč. 9, čís. 1, s. 41–50. Dostupné online [cit. 2022-01-31]. DOI 10.1002/jrsm.1266. PMID 28975717. (anglicky)
- LIGHT, Richard J.; PILLEMER, David B. Summing Up: The Science of Reviewing Research. [s.l.]: Harvard University Press Dostupné online. ISBN 978-0-674-04024-3, ISBN 978-0-674-85431-4. DOI 10.2307/j.ctvk12px9. DOI: 10.2307/j.ctvk12px9.
- JIN, Zhi-Chao; ZHOU, Xiao-Hua; HE, Jia. Statistical methods for dealing with publication bias in meta-analysis. Statistics in Medicine. 2015-01-30, roč. 34, čís. 2, s. 343–360. Dostupné online [cit. 2022-01-31]. DOI 10.1002/sim.6342. (anglicky)
- RÜCKER, Gerta; CARPENTER, James R.; SCHWARZER, Guido. Detecting and adjusting for small-study effects in meta-analysis. Biometrical Journal. 2011-03, roč. 53, čís. 2, s. 351–368. Dostupné online [cit. 2022-01-31]. DOI 10.1002/bimj.201000151. (anglicky)
- SILLIMAN, Nancy Paul. Hierarchical Selection Models with Applications in Meta-Analysis. Journal of the American Statistical Association. 1997-09, roč. 92, čís. 439, s. 926–936. Dostupné online [cit. 2022-01-31]. ISSN 0162-1459. DOI 10.1080/01621459.1997.10474047. (anglicky)
- HEDGES, Larry V.; VEVEA, Jack L. Estimating Effect Size Under Publication Bias: Small Sample Properties and Robustness of a Random Effects Selection Model. Journal of Educational and Behavioral Statistics. 1996-12, roč. 21, čís. 4, s. 299–332. Dostupné online [cit. 2022-01-31]. ISSN 1076-9986. DOI 10.3102/10769986021004299. (anglicky)
- MCSHANE, Blakeley B.; BÖCKENHOLT, Ulf; HANSEN, Karsten T. Adjusting for Publication Bias in Meta-Analysis: An Evaluation of Selection Methods and Some Cautionary Notes. Perspectives on Psychological Science. 2016-09, roč. 11, čís. 5, s. 730–749. Dostupné online [cit. 2022-01-31]. ISSN 1745-6916. DOI 10.1177/1745691616662243. (anglicky)
- SUTTON, A.J.; SONG, F.; GILBODY, S.M. Modelling publication bias in meta-analysis: a review. Statistical Methods in Medical Research. 2000-10-01, roč. 9, čís. 5, s. 421–445. Dostupné online [cit. 2022-01-31]. DOI 10.1191/096228000701555244. (anglicky)[nedostupný zdroj]
- KICINSKI, M. How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open. 2014-08-28, roč. 4, čís. 8, s. e004831–e004831. Dostupné online [cit. 2022-01-31]. ISSN 2044-6055. DOI 10.1136/bmjopen-2014-004831. PMID 25168036. (anglicky)