Chyby typu I a II

Chyba typu I, jinak známá jako chyba prvního druhu, je chybné rozhodnutí učiněno poté, co test odmítne pravdivou nulovou hypotézu(H₀). Chyba typu I může být přirovnána k takzvané falešné pozitivitě v jiných testových situacích. Zjednodušeně řečeno, vyšetřovatel může hlásit falešný poplach bez hrozby na dohled, lidově řečeno „sýčkovat“, kdy (H₀: žádná hrozba). Chyba typu I může být vyjádřena jako chyba nadměrného skepticismu.[1]

Míra chyby typu I se nazývá hladina (významnosti) testu a značí se řeckým písmenem α (alfa). Obvykle se rovná úrovni významnosti testu. V případě jednoduché nulové hypotézy je α pravděpodobnost chyby typu I. Pokud je nulová hypotéza složená, je α maximum (supremum) možných pravděpodobností chyby typu I.

Chyba typu II, také známá jako chyba druhého druhu (též anglicky false negative), je chybné rozhodnutí učiněné, když test selže v odmítnutí falešné nulové hypotézy. Chyba typu II může být přirovnána k takzvané falešné negativitě v jiných testových situacích, může být vyjádřena jako chyba nadměrné důvěryhodnosti/důvěřivosti.[1] Zjednodušeně řečeno, vyšetřovatel může přehlédnout hrozbu (nespustit poplach). H₀: žádná hrozba.

Míra chyby typu II se značí řeckým písmenem β (beta) a vztahuje se k síle testu (která se rovná 1 − β).

Co ve skutečnosti nazýváme chybou typu I a II, záleží přímo na nulové hypotéze. Negace nulové hypotézy způsobuje prohození chyb typu I a II.

Cílem testu je rozhodnout, zda může být nulová hypotéza odmítnuta. Statistický test může buď odmítnout (prokázat za nepravdivou) nebo selhat v odmítnutí (selhat v prokázání za nepravdivou) nulové hypotézy, ale nikdy ji prokázat za pravdivou (jinými slovy selhání v odmítnutí nulové hypotézy ji neprokazuje za pravdivou).

V praxi může být chyba typu I vyjádřena jako „usvědčení nevinného člověka“ (prohlášen za viníka) a chyba typu II jako „nechat pachatele na svobodě“.

Chyba typu II nastává, když je nulová hypotéza nepravdivá, což v přeneseném smyslu slova znamená např.: přidávání fluoridu do zubní pasty je skutečně efektivní proti zubnímu kazu, ale data jsou taková, že nulová hypotéza nemůže být odmítnuta, takže se nedá prokázat jeho existující efekt.

Tabularizované vztahy mezi pravdivostí/nepravdivostí nulové hypotézy a výsledky testu:

Z Bayesova úhlu pohledu je chyba typu I taková, která se dívá na informaci, která by sice neměla výrazně změnit něčí prioritní předpoklad pravděpodobnosti, ale změní. Chyba typu II je taková, která se dívá na informaci, která by měla změnit něčí předpoklad, ale nezmění.

Testování hypotéz je umění testování, zda odchylka mezi dvěma distribucemi může být vysvětlena náhodou nebo ne. V mnoha praktických aplikacích jsou chyby typu I více choulostivé než chyby typu II.

V těchto případech je pozornost obvykle soustředěna na minimalizování výskytu této statistické chyby. Pokud předpokládáme, že pravděpodobnost chyby typu I je 1%, pak je zde 1% šance, že pozorovaná variace není pravdivá. Toto se nazývá úroveň významnosti, značí se řeckým písmenem α (alfa). Zatímco 1% může být přijatelná úroveň významnosti pro jednu aplikaci, jiná aplikace může vyžadovat úplně jinou úroveň. Například standardní cíl six sigma je dosáhnout přesnosti na 4.5 standardních odchylek nad nebo pod průměrem. To znamená, že pouze 3.4 díly z milionu v procesu s normálním rozdělením mohou být vadné.

Jak už bylo řečeno, klíčová je volba otázky:

• V lékařství se typicky dělají testy na nemoce. Hypotézou-otázkou tedy bývá, zda pacient má danou chorobu. Apriori tedy emočně „pozitivní výsledek testu“, potvrzení nemoci, vnímáme negativně.
• Při technickém testování je pozitivní hlášení naopak vytouženým výsledkem: „Všechny systémy hlásí zelenou, kapitáne!“

Tedy už pouhé položení „otázky“, tedy zda se testuje „hrozba“, nebo naopak ověřuje „soulad“, dává pojmům „false positive“ / „false negative“ opačné významy: V hovoru je snadno lze zaměnit. Proto je pro správné porozumění vždy lépe podávat celé hlášení, podobně jako ve školách nutí „odpovídat celou větou“:

• „Náš test na přítomnost XY vyšel pozitivně, XY byl detekován.“
• místo krátké odpovědi „test vyšel pozitivně“, s implicitním uvažováním předpokladu, že protistrana, příjemce zprávy, přece ví, co se tím myslí.

Příjemce konkrétní technicky ověřovanou hypotézu totiž v praxi často nezná, zajímá ho až výsledek z jeho vlastního pohledu, ne z pohledu řešitele.

Minimalisticky čisté by bylo výsledek v hlášení ani vůbec nevyhodnocovat, pouze konstatovat fakt „XY byl detekován“. To proto, že:

• zadavatelovo (byť subjektivní) ohodnocování takového výsledku nemusí být řešitelem nijak předjímáno, vyhodnocení nemuselo být součástí objednávky;
• a řešitelovo ohodnocování výsledku by zadavatele navíc mohlo zmást, ani zadavatele nemusí zajímat: Zadavatel totiž pro své účely může používat svou vlastní sadu kritérií pro ohodnocení, úplně jiná než by řešitel čekal, navíc před řešitelem často i úmyslně skrytá (ad obchodní tajemství).

Potvrzení hypotézy nijak nesouvisí s pozitivním/negativním vnímáním takové zprávy zadavatelem: Ačkoli se slova „pozitivní“ / „negativní“ v reportu výsledků zadavateli mohou objevovat, nemají ještě nic společného s důsledky, které zadavateli taková zpráva přináší, což ale v běžném životě může být zdrojem nedorozumění. Takovým bývá například těhotenský test.

Falešně pozitivní míra je poměr chybějících událostí, které ustupují pozitivnímu výsledku testu.

Falešně pozitivní míra je rovna úrovni významnosti. Specificita testu se rovná 1 minus falešně pozitivní míra.

V testování statistických hypotéz, se tomuto pojmu přiřazuje řecké písmeno α, a 1 − α je definováno jako specificita testu. Zvyšování specificity testu snižuje pravděpodobnost chyb typu I, ale zvyšuje pravděpodobnost chyb typu II (falešně negativní, které odmítnou alternativní hypotézu, zatímco je pravdivá).

Falešně negativní míra je poměr událostí, které jsou testovány, kterým ustupují negativní výsledky testu.

V testování statistických hypotéz se tomuto pojmu přiřazuje řecké písmeno β. „Síla“ (neboli „sensitivita“) testu se rovná 1 − β.

Pro statistiky je běžnou praxí provádět testy, aby se mohlo určit, zda „spekulativní hypotéza“ týkající se pozorovaného fenoménu ve světě může nebo nemůže být podpořena. Výsledky takového testování rozhodují, zda určitá sada výsledků rozumně souhlasí nebo nesouhlasí se spekulovanou hypotézou.

Na základě předpokladu statistické konvence, že spekulovaná hypotéza je chybná a takzvané „nulové hypotézy“, že pozorovaný fenomén se jednoduše objeví náhodně, test rozhodne, zda tato hypotéza je správná nebo chybná. Proto je testovaná hypotéza často nazývána nulovou hypotézou, protože je to tato hypotéza, která má být buď anulována nebo neanulována testem. Když je nulová hypotéza anulována, je možné se domnívat, že data podporují „alternativní hypotézu“ (která je tou původní spekulovanou).

Důsledná aplikace Neymanovy a Pearsonovy konvence reprezentace „hypotézy k otestování“ (nebo „hypotézy k anulování“) s výrazem H₀ statistiky vedla k okolnostem, kde mnozí rozumí pojmem „nulová hypotéza“ pojem „nil hypotéza“ – prohlášení, že pochybovaným výsledkům vzrostly šance. Toto není nezbytně nutné – klíčové omezení podle Fishera (1966), je takové, že „nulová hypotéza musí být přesná, je prosta nejasností a rozporů, protože musí podporovat bázi 'problému distribuce', jejímž řešením je test významnosti.“[6] Jako následek je v experimentální vědě nulová hypotéza obecně prohlášení, že určité opatření nemá žádný efekt; v pozorovací vědě to znamená, že není rozdílu mezi hodnotou konkrétní měřené proměnné a hodnotou experimentálního předpokladu.

Rozsah, ve kterém pochybovaný test ukazuje, že „spekulovaná hypotéza“ byla (nebo nebyla) anulována, se nazývá statistická významnost; a čím vyšší je úroveň významnosti, tím menší je pravděpodobnost, že pochybovaný fenomén by mohl být způsoben čistě náhodou. Britský statistik Sir Ronald Aylmer Fisher (1890–1962) řekl, že „nulová hypotéza“:

... není nikdy prokázána nebo uznána, ale je možné ji vyvrátit v procesu experimentování. O každém experimentu se dá říci, že existuje pouze za účelem poskytnout faktům šanci vyvrátit nulovou hypotézu. (1935, p.19)

Možnost, že pozorovaný pozitivní výsledek je falešně pozitivní, může být vypočítána použitím Bayesovy věty.

Klíčový koncept Bayesovy věty je, že pravdivé míry falešně pozitivních a falešně negativních nejsou funkcí přesnosti pouze testu samotného, ale také skutečnou mírou nebo frekvencí výskytu uvnitř testované populace.

V teorii systémů je navíc často definována chyba typu III[7]: typ III (δ): položení špatné otázky a použití chybné nulové hypotézy.

Florence Nightingale David (1909–1993) [8], občasná kolegyně Neymana a Pearsona na University College London, udělala humornou poznámku na konci její práce z roku 1947, která říká, že v případě jejího vlastního výzkumu by možná Neymanovy s Pearsonovy „dva zdroje chyby“ mohly být rozšířeny o třetí:

Byla jsem zainteresovaná snahou vysvětlit, co považuji za základní myšlenky [mé „teorie podmíněných výkonových funkcí“], a předejít možné kritice, že upadám do chyby (třetího druhu) a že volím test záměrně falešně, aby vyhovoval významu vzorku. (1947, p.339)

V roce 1948 Frederick Mosteller (1916–2006) argumentoval, že „třetí typ chyby“ je vyžadován k popsání okolností, které pozoroval, jmenovitě:

• Chyba typu I: „odmítnutí nulové hypotézy, zatímco je pravdivá“.
• Chyba typu II: „přijmutí nulové hypotézy, zatímco je falešná“.
• Chyba typu III: „správné odmítnutí nulové hypotézy z chybného důvodu“. (1948, p. 61)

Podle Henry F. Kaisera (1927–1992) v jeho práci z roku 1966 rozšířil Mostellerovu klasifikaci jako chybu třetího druhu, což mělo za následek nesprávné rozhodnutí o směru následujícím odmítnutý „dvouocasý“ test hypotéz. V jeho diskuzi (1966, pp. 162–163) Kaiser také mluví o α chybách, β chybách, a γ chybách pro chyby typu I, typu II a typu III (C.O. Dellomos).

V roce 1957 Allyn W. Kimball, statistik pro Oak Ridge National Laboratory, předložil jiný typ chyby, která stojí za „prvním a druhým typem chyby v teorii testování hypotéz“. Kimball definoval tuto novou „chybu třetího druhu“ jako „chybu způsobenou podáním správné odpovědi na nesprávný problém“ (1957, p. 134).

Matematik Richard Hamming (1915–1998) vyjádřil svůj pohled na věc jako „Je lepší vyřešit problém chybnou cestou, než řešit nesprávný problém správnou cestou“.

Harvardský ekonom Howard Raiffa popisuje událost, kdy také on „spadl do pasti pracování na nesprávném problému“ (1968, pp. 264–265).

V roce 1974 Ian Mitroff a Tom Featheringham rozšířili Kimballovu kategorii, argumentujíc, že „jeden z nejdůležitějších činitelů řešení problému je, jak byl tento problém především prezentován nebo formulován“.

Definovali chyby typu III jednak jako „chybu vyřešení nesprávného problému, zatímco bychom měli řešit správný problém“ nebo jako „chybu zvolení špatné prezentace problému, zatímco bychom měli zvolit správnou prezentaci problému“ (1974), p. 383.

V roce 2009 kniha Dirty rotten strategies od Iana I. Mitroffa a Abrahama Silverse popsala chyby typu III a IV, poskytujíc mnoho příkladů obou, rozvíjejíc dobré odpovědi na špatné otázky (III) a úmyslně vybírajíc špatné otázky pro intenzivní a zkušené vyšetřování (IV). Většina příkladů nemá nic co do činění se statistikou, spíše se týkají problémů veřejné politiky nebo obchodních rozhodnutí.[9]

V roce 1969 harvardský ekonom Howard Raiffa v žertu navrhl „kandidáta na chybu čtvrtého druhu: vyřešení správného problému příliš pozdě“ (1968, p. 264).

V roce 1970 L. A. Marascuilo a J. R. Levin předložili „čtvrtý typ chyby“ – „chybu typu IV“ – kterou definovali po Mostellerově způsobu jako omyl v „nesprávné interpretaci správně odmítnuté hypotézy“; která, jak navrhli, je ekvivalentem k „lékařově správné diagnóze nemoci, následované receptem na nesprávný lék“ (1970, p. 398).

Automatizovaný systém kontroly skladu, který odmítne zásilku zboží vysoké kvality způsobí chybu typu I, zatímco systém, který přijme nekvalitní zboží způsobí chybu typu II.

Představa „falešně pozitivních“ a „falešně negativních“ má širokou obecnost ve světě počítačů a počítačových aplikací.

Slabá místa zabezpečení je důležité zvážit, aby všechna data v počítačích byla v bezpečí, zatímco udržujeme přístup k těmto datům pro povolané uživatele (viz Počítačová bezpečnost). Moulton (1983), upozorňuje na důležitost:

• vyhnutí se chybám typu I (nebo falešně pozitivním), které identifikují ověřené uživatele jako podvodníky.
• vyhnutí se chybám typu II (nebo falešně negativním) které identifikují podvodníky jako ověřené uživatele (1983, p. 125).

Falešně pozitivní nastává, když „spam filtering“ nebo „spam blocking“ techniky špatně klasifikují legitimní emailovou zprávu jako spam a ve výsledku ovlivňují jeho doručení. Ačkoli většina anti-spamových taktik dokáže blokovat nebo filtrovat vysoké procento nevyžádané pošty, učinit tak bez vytváření podstatných falešně-pozitivních výsledků je mnohem náročnější úkol.

Falešně negativní nastává, když spam není detekován jako spam, ale je vyhodnocen jako „non-spam“. Malý počet falešně negativních je ukazatelem efektivnosti metod filtrování spamu.

Termín falešně pozitivní se také používá když antivirový software nesprávně vyhodnotí nezávadný soubor jako vir. Nesprávné zjištění může být způsobeno heuristikou nebo nesprávným podpisem viru v databázi. Podobné problémy mohou nastat i u anti-trojanových nebo anti-spywarových softwarů.

Detekční algoritmy všech druhů často vytváří falešně pozitivní. Optical character recognition (OCR) software může najít „a“ tam, kde jsou jen nějaké tečky, které se použitému algoritmu zdají být „a“ .

Falešně pozitivní se běžně objevují každý den na letištích na bezpečnostním screeningu. Instalované bezpečnostní alarmy mají zabránit pronesení zbraní na palubu letadla; jsou ale často nastaveny na tak vysokou citlivost, že mnohokrát za den vyvolají poplach kvůli malým předmětům, jako jsou klíče, přezky na opasku, mobilní telefony a hřebíčky v botách (viz metal detector.)

Poměr falešně pozitivních (identifikování nevinného cestujícího jako teroristu) k pravdivě pozitivním (detekování „možného“ teroristy) je tedy velmi vysoký; a protože téměř jakýkoliv alarm je falešně pozitivní, je pozitivní prediktivní hodnota těchto screeningových testů velmi nízká.

Relativní cena falešně negativních výsledků určuje pravděpodobnost, že tvůrci testu dovolí, aby tyto události nastaly. Jelikož cena falešně negativní v tomto scénáři je extrémně vysoká (nezjištění bomby pronesené na palubu letadla by mohlo vyústit ve smrt stovek lidí) zatímco cena falešně pozitivní je relativně nízká (jednoduše se vykoná detailnější prohlídka), je nejvhodnější test takový, který má nízkou statistickou specificitu ale vysokou senzitivitu (povolí vysokou míru falešně pozitivních výměnou za minimum falešně negativních).

Biometrické porovnávání, jako třeba otisk prstu, rozpoznávání obličeje nebo duhovky, je náchylné k chybám typu I a II. Nulová hypotéza je taková, že vstup identifikuje někoho ze seznamu hledaných lidí, z čehož vyplývá:

• pravděpodobnost výskytu chyby typu I se nazývá „Míra falešného odmítnutí – False Reject Rate“ (FRR),
• zatímco pravděpodobnost výskytu chyby typu II se nazývá „Míra falešného přijetí – False Accept Rate“ (FAR)[10]

Pokud je systém navržen tak, aby jen vzácně našel shodu s podezřelým, pak se pravděpodobnost chyby typu II nazývá „Míra falešného poplachu“. Na druhou stranu pokud je systém používán pro ověřování a přijmutí je běžné, pak je FAR měřítkem bezpečnosti systému, zatímco FRR je ukazatelem úrovně uživatelských potíží.

V lékařské praxi je velký rozdíl mezi aplikacemi určenými ke screeningu a testování:

• Screening zahrnuje relativně levné testy dostupné široké veřejnosti, žádný z nich však neukazuje jakoukoli zjevnou známku nemoci.
• Testování zahrnuje mnohem dražší, často invazivní metody, které jsou podávány pouze těm, kteří vykazují jasnou známku nemoci a jsou nejčastěji používány k potvrzení diagnózy.

Většina států v USA například vyžaduje, aby novorozenci podstoupili vyšetření na fenylketonurii, hypothyroidismus a jiné vrozené poruchy. I když vykazují vysokou míru falešně pozitivních, screeningové testy jsou považovány za cenné, jelikož vysoce zvyšují pravděpodobnost nálezu těchto poruch již v rané fázi.

Jednoduché krevní testy, používané pro kontrolu potenciálních dárců krve kvůli HIV a hepatitidě, mají významný podíl falešně pozitivních; nicméně lékaři používají mnohem dražší a přesnější testy k určení, zda je člověk skutečně nakažen některým z těchto virů.

Ideální screeningový test by měl být levný, snadný na vykonání a neprodukovat žádné falešně negativní, pokud je to možné. Takové testy obvykle produkují více falešně pozitivních, které mohou být následně vyřazeny sofistikovanějším (a dražším) testováním.

Falešně negativní a falešně pozitivní jsou v lékařském testování význačným problémem.

Falešně negativní mohou poskytnou lživou zprávu pacientovi a lékaři, že je pacient zdravý, zatímco není. To občas vede k nesprávné léčbě pacienta i nemoci. Běžným příkladem je spoléhání se na test měření krevního tlaku ke zjištění zúžení srdečních cév (Ateroskleróza), i když měření krevního tlaku pouze zjistí omezení krevního toku v koronární tepně vzhledem k aortální stenóze.

Falešně negativní způsobují vážné problémy, obzvláště pokud hledaný stav je zcela běžný. Pokud test s falešně' negativní mírou jen 10% je použit k otestování populace se skutečnou mírou výskytu 70%, spousta „negativních“ nalezených testem bude falešná. (viz Bayesova věta)

Falešně pozitivní mohou také způsobovat vážné problémy, když hledaný stav je vzácný. Když má test falešnou pozitivní míru jednoho z tisíce, ale jen jeden z milionu vzorků (nebo lidí) je skutečně pozitivní, většina „pozitivních“ nalezených testem bude falešná. Pravděpodobnost, že pozorovaný pozitivní výsledek je falešně pozitivní, může být vypočítána užitím Bayesovy věty.

V tomto článku byl použit překlad textu z článku Type I and type II errors na anglické Wikipedii.

• Betz, M.A. & Gabriel, K.R., „Type IV Errors and Analysis of Simple Effects“, Journal of Educational Statistics, Vol.3, No.2, (Summer 1978), pp. 121–144.
• David, F.N., „A Power Function for Tests of Randomness in a Sequence of Alternatives“, Biometrika, Vol.34, Nos.3/4, (December 1947), pp. 335–339.
• Fisher, R.A., The Design of Experiments, Oliver & Boyd (Edinburgh), 1935.
• Gambrill, W., „False Positives on Newborns' Disease Tests Worry Parents“, Health Day, (5 June 2006). 34471.html
• Kaiser, H.F., „Directional Statistical Decisions“, Psychological Review, Vol.67, No.3, (May 1960), pp. 160–167.
• Kimball, A.W., „Errors of the Third Kind in Statistical Consulting“, Journal of the American Statistical Association, Vol.52, No.278, (June 1957), pp. 133–142.
• Lubin, A., „The Interpretation of Significant Interaction“, Educational and Psychological Measurement, Vol.21, No.4, (Winter 1961), pp. 807–817.
• Marascuilo, L.A. & Levin, J.R., „Appropriate Post Hoc Comparisons for Interaction and nested Hypotheses in Analysis of Variance Designs: The Elimination of Type-IV Errors“, American Educational Research Journal, Vol.7., No.3, (May 1970), pp. 397–421.
• Mitroff, I.I. & Featheringham, T.R., „On Systemic Problem Solving and the Error of the Third Kind“, Behavioral Science, Vol.19, No.6, (November 1974), pp. 383–393.
• Mosteller, F., „A k-Sample Slippage Test for an Extreme Population“, The Annals of Mathematical Statistics, Vol.19, No.1, (March 1948), pp. 58–65.
• Moulton, R.T., “Network Security”, Datamation, Vol.29, No.7, (July 1983), pp. 121–127.
• Raiffa, H., Decision Analysis: Introductory Lectures on Choices Under Uncertainty, Addison-Wesley, (Reading), 1968.

• statistika
• testování statistických hypotéz – nulová hypotéza
• testování softwaru

• (anglicky) Bias and Confounding – presentation by Nigel Paneth, Graduate School of Public Health, University of Pittsburgh