Diskriminační analýza

Za zakladatele DA je považován sir Ronald Aylmer Fisher, který ve své práci[1] z roku 1936 použil metodu dnes označovanou jako Fisherova diskriminační analýza ke klasifikaci druhového jména rostlin kosatců na základě čtyř pozorovaných znaků. Metodu demonstroval na datech známých jako Iris flower data set.

Zpočátku byla DA využívána v biologii k třídění rostlin a zemědělských plodin, dále také v medicíně a v antropologii při klasifikaci koster. Širšího uplatnění se dočkala teprve s rozmachem výpočetní techniky, která umožnila rychle zpracovávat větší množství dat. V roce 1954 ji použili Maurice M. Tatsuoka a David V. Tiedeman v oblasti sociologie k psychologickým testům.[2] William R. Klecka v roce 1980 například aplikoval DA na sledování obyvatelstva v průběhu voleb, tedy v politice.[3] V bankovnictví se DA používala k rozhodování o přidělení úvěrů (tedy ke klasifikaci klientů dle solventnosti) a k odhalování podezřelých finančních transakcí.

V současnosti DA nalézá stále uplatnění v lékařství při stanovování diagnóz a určování rizikových skupin pacientů a rovněž v numerické taxonomii (fenetice), tedy ke klasifikaci rostlin a živočichů. Další oblastí, kde se DA participuje je rozpoznávání tváří (face recognition), nebo obecněji v rozpoznávání tvarů (pattern recognition), a dále například v kybernetice. Modely lineární DA se rovněž používají ve finančnictví a v marketingu, například také k předvídání krachů firem (bankruptcy prediction).

Nechť ${\displaystyle \mu _{i}\,\!}$ je střední hodnota a ${\displaystyle \Sigma _{i}\,\!}$ rozptyl rozdělení znaků v třídě ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$.

• Kritérium minimální Mahalanobisovy vzdálenosti zařazuje prvek se znaky ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$ do třídy s indexem

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,min} \\{}^{i=1,...,k}\end{matrix}}\ (\mathbf {x} -\mu _{i})^{T}\Sigma _{i}^{-1}(\mathbf {x} -\mu _{i})}$,

tedy do takové třídy, která je nejblíže k vektoru ${\displaystyle \mathbf {x} }$ ve smyslu Mahalanobisovy vzdálenosti.

Následující dvě kritéria mají smysl, existují-li hustoty ${\displaystyle p_{i}\,\!}$ rozdělení ${\displaystyle P_{i}\,\!}$ v třídách ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$.

• Kritérium maximální věrohodnosti zařazuje prvek se znaky ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$ do třídy s indexem

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\ p_{i}(\mathbf {x} )}$.

• Bayesovo kritérium zařazuje prvek se znaky ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$ do třídy s indexem

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\ \pi _{i}\,p_{i}(\mathbf {x} )}$.

Je ihned patrné, že Bayesovo kritérium je zobecněním kritéria maximální věrohodnosti, které zohledňuje apriorní pravděpodobnosti tříd. Anebo opačně můžeme říci, že kritérium maximální věrohodnosti je speciálním případem Bayesova kritéria, které využívá princip neurčitosti a za odhad apriorních pravděpodobností klade

${\displaystyle {\hat {\pi }}_{1}=...={\hat {\pi }}_{k}={\frac {1}{k}}}$ .

V následující sekci je demonstrováno, že Bayesovo pravidlo minimalizuje celkovou střední ztrátu vzniklou nesprávnou klasifikací pro konkrétní ohodnocení dílčích ztrát.

• Fisherovo kritérium zařazuje prvek se znaky ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$ do třídy s indexem

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,min} \\{}^{i=1,...,k}\end{matrix}}\ |\mathbf {a} ^{T}\mathbf {x} -\mathbf {a} ^{T}\mu _{i}|}$ ,

kde pro matici mezitřídní variability ${\displaystyle \mathbf {B} }$ a matici vnitrotřídní variability ${\displaystyle \mathbf {W} }$ je

${\displaystyle \mathbf {a} ={\begin{matrix}\\\operatorname {arg\,max} \\{}^{\mathbf {w} \in \mathbb {R} ^{d}}\end{matrix}}\ {\frac {\mathbf {w} ^{T}\mathbf {B} \mathbf {w} }{\mathbf {w} ^{T}\mathbf {W} \mathbf {w} }}}$ .

Podrobněji se Fisherově metodě věnuje samostatná sekce.

Cílem sekce je ukázat jakým způsobem se převádí úloha výběru třídy na srovnávání skórů jednotlivých tříd pro daný znak ${\displaystyle \mathbf {x} }$. V této sekci se pracuje s pojmem střední hodnota, která (jednoduše řečeno) vyjadřuje „nejvíce očekávanou“ hodnotu pozorování na nějaké náhodné veličině (resp. náhodném vektoru).

Předpokládejme, že znak pozorovaný na náhodně zvoleném objektu je náhodný vektor ${\displaystyle \mathbf {X} }$, který se řídí distribucí (pravděpodobnostním rozdělením) směsi s hustotou ${\displaystyle p\,\!}$ popsané v odstavci s předpoklady, a příslušná podmíněná rozdělení mají hustoty ${\displaystyle p_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$. Dále si zvolme nějaké rozhodovací pravidlo dané rozkladem ${\displaystyle \{W_{1},...,W_{k}\}\in {\mathcal {W}}}$ a oceňme ztrátu vzniklou použitím tohoto pravidla.

Označme ${\displaystyle r_{ij}\,\!}$ hodnotu ztráty vzniklé zobrazením objektu pocházejícího z třídy ${\displaystyle T_{i}\,\!}$ zvoleným pravidlem na třídu ${\displaystyle T_{j}\,\!}$. Objekt se znaky ${\displaystyle \mathbf {X} }$ zobrazíme na třídu ${\displaystyle T_{j}\,\!}$, jestliže ${\displaystyle \mathbf {X} \in W_{j}}$. Takže za podmínky, že objekt se znaky ${\displaystyle \mathbf {X} }$ pochází ze třídy ${\displaystyle T_{i}\,\!}$, je pravděpodobnost zobrazení tohoto objektu na třídu ${\displaystyle T_{j}\,\!}$ dána jako

${\displaystyle L_{ij}=\int _{W_{j}}p_{i}(\mathbf {x} )\mathrm {d} \mathbf {x} }$.

Střední hodnota ztráty za podmínky, že objekt se znaky ${\displaystyle \mathbf {X} }$ pochází ze třídy ${\displaystyle T_{i}\,\!}$, pak má tvar

${\displaystyle L_{i}=\sum _{j=1}^{k}r_{ij}\,L_{ij}}$.

Protože předpokládáme, že náhodně zvolený objekt pochází z třídy ${\displaystyle T_{i}\,\!}$ s pravděpodobností ${\displaystyle \pi _{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$, je celková střední ztráta dána vztahem

${\displaystyle L=\sum _{i=1}^{k}\pi _{i}\,L_{i}}$.

Z ekonomického hlediska je samozřejmě optimální preferovat pravidlo minimalizující celkovou střední ztrátu, tedy pravidlo

${\displaystyle \{W_{1}^{*},...,W_{k}^{*}\}={\begin{matrix}\\\operatorname {arg\,min} \\{}^{\{W_{1},...,W_{k}\}\in {\mathcal {W}}}\end{matrix}}\ L={\begin{matrix}\\\operatorname {arg\,min} \\{}^{\{W_{1},...,W_{k}\}\in {\mathcal {W}}}\end{matrix}}\ \sum _{i=1}^{k}\pi _{i}\sum _{j=1}^{k}r_{ij}\int _{W_{j}}p_{i}(\mathbf {x} )\mathrm {d} \mathbf {x} }$ .

Pro ${\displaystyle j=1,...,k\,\!}$ se definuje ${\displaystyle j\,\!}$-tý diskriminační skór pro znak ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$ jako

${\displaystyle S_{j}(\mathbf {x} )=-\sum _{i=1}^{k}\pi _{i}\,r_{ij}\,p_{i}(\mathbf {x} )}$ .

Celková střední ztráta vyjádřená pomocí skórů je pak

${\displaystyle L(\{W_{1},...,W_{k}\})=-\sum _{j=1}^{k}\int _{W_{j}}S_{j}(\mathbf {x} )\mathrm {d} \mathbf {x} }$ .

Pro dané parametry úlohy ${\displaystyle \pi _{1},...,\pi _{k},\,p_{1},...,p_{k}\,\!}$ a dané hodnoty ztrát ${\displaystyle r_{ij}\,\!}$ pro ${\displaystyle i,j=1,...,k\,\!}$ jsou jednotlivé skóry jednoznačně určeny. Pro tyto hodnoty je optimálním pravidlem takové pravidlo, které maximalizuje příslušné integrály správným nastavením integračních oblastí ${\displaystyle \{W_{1},...,W_{k}\}\,\!}$. Tento požadavek lze vždy zajistit volbou takového pravidla, které se řídí dle hodnot nejvyššího skóru (proto také název skór nebo skóre) a objekt se znakem ${\displaystyle \mathbf {x} }$ zařazuje do třídy

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\ S_{i}(\mathbf {x} )}$ .

Opačně lze také snadno ukázat, že pravidlo, které se řídí nejvyšším skórem, nabývá mezi všemi pravidly minimální celkové střední ztráty. Z toho důvodu je „ekonomicky nejvýhodnější“ nejprve pro všechny třídy určit (odhadnout) skóry (jakožto funkce ${\displaystyle \mathbf {x} }$) a jednotlivé objekty v klasifikační části zařazovat do takové třídy, která má při pozorovaném znaku ${\displaystyle \mathbf {x} }$ nejvyšší skór.

Běžně se volí hodnoty ztrát ${\displaystyle r_{ij}=1\,\!}$ pro ${\displaystyle i\neq j\,\!}$ a ${\displaystyle r_{ii}=0\,\!}$. V takovém případě lze ${\displaystyle j\,\!}$-tý skór dále upravit na tvar

${\displaystyle S_{j}(\mathbf {x} )=-\sum _{i\neq j}\pi _{i}\,p_{i}(\mathbf {x} )=\pi _{j}\,p_{j}(\mathbf {x} )-\sum _{i=1}^{k}\pi _{i}\,p_{i}(\mathbf {x} )=\pi _{j}\,p_{j}(\mathbf {x} )-p(\mathbf {x} )}$ .

Protože hustota celkové směsi ${\displaystyle p\,\!}$ je v každém skóru ${\displaystyle S_{j}\,\!}$ stejná pro ${\displaystyle j=1,...,k\,\!}$, je srovnávání skórů pro daný znak ${\displaystyle \mathbf {x} }$ ekvivalentní srovnávání výrazů ${\displaystyle \pi _{j}\,p_{j}(\mathbf {x} )\,\!}$ pro ${\displaystyle j=1,...,k\,\!}$, což přesně odpovídá Bayesovu kritériu z předchozí sekce.

Uvažujme, že na náhodně zvoleném objektu naměříme náhodný vektor znaků ${\displaystyle \mathbf {X} }$. Idea Fisherova postupu spočívá v nalezení takové lineární transformace ${\displaystyle \mathbf {a} \in \mathbb {R} ^{d}}$ vektoru ${\displaystyle \mathbf {X} }$, při které se maximalizuje poměr součtu čtverců mezi třídami ku součtu čtverců uvnitř tříd. Jinými slovy, chceme nalézt takovou lineární funkci, která nejvíce eliminuje chybovou složku a umožní co nejlépe rozlišit objekty mezi jednotlivými třídami.

Z (mnohorozměrné) analýzy rozptylu (ANOVA, analysis of variance) víme, že celková variabilita vektoru ${\displaystyle \mathbf {X} }$, (ko)varianční matice ${\displaystyle \mathbf {T} }$ (total variability), lze rozložit na součet matice mezitřídní variability ${\displaystyle \mathbf {B} }$ (between-classes variability) a matice variability uvnitř tříd ${\displaystyle \mathbf {W} }$ (within-classes variability). Obdobně pro rozptyly (jednorozměrné) náhodné veličiny ${\displaystyle \mathbf {a} \mathbf {X} }$ platí následující vztah

${\displaystyle Q_{T}=\operatorname {var} \,(\mathbf {a} \mathbf {X} )=\mathbf {a} ^{T}\mathbf {T} \,\mathbf {a} =\mathbf {a} ^{T}\mathbf {W} \,\mathbf {a} +\mathbf {a} ^{T}\mathbf {B} \,\mathbf {a} =Q_{W}+Q_{B}}$ .

Fisherova lineární diskriminační funkce je taková funkce, která maximalizuje Fisherův poměr, tj. splňuje

${\displaystyle \mathbf {a} ={\begin{matrix}\\\operatorname {arg\,max} \\{}^{\mathbf {w} \in \mathbb {R} ^{d}}\end{matrix}}\ {\frac {Q_{B}}{Q_{W}}}={\begin{matrix}\\\operatorname {arg\,max} \\{}^{\mathbf {w} \in \mathbb {R} ^{d}}\end{matrix}}\ {\frac {\mathbf {w} ^{T}\mathbf {B} \,\mathbf {w} }{\mathbf {w} ^{T}\mathbf {W} \,\mathbf {w} }}}$ .

Fisherův kanonický směr.

Na obrázku vpravo jsou znázorněna pozorování dvou znaků (${\displaystyle d=2\,\!}$) na objektech ze dvou tříd (${\displaystyle k=2\,\!}$). Na objektech z jedné třídy jsou pozorované znaky znázorněné modře a na objektech z druhé třídy červeně. V levé části jsou znaky projektovány na přímku s nějakým náhodně zvoleným směrem. V pravé části jsou znaky projektovány na přímku se směrem odpovídajícím vektoru ${\displaystyle \mathbf {a} }$. Projekce vpravo mezi všemi možnými projekcemi umožňuje nejlépe rozlišit naměřené znaky.

Označíme-li ${\displaystyle N_{i}\,\!}$ počet prvků v trénovací množině pocházejících z třídy ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$ a ${\displaystyle N=N_{1}+...+N_{k}\,\!}$ celkový počet prvků v trénovací množině, pak jednotlivé matice se odhadují takto

${\displaystyle \mathbf {T} =\sum _{i=1}^{k}\sum _{j=1}^{N_{i}}(\mathbf {X} _{ij}-{\hat {\mu }})(\mathbf {X} _{ij}-{\hat {\mu }})^{T}}$,

${\displaystyle \mathbf {B} =\sum _{i=1}^{k}{N_{i}}({\hat {\mu }}_{i}-{\hat {\mu }})({\hat {\mu }}_{i}-{\hat {\mu }})^{T}}$,

${\displaystyle \mathbf {W} =\sum _{i=1}^{k}\sum _{j=1}^{N_{i}}(\mathbf {X} _{ij}-{\hat {\mu }}_{i})(\mathbf {X} _{ij}-{\hat {\mu }}_{i})^{T}}$,

kde ${\displaystyle \mathbf {X} _{ij}}$ jsou prvky z třídy ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle j=1,...,N_{i},\,i=1,...,k\,\!}$ a

${\displaystyle {\hat {\mu }}={\frac {1}{N}}\sum _{i=1}^{k}\sum _{j=1}^{N_{i}}\mathbf {X} _{ij},\ {\hat {\mu }}_{i}={\frac {1}{N_{i}}}\sum _{j=1}^{N_{i}}\mathbf {X} _{ij}}$ pro ${\displaystyle i=1,...,k\,\!}$ .

Je-li ${\displaystyle \mathbf {w} _{1}}$ vlastní vektor příslušící největšímu vlastnímu číslu matice ${\displaystyle \mathbf {W} ^{-1}\mathbf {B} }$ (místo vlastní číslo a vlastní vektor se také používají názvy charakteristické číslo a charakteristický vektor, vizte spektrální rozklad matice), pak lze ukázat, že ${\displaystyle \mathbf {w} _{1}}$ maximalizuje Fisherův poměr, takže můžeme vždy položit ${\displaystyle \mathbf {a} =k\,\mathbf {w} _{1}}$, pro libovolný nenulový násobek ${\displaystyle k\in \mathbb {R} }$.

Fisherovo diskriminační kritérium pak zařazuje objekt se znaky ${\displaystyle \mathbf {x} }$ do takové třídy, jejíž obraz střední hodnoty znaků v transformaci ${\displaystyle \mathbf {a} }$ je nejblíže obrazu ${\displaystyle \mathbf {x} }$ (měří se vzdálenost na přímce), neboli do třídy

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,min} \\{}^{i=1,...,k}\end{matrix}}\ |\mathbf {a} ^{T}\mathbf {x} -\mathbf {a} ^{T}\mu _{i}|}$ .

Fisherův poměr je analogií technického pojmu poměr signálu a šumu (SNR, signal to noise ratio). Na přiloženém obrázku je znázorněno pro jednorozměrný případ (${\displaystyle d=1\,\!}$), jak ovlivňuje nastavení hranice rozlišující nějaký signál od šumu (jiného signálu, který nás nezajímá) poměr správných klasifikací signálu (hits), správných zamítnutí, že jde o signál (correct rejections), nesprávné klasifikace, že jde o signál, jedná-li se o šum (false alarms), a nesprávné klasifikace, že jde o šum, jedná-li se skutečně o signál (misses). Zelenou barvou je v obrázku znázorněna hustota výskytu signálu, který sledujeme, a červenou barvou hustota nějakých jiných signálů (šumu). Zmíněná hranice (criterion) je znázorněna svislou čarou. Příchozí události, které vykazují hodnoty (znaky) vpravo od svislé čáry pravidlo klasifikuje jako signál, hodnoty vlevo jako šum. Pravidlo na obrázku (dané svislou čarou) je vychýlené od pravidla, které bychom získali DA. Obrázek je výstupem kódu pro program Mathematica. Bližší informace o demonstraci (kódu) lze získat kliknutím na následující odkaz.

Wilksovo lambda je testová statistika, která se používá v mnohorozměrné analýze rozptylu k testování hypotézy odlišnosti průměrů znaků v jednotlivých třídách. Wilksovo lambda nabývá hodnot z intervalu ${\displaystyle [0,1]\,\!}$, přičemž vyšší hodnoty znamenají, že průměry se liší méně. Při značení z předchozího odstavce se Wilksovo lambda definuje jako

${\displaystyle \Lambda ={\frac {\operatorname {det} \,\mathbf {W} }{\operatorname {det} \,\mathbf {T} }}={\frac {\operatorname {det} \,\mathbf {W} }{\operatorname {det} \,(\mathbf {W} +\mathbf {B} )}}}$ .

Čím nižší jsou hodnoty Wilksova lambda, tím spolehlivější je výsledek diskriminační části DA. Hodnota ${\displaystyle \Lambda =0\,\!}$ tedy odpovídá „perfektní diskriminaci“ objektů a hodnota ${\displaystyle \Lambda =1\,\!}$ znamená, že výsledek (lineární) DA nemá význam, protože objekty na základě pozorovaných znaků prakticky není možné rozlišit (lineární funkcí).

Tato sekce se zaměřuje na diskriminační část DA. Nechť trénovací množina obsahuje ${\displaystyle N\,\!}$ prvků. Pokud apriorní pravděpodobnosti tříd ${\displaystyle \pi _{1},...,\pi _{k}\,\!}$ nejsou známé, lze použít jejich odhad pro ${\displaystyle i=1,...,k\,\!}$ pomocí relativních četností

${\displaystyle {\hat {\pi }}_{i}={\frac {N_{i}}{N}}}$ ,

kde ${\displaystyle N_{i}\,\!}$ je počet prvků v trénovací množině pocházejících z třídy ${\displaystyle T_{i}\,\!}$. V některých případech ale trénovací množina nemusí věrně reprezentovat skutečné relativní zastoupení prvků z příslušných tříd, například pokud do ní objekty nevybíráme náhodně. V takovém případě volíme odhad

${\displaystyle {\hat {\pi }}_{1}=...={\hat {\pi }}_{k}={\frac {1}{k}}}$ .

Dále v úloze DA v zásadě rozlišujeme dva základní přístupy.

• Parametrický přístup předpokládá, že pro ${\displaystyle i=1,...,k\,\!}$ jsou rozdělení ${\displaystyle P_{i}\,\!}$ znaků v třídě ${\displaystyle T_{i}\,\!}$ některá ze známých typů rozdělení charakterizovaných nějakým vektorem parametrů, a spočívá tedy v odhadu těchto parametrů. Nejčastěji se pracuje s normálními rozděleními, která jsou charakterizovaná střední hodnotou a rozptylem. K odhadu těchto parametrů se standardně využívají výběrový průměr a výběrová varianční matice, tedy pro ${\displaystyle i=1,...,k\,\!}$ klademe

${\displaystyle {\hat {\mu }}_{i}={\frac {1}{N_{i}}}\sum _{j=1}^{N_{i}}\mathbf {X} _{ij},\ {\hat {\Sigma }}_{i}={\frac {1}{N_{i}-1}}\sum _{j=1}^{N_{i}}(\mathbf {X} _{ij}-{\hat {\mu }}_{i})(\mathbf {X} _{ij}-{\hat {\mu }}_{i})^{T}}$,

kde ${\displaystyle \mathbf {X} _{ij}}$ pro ${\displaystyle j=1,...,N_{i}\,\!}$ jsou prvky z třídy ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$. Pokud předpokládáme rovnost variančních matic ve všech třídách ${\displaystyle \Sigma _{1}=...=\Sigma _{k}=\Sigma \,\!}$, pak používáme odhad

${\displaystyle {\hat {\Sigma }}={\frac {1}{N-k}}\sum _{i=1}^{k}\sum _{j=1}^{N_{i}}(\mathbf {X} _{ij}-{\hat {\mu }}_{i})(\mathbf {X} _{ij}-{\hat {\mu }}_{i})^{T}}$.

Jestliže tedy předpokládáme normalitu všech rozdělení, pak příslušné hustoty pro ${\displaystyle i=1,...,k\,\!}$ odhadneme dosazením odhadnutých parametrů, tj pro ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}}$

${\displaystyle {\hat {p}}_{i}(\mathbf {x} )=(2\pi )^{-{\frac {d}{2}}}(\operatorname {det} \,{\hat {\Sigma }}_{i})^{-{\frac {1}{2}}}e^{-{\frac {1}{2}}(\mathbf {x} -{\hat {\mu }}_{i})^{T}{\hat {\Sigma }}_{i}^{-1}(\mathbf {x} -{\hat {\mu }}_{i})}}$ .

Dosazením získaných odhadů do některého z kritérií již získáme explicitně vyjádřené rozhodovací pravidlo.

• Neparametrický přístup používáme, pokud nemáme žádnou apriorní informaci o rozděleních ${\displaystyle P_{1},...,P_{k}\,\!}$. V této situaci se nabízí využít neparametrické metody odhadu hustot, např. jádrový odhad hustot. Pro další informace o neparametrickém přístupu v DA vizte článek M. Forbelské[4].

Pro DA pracující s diskrétními rozděleními ${\displaystyle P_{1},...,P_{k}\,\!}$ se používá název diskriminační korespondenční analýza.[5]

Problémem parametrických modelů bývá citlivost na malé porušení předpokladu o rozdělení dat, které může výrazně ovlivnit výsledek DA. Jde především o odlehlá pozorování (vzniklá například nepřesným měřením), která mají vliv na hodnotu výběrového průměru i rozptylu. Jednou z alternativ je pak užití robustních metod, jejichž cílem je tyto nepříznivé vlivy eliminovat. V souvislosti s aplikací těchto metod v DA hovoříme o robustní diskriminační analýze, které se podrobněji věnuje diplomová práce E. Horákové[6].

Kvadratická diskriminační analýza (QDA)

Pokud v úloze DA předpokládáme, že rozdělení ${\displaystyle P_{i}\,\!}$ znaků v jednotlivých třídách ${\displaystyle T_{i}\,\!}$ pro ${\displaystyle i=1,...,k\,\!}$ jsou regulární ${\displaystyle d\,\!}$-rozměrná normální rozdělení ${\displaystyle N_{d}(\mu _{i},\Sigma _{i})\,\!}$ a pro diskriminaci objektů volíme Bayesovo kritérium, pak mluvíme o úloze kvadratické diskriminační analýzy. Dosazením hustoty ${\displaystyle P_{i}\,\!}$ lze Bayesovo kritérium upravit logaritmováním a odečtením konstanty (vzhledem k ${\displaystyle i\,\!}$ ).

${\displaystyle {\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,(\pi _{i}\,p_{i}(\mathbf {x} ))={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,\operatorname {ln} (\pi _{i}\,p_{i}(\mathbf {x} ))={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,(\operatorname {ln} \,\pi _{i}-{\frac {1}{2}}\operatorname {ln} (\operatorname {det} \,\Sigma _{i})-{\frac {1}{2}}(\mathbf {x} -{\mu }_{i})^{T}{\Sigma }_{i}^{-1}(\mathbf {x} -{\mu }_{i}))}$

Výsledek kvadratické diskriminační analýzy.

Pro ${\displaystyle i=1,...,k,\ \mathbf {x} \in \mathbb {R} ^{d}}$ se výraz

${\displaystyle S_{i}(\mathbf {x} )=\operatorname {ln} \,\pi _{i}-{\frac {1}{2}}\operatorname {ln} (\operatorname {det} \,\Sigma _{i})-{\frac {1}{2}}(\mathbf {x} -{\mu }_{i})^{T}{\Sigma }_{i}^{-1}(\mathbf {x} -{\mu }_{i})}$

nazývá ${\displaystyle i\,\!}$-tý kvadratický diskriminační skór. Objekt s pozorovanými znaky ${\displaystyle \mathbf {x} }$ tedy v kvadratické DA zařazujeme do třídy ${\displaystyle T_{j}\,\!}$, jestliže

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,S_{i}(\mathbf {x} )}$ .

Jeden z možných výsledků kvadratické diskriminační analýzy ukazuje obrázek vpravo. Jsou na něm zakreslena pozorování dvou znaků (${\displaystyle d=2\,\!}$) na objektech ze dvou tříd (${\displaystyle k=2\,\!}$). Znaky pozorované na objektech první třídy jsou zakresleny červenými body, znaky druhé modrými body. Za výsledek se v obrázku považuje rozklad ${\displaystyle \{W_{1},W_{2}\}\,\!}$ roviny ${\displaystyle \mathbb {R} ^{2}\,\!}$, kde ${\displaystyle W_{1}\,\!}$ označuje červenou oblast, ${\displaystyle W_{2}\,\!}$ modrou. Pokud bychom v klasifikační části DA pozorovali objekt s vektorem znaků ${\displaystyle \mathbf {x} }$, který patří do červené oblasti ${\displaystyle W_{1}\,\!}$, zařadili bychom takový objekt podle výsledného pravidla do první (červené) třídy ${\displaystyle T_{1}\,\!}$. Jak je vidět, hranicí mezi oběma oblastmi je kuželosečka. Ve vyšší dimenzi by obecněji byla hranicí vždy kvadrika. Přerušovaná čára pak naznačuje hranici mezi oblastmi, které by byly výsledkem aplikace lineární diskriminační analýzy na stejný soubor pozorování, vizte dále.

Lineární diskriminační analýza (LDA)

Lineární diskriminační analýza je speciálním případem kvadratické DA, kde navíc předpokládáme, že normální rozdělení v jednotlivých třídách mají stejnou kovarianční strukturu, tj. ${\displaystyle \Sigma _{1}=...=\Sigma _{k}=\Sigma \,\!}$. V tomto případě lze pokračovat v úpravě rozhodovacího z předchozího odstavce roznásobením a odečtením výrazů nezávislých na ${\displaystyle i\,\!}$, čímž dostaneme kritérium v následující podobě

Hustoty normálních rozdělení.

${\displaystyle {\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,(\pi _{i}\,p_{i}(\mathbf {x} ))={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,(\operatorname {ln} \,\pi _{i}+\mu _{i}^{T}{\Sigma }^{-1}\mathbf {x} -{\frac {1}{2}}\mu _{i}^{T}{\Sigma }^{-1}\mu _{i})}$ .

Pro ${\displaystyle i=1,...,k,\ \mathbf {x} \in \mathbb {R} ^{d}}$ se výraz

${\displaystyle S_{i}(\mathbf {x} )=\operatorname {ln} \,\pi _{i}+\mu _{i}^{T}{\Sigma }^{-1}\mathbf {x} -{\frac {1}{2}}\mu _{i}^{T}{\Sigma }^{-1}\mu _{i}}$

nazývá ${\displaystyle i\,\!}$-tý lineární diskriminační skór. Objekt s pozorovanými znaky ${\displaystyle \mathbf {x} }$ v lineární DA zařazujeme do třídy ${\displaystyle T_{j}\,\!}$, pokud platí

${\displaystyle j={\begin{matrix}\\\operatorname {arg\,max} \\{}^{i=1,...,k}\end{matrix}}\,S_{i}(\mathbf {x} )}$ .

Na obrázku jsou vidět hustoty dvourozměrných normálních rozdělení (${\displaystyle d=2\,\!}$) se stejnou jednotkovou varianční maticí a různými středními hodnotami. Matematicky zapsáno, červená, zelená a modrá hustota ${\displaystyle \{p_{1},p_{2},p_{3}\}\,\!}$ postupně přísluší třídám ${\displaystyle \{T_{1},T_{2},T_{3}\}\,\!}$ s rozděleními

${\displaystyle N_{2}({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&0\\0&1\end{pmatrix}}),\ N_{2}({\begin{pmatrix}2\\{-1}\end{pmatrix}},{\begin{pmatrix}1&0\\0&1\end{pmatrix}}),\ N_{2}({\begin{pmatrix}2\\1\end{pmatrix}},{\begin{pmatrix}1&0\\0&1\end{pmatrix}})}$ .

Při pohledu shora lze vidět barevně rozlišené jednotlivé části roviny ${\displaystyle \mathbb {R} ^{2}}$, které by odpovídaly pravidlu ${\displaystyle \{W_{1},W_{2},W_{3}\}\,\!}$ získanému použitím kritéria maximální věrohodnosti. Toto pravidlo totiž zařazuje objekt se znaky ${\displaystyle \mathbf {x} }$ do takové třídy, která má v bodě ${\displaystyle \mathbf {x} }$ nejvyšší hustotu. Kdybychom tedy například měli na základě tohoto pravidla klasifikovat objekt, na kterém pozorujeme znaky (vektor) ${\displaystyle {\begin{pmatrix}0\\{-1}\end{pmatrix}}}$, zařadili bychom jej do třídy ${\displaystyle T_{1}\,\!}$, protože náleží do červené oblasti ${\displaystyle W_{1}\,\!}$. Z obrázku je taky patrné, proč se používá název lineární DA. Důvod je ten, že pravidlo získané LDA rozlišuje každé dvě třídy pomocí lineární funkce (zobrazující z ${\displaystyle \mathbb {R} ^{d}}$ do ${\displaystyle \mathbb {R} }$), takže jednotlivé dvojice tříd jsou odděleny vždy nadrovinou v ${\displaystyle \mathbb {R} ^{d}}$, speciálně v ${\displaystyle \mathbb {R} ^{2}}$ přímkou, v ${\displaystyle \mathbb {R} }$ bodem.

Samotný výsledek diskriminační části DA, tj. samotné rozhodovací pravidlo, je bezcenný, pokud nemáme dodatečné informace o jeho spolehlivosti.

• Základní odhad pravděpodobnosti správného zařazení získáme aplikací sestaveného rozhodovacího pravidla na všech ${\displaystyle n^{*}\,\!}$ objektů z trénovací množiny. Označme ${\displaystyle n_{ij}\,\!}$ počet prvků trénovací množiny pocházejících z třídy ${\displaystyle T_{i}\,\!}$, které rozhodovací pravidlo zařazuje do třídy ${\displaystyle T_{j}\,\!}$. Potom matice relativních četností

${\displaystyle {\frac {1}{n^{*}}}\{n_{ij}\}_{i,j=1,...,k}\,\!}$

dává odhady příslušných pravděpodobností. Na diagonále matice jsou postupně odhady pravděpodobností správné klasifikace pro jednotlivé třídy, takže stopa matice (součet prvků na diagonále) pak udává optimistický odhad celkové pravděpodobnosti správného zařazení náhodně zvoleného prvku. Samozřejmě každý z objektů se byť malou měrou podílí na konstrukci rozhodovacího pravidla, což „zvyšuje jeho šanci“ na správné zařazení tímto pravidlem.

• Křížový odhad (Cross Validation) spočívá v náhodném rozdělení trénovací množiny na dva soubory. Na první soubor aplikujeme diskriminační část DA, kterou získáme rozhodovací pravidlo. Na druhém souboru pak prověřujeme kvalitu získaného pravidla základním postupem (z předchozího odstavce). Tento postup sice oproti předchozímu „nezvýhodňuje“ objekty při klasifikaci, ale klade pro srovnatelnou hodnotu odhadu vyšší nároky na velikost trénovací množiny. Tento postup se používá pouze pro odhad pravděpodobností správné klasifikace, vlastní rozhodovací pravidlo se utvoří podle celé trénovací množiny, tj. stejně jako u následující metody.
• Metoda Jackknife pro každý z ${\displaystyle n^{*}\,\!}$ objektů trénovací množiny vytvoří rozhodovací pravidlo na základě zbylých ${\displaystyle n^{*}-1\,\!}$ objektů, a příslušný vynechaný prvek pak tímto pravidlem testuje, zda je správně zařazen. Celkem je tedy nutné ${\displaystyle n^{*}\,\!}$-krát použít diskriminační část DA, což může být výpočetně náročný proces. Dále se postupuje analogicky jako u základního odhadu. Ke klasifikaci se pak používá rozhodovací pravidlo utvořené na základě všech prvků trénovací množiny, které se pro velká ${\displaystyle n^{*}\,\!}$ „významně neliší“ od každého z pravidel získaných vynecháním jednoho objektu.