Metoda maximální věrohodnosti

Uvažujme náhodný výběr ${\displaystyle (X_{1},X_{2},X_{3},X_{4})}$ z alternativního rozdělení, tj. ${\displaystyle X}$ nabývá pouze hodnot 0 a 1 a sice s pravděpodobností ${\displaystyle P(X=1)=p}$ a ${\displaystyle P(X=0)=1-p}$. Získaná data jsou (0,0,1,0). Úkol je odhadnout hodnotu parametru ${\displaystyle p}$, přičemž náš model předpokládá hodnoty buď p = 0,25 nebo ${\displaystyle p=0,8}$.

Pro pravděpodobnost pozorovaných dat máme podle alternativního rozdělení:

${\displaystyle P(X_{1}=0,X_{2}=0,X_{3}=1,X_{4}=0)=p(1-p)^{3}}$

což je pro ${\displaystyle p=0,25}$ rovno 0,1055 a pro ${\displaystyle p=0,8}$ rovno 0,0064. Princip maximálního věrohodného odhadu spočívá v tom, že za odhad ${\displaystyle p}$ vezmeme tu hodnotu, pro kterou je výsledek nejpravděpodobnější, tedy ${\displaystyle p=0,25}$[1].

Uvažujme situaci popsanou normálním rozdělením ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ s hustotou

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi }}\ \sigma \ }}\exp {\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)},}$

kde parametr ${\displaystyle \sigma ^{2}}$ je znám. Pro odhad parametru ${\displaystyle \mu }$ metodou maximální věrohodnosti dostáváme vztah

${\displaystyle \log {\mathcal {L}}(\theta |X_{1},X_{2},\ldots ,X_{n})=\log \left(\prod _{i=1}^{N}{\frac {1}{{\sqrt {2\pi }}\ \sigma \ }}\exp {\left(-{\frac {(X_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)}\right)=-{\frac {n}{2}}\log 2\pi -{\frac {n}{2}}\log \sigma ^{2}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{N}(X_{i}-\theta )^{2}}$

Pro výpočet maximálního věrohodného odhadu ${\displaystyle {\hat {\theta }}}$ postačuje pomocí první derivace určit maxima funkce na pravé straně, tj. najít řešení rovnice

${\displaystyle {\frac {\partial \log {\mathcal {L}}(\theta |X_{1},X_{2},\ldots ,X_{n})}{\partial \theta }}={\frac {1}{\sigma ^{2}}}\sum _{i=1}^{N}(X_{i}-\theta )=0}$

které je

${\displaystyle {\hat {\theta }}={\frac {1}{n}}\sum {X_{i}}={\bar {X}}_{n}}$

tedy výběrový průměr.

V některých případech odhadu parametrů založeném na malém počtu pozorování se maximálně věrohodný odhad nechová nestranně, nicméně při splnění mírných předpokladů má řadu důležitých vlastností [3].

1. Je konzistentní.
2. Pro dostatečně velká ${\displaystyle n}$ má přibližně normální rozdělení, tj. pro odhad ${\displaystyle {\hat {\theta }}}$ a parametr ${\displaystyle \theta \in \Theta }$ platí ${\displaystyle {\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow {d}}{\mathcal {N}}\left(0,{\mathcal {I}}^{-1}(\theta )\right)}$.

   Přičemž se jedná o tzv. konvergenci v distribuci. Veličina ${\displaystyle {\mathcal {I}}(\theta )}$ označuje Fisherovu informaci, kterou lze chápat jako míru informace o parametru ${\displaystyle \theta }$ obsažené v jednom pozorování.[1]

3. Je asymptoticky (pro počet pozorování ${\displaystyle n\to \infty }$) eficientní, tj. odhaduje neznámý parametr nejlepším možným způsobem.
4. Pro spojité parametrické funkce ${\displaystyle g(\theta )}$ je maximální věrohodný odhad roven ${\displaystyle g({\hat {\theta }})}$.

• Základní předpoklad pro využití maximálního věrohodnostního odhadu je přesný a správný popis pravděpodobnostního modelu. Je-li tento popis reálné situace nepřesný, pak jsou získané odhady nekonzistentní s pozorovanými daty.
• Věrohodnostní funkce mohou být na základě zvoleného modelu a neznámých parametrů libovolně komplikované. Důsledkem jsou věrohodnostní rovnice, pro které nemusí existovat analytické řešení a při hledání maxima věrohodnostní funkce je pak nutné použít numerické metody.
• Přednosti maximálního věrohodnostního odhadu vycházejí z asymptotických vlastností. Pro nízké počty pozorování je tedy vhodnější použít jiné metody odhadu.[3]