Křížová entropie

Křížová entropie rozdělení ${\displaystyle q}$ vůči rozdělení ${\displaystyle p}$ na dané množině je definovaná takto:

${\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q]}$.

Jiná definice používá Kullbackovu–Leiblerovu divergenci ${\displaystyle D_{\mathrm {KL} }(p\|q)}$ rozdělení ${\displaystyle p}$ z ${\displaystyle q}$ (neboli relativní entropie rozdělení ${\displaystyle q}$ vzhledem k ${\displaystyle p}$):

${\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\|q)}$,

kde ${\displaystyle H(p)}$ je entropie rozdělení ${\displaystyle p}$.

Pro diskrétní pravděpodobnostní distribuce ${\displaystyle p}$ a ${\displaystyle q}$ se stejným nosičem ${\displaystyle {\mathcal {X}}}$ to znamená

${\displaystyle H(p,q)=-\sum _{x\in {\mathcal {X}}}p(x)\,\log q(x)}$ (rovnice 1)

Pro spojité distribuce je situace analogická. Musíme předpokládat, že ${\displaystyle p}$ a ${\displaystyle q}$ jsou absolutně spojité vzhledem k nějaké referenční míře ${\displaystyle r}$ (obvykle je ${\displaystyle r}$ Lebesgueova míra na Borelovské σ-algebře). Nechť ${\displaystyle P}$ a ${\displaystyle Q}$ jsou hustoty pravděpodobností rozdělení ${\displaystyle p}$ a ${\displaystyle q}$ vzhledem k ${\displaystyle r}$. Pak

${\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,dr(x)=\operatorname {E} _{p}[-\log Q]}$

a tedy

${\displaystyle H(p,q)=-\int _{\mathcal {X}}P(x)\,\log Q(x)\,dr(x)}$ (rovnice 2)

Poznámka: Notace ${\displaystyle H(p,q)}$ se používá také pro jinou veličinu, sdruženou entropii rozdělení ${\displaystyle p}$ a ${\displaystyle q}$.

Kraftova–McMillanova věta v teorii informace říká, že jakékoli přímo dekódovatelné kódovací schéma pro kódování zprávy identifikující jednu hodnotu ${\displaystyle x_{i}}$ ze sady možností ${\displaystyle \{x_{1},...,x_{n}\}}$ můžeme považovat za reprezentaci implicitního rozdělení pravděpodobnosti ${\displaystyle q(x_{i})=\left({\frac {1}{2}}\right)^{l_{i}}}$ pro ${\displaystyle \{x_{1},...,x_{n}\}}$, kde ${\displaystyle l_{i}}$ je délka kódu pro ${\displaystyle x_{i}}$ v bitech. Proto lze křížovou entropii interpretovat jako očekávanou délku zprávy pro zakódování jedné položky, když předpokládáme nějaké rozdělení ${\displaystyle q}$, zatímco data mají ve skutečnosti rozdělení ${\displaystyle p}$. To znamená, že očekávané hodnoty se berou ze skutečného rozdělení pravděpodobnosti ${\displaystyle p}$ místo z ${\displaystyle q}$. Očekávaná délka zprávy při skutečném rozdělení ${\displaystyle p}$ je

${\displaystyle \operatorname {E} _{p}[l]=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]=-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]=-\sum _{x_{i}}p(x_{i})\,\log _{2}{q(x_{i})}=-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q)}$

Je mnoho situací, kdy by bylo třeba měřit křížovou entropii, ale rozdělení ${\displaystyle p}$ je neznámé. Příkladem je jazykové modelování, kde model je vytvořen na trénovací množině ${\displaystyle T}$ a jeho křížová entropie je pak měřena na testovací množině pro zhodnocení, jak je model přesný v predikci testovacích dat. V tomto příkladě je ${\displaystyle p}$ skutečné rozdělení slov v nějakém korpusu a ${\displaystyle q}$ je rozdělení slov predikované modelem. Protože skutečné rozdělení je neznámé, nelze křížovou entropii přímo spočítat. V takovém případě se odhad křížové entropie počítá pomocí vzorce:

${\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}$

kde ${\displaystyle N}$ je velikost testovací množiny a ${\displaystyle q(x)}$ je pravděpodobnost události ${\displaystyle x}$ odhadnuté z trénovací množiny. Suma se počítá přes ${\displaystyle N}$. Toto je pravděpodobnostní (Monte Carlo) odhad skutečné křížové entropie, při kterém testovací množinu považujeme za vzorek z ${\displaystyle p(x)}$.

U klasifikačních problémů chceme odhadnout pravděpodobnost jednotlivých výsledků. Pokud odhadnutá pravděpodobnost výsledku ${\displaystyle i}$ je ${\displaystyle q_{i}}$, zatímco frekvence (empirická pravděpodobnost) výsledku ${\displaystyle i}$ v trénovací množině je ${\displaystyle p_{i}}$ a v trénovací množině je N vzorků, pak věrohodnost trénovací množiny je

${\displaystyle \prod _{i}q_{i}^{Np_{i}}}$

a logaritmická věrohodnost vydělená ${\displaystyle N}$ je

${\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}$

takže maximalizace věrohodnosti je totéž jako minimalizace křížové entropie.

Minimalizace křížové entropie se často používá při optimalizaci a odhadu pravděpodobnosti řídkých událostí; viz metoda křížové entropie.

Při porovnávání rozdělení ${\displaystyle q}$ s pevným referenčním rozdělením ${\displaystyle p}$ jsou křížová entropie a KL divergence identické až na aditivní konstantu (protože ${\displaystyle p}$ je pevné): obě nabývají pro ${\displaystyle p=q}$ své minimální hodnoty, která je ${\displaystyle 0}$ pro KL divergenci a ${\displaystyle \mathrm {H} (p)}$ pro křížovou entropii[1]. V inženýrské literatuře se postup minimalizace KL divergence (Kullbackův "Princip minimální diskriminace informace") často nazývá Princip minimální křížové entropie (MCE, z anglického Principle of Minimum Cross-Entropy) nebo Minxent.

Jak je však diskutováno v článku Kullbackova–Leiblerova divergence, někdy je rozdělení ${\displaystyle q}$ fixováno před referenčním rozdělením a rozdělení ${\displaystyle p}$ je optimalizováno, aby bylo co nejbližší k ${\displaystyle q}$, při platnosti určitých omezení. V takovém případě obě minimalizace nejsou ekvivalentní. To vedlo k určité nejednoznačnosti v literatuře, protože někteří autoři usilovali vyřešit nekonzistenci tím, že termínem křížová entropie označují ${\displaystyle D_{\mathrm {KL} }(p\|q)}$ místo ${\displaystyle H(p,q)}$.

Křížovou entropii lze použít pro definování nákladové funkce při strojovém učení a optimalizaci. Skutečná pravděpodobnost ${\displaystyle p_{i}}$ je skutečný popisek a dané rozdělení ${\displaystyle q_{i}}$ je predikovanou hodnotou současného modelu.

Konkrétněji uvažujme logistickou regresi, kterou lze (mimo jiné) použít pro klasifikaci pozorování do dvou možných tříd (často značených ${\displaystyle 0}$ a ${\displaystyle 1}$). Výstup modelu pro určité pozorování dané vektorem vstupních vlastností ${\displaystyle x}$ lze interpretovat jako pravděpodobnost, což slouží jako základ pro klasifikaci pozorování. Pravděpodobnost je znázorněna pomocí logistické funkce ${\displaystyle g(z)=1/(1+e^{-z})}$ kde ${\displaystyle z}$ je nějaká funkce vstupního vektoru ${\displaystyle x}$, obvykle pouze lineární funkce. Pravděpodobnost výstupu ${\displaystyle y=1}$ je

${\displaystyle q_{y=1}\ =\ {\hat {y}}\ \equiv \ g(\mathbf {w} \cdot \mathbf {x} )\ =1/(1+e^{-\mathbf {w} \cdot \mathbf {x} }),}$

kde vektor vah ${\displaystyle \mathbf {w} }$ je optimalizován pomocí nějakého vhodného algoritmu, jako například metodou gradientního spádu. Podobně komplementární pravděpodobnost hledání výstup ${\displaystyle y=0}$ je

${\displaystyle q_{y=0}\ =\ 1-{\hat {y}}}$

Při použití notace ${\displaystyle p\in \{y,1-y\}}$ a ${\displaystyle q\in \{{\hat {y}},1-{\hat {y}}\}}$ můžeme používat křížovou entropii pro získání míry odlišnosti mezi ${\displaystyle p}$ a ${\displaystyle q}$:

${\displaystyle H(p,q)\ =\ -\sum _{i}p_{i}\log q_{i}\ =\ -y\log {\hat {y}}-(1-y)\log(1-{\hat {y}})}$

Typická nákladová funkce, kterou používáme v logistické regresi, se počítá jako průměr všech křížových entropií ve vzorku. Pokud například máme ${\displaystyle N}$ vzorků indexovaných ${\displaystyle n=1,\dots ,N}$, bude nákladová funkce

${\displaystyle {\begin{aligned}J(\mathbf {w} )\ &=\ {\frac {1}{N}}\sum _{n=1}^{N}H(p_{n},q_{n})\ =\ -{\frac {1}{N}}\sum _{n=1}^{N}\ {\bigg [}y_{n}\log {\hat {y}}_{n}+(1-y_{n})\log(1-{\hat {y}}_{n}){\bigg ]}\,,\end{aligned}}}$

kde ${\displaystyle {\hat {y}}_{n}\equiv g(\mathbf {w} \cdot \mathbf {x} _{n})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{n}})}$ a ${\displaystyle g(z)}$ je logistická funkce stejně jako výše.

Logistická ztráta se někdy nazývá ztráta křížové entropie nebo logaritmická ztráta (V tomto případě se třídy zpravidla označují hodnotami {-1,+1})[2].