Vzájemná informace

Mnoho aplikací vyžaduje metriku, tj. míru vzdálenosti mezi body. Hodnota

${\displaystyle d(X,Y)=H(X,Y)-I(X;Y)=H(X)+H(Y)-2I(X;Y)=H(X|Y)+H(Y|X)}$

splňuje podmínky pro metriku (trojúhelníková nerovnost, nezápornost, identita nerozlišitelných a symetrie). Tato vzdálenostní metrika je také známa jako variace informace.

Protože platí ${\displaystyle d(X,Y)\leq H(X,Y)}$, lze tuto metriku přirozeně normalizovat:

${\displaystyle D(X,Y)=d(X,Y)/H(X,Y)\leq 1.}$

Metrika D je univerzální metrikou v tom smyslu, že pokud libovolná jiná míra vzdálenosti říká, že X a Y si jsou blízké, pak také D o nich bude tvrdit, že si jsou blízké[1].

Množinově teoretická interpretace vzájemné informace (viz obrázek pro podmíněnou entropii) ukazuje, že

${\displaystyle D(X,Y)=1-I(X;Y)/H(X,Y)}$

což je efektivně Jaccardova vzdálenost mezi X a Y.

Někdy je užitečné vyjádřit vzájemnou informaci dvou náhodných proměnných podmíněnou třetí proměnnou:

${\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},}$

což lze zjednodušit na

${\displaystyle I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

Podmínění třetí náhodnou proměnnou může vzájemnou informaci zvýšit i snížit, ale vždy platí, že

${\displaystyle I(X;Y|Z)\geq 0}$

pro diskrétní, sdruženě distribuované náhodné proměnné X, Y, Z. Tento výsledek slouží jako základní stavební blok pro důkaz dalších nerovností v teorii informace.

Bylo navrženo několik zobecnění vzájemné informace na více než dvě náhodné proměnné, jako například celková korelace a interakce informace. Jestliže na Shannonovu entropii pohlížíme jako na znaménkovou míru v kontextu informačních diagramů, jak je vysvětleno v článku Teorie informace a teorie míry, pak jediná definice vícerozměrné vzájemné informace, které dává smysl, je tato:

${\displaystyle I(X_{1};X_{1})=H(X_{1})}$

a pro ${\displaystyle n>1,}$

${\displaystyle I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),}$

kde (jak je uvedeno výše) definujeme

${\displaystyle I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.}$

Tato definice vícerozměrné vzájemné informace je identická (až na znaménko, když je počet náhodných proměnných lichý) s definicí interakční informace.

Jestliže A a B jsou dvě množiny proměnných, pak vzájemná informace mezi nimi je:

${\displaystyle I(A,B)=H(A\cup B)+H(A\cap B)-H(A)-H(B),}$

Slepé použití informačních diagramů k odvození výše uvedené definice bylo kritizováno a opravdu se ukázalo, že jeho použití je dosti omezené, protože je obtížné vizualizovat nebo pochopit význam této veličiny pro větší počet náhodných proměnných, protože pro ${\displaystyle n\geq 3}$ může mít nulovou, kladnou i zápornou hodnotu.

Mnoharozměrné zobecnění, které maximalizuje vzájemnou informaci mezi sdruženým rozdělením a ostatními cílovými proměnnými se však s úspěchem používá pro výběr rysů[2].

Vzájemná informace se používá i v oblasti zpracování signálu jako míra podobnosti dvou signálů. Například FMI metrika[3] je mírou výkonnosti slučování obrazů využívající vzájemnou informaci pro měření množství informace o výchozích obrazech, kterou obsahuje sloučený obraz.

Normalizované varianty vzájemné informace poskytují omezující koeficienty[4] nebo koeficienty nejistoty[5]

${\displaystyle C_{XY}={\frac {I(X;Y)}{H(Y)}}~~{\mbox{ a }}~~C_{YX}={\frac {I(X;Y)}{H(X)}}.}$

Hodnoty obou koeficientů se mohou lišit. V některých případech může být požadována symetrická míra, jako například následující míra redundance:

${\displaystyle R={\frac {I(X;Y)}{H(X)+H(Y)}}}$

který nabývá nejmenší hodnoty nula, když jsou proměnné nezávislé, a maximální hodnoty

${\displaystyle R_{\max }={\frac {\min(H(X),H(Y))}{H(X)+H(Y)}}}$

když je jedna proměnná při znalosti jiné zcela nadbytečná. Viz článek Redundance. Další symetrická míra je symetrická nejistota (Witten & Frank 2005), daná

${\displaystyle U(X,Y)=2R=2{\frac {I(X;Y)}{H(X)+H(Y)}}}$

která reprezentuje vážený průměr dvou koeficientů nejistoty[5]

Jestliže uvažujeme vzájemnou informaci jako speciální případ celkové korelace nebo duální celkové korelace, pak normalizované verze jsou postupně

${\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}}}$ a ${\displaystyle {\frac {I(X;Y)}{H(X,Y)}}\;.}$

Jiné normalizované verze jsou definované následujícími výrazy[6][7].

${\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}},~~~~~~~{\frac {I(X;Y)}{H(X,Y)}},~~~~~~~{\frac {I(X;Y)}{\sqrt {H(X)H(Y)}}}}$

Hodnota

${\displaystyle D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(H(X),H(Y))}}}$

je metrika, tj. vyhovuje trojúhelníkové nerovnosti, a dalším podmínkám pro metriku.

V tradiční formulaci vzájemné informace

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

je každá událost nebo objekt daný ${\displaystyle (x,y)}$ vážený příslušnou pravděpodobností ${\displaystyle p(x,y)}$. To znamená, že všechny objekty nebo události jsou (až na pravděpodobnost jejich výskytu) ekvivalentní. Některé aplikace však vyžadují, aby určité objekty nebo události byly významnější než jiné, nebo aby určité vzorky asociací byly sémanticky důležitější než jiné.

Například deterministické zobrazení ${\displaystyle \{(1,1),(2,2),(3,3)\}}$ můžeme považovat za silnější než deterministické zobrazení ${\displaystyle \{(1,3),(2,1),(3,2)\}}$, přestože tyto vztahy dávají stejnou vzájemnou informaci. Důvodem je, že vzájemná informace není citlivá na žádné inherentní uspořádání hodnot proměnných (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970), a proto vůbec není citlivá na formu relačního zobrazení mezi příslušnými proměnnými. Pokud požadujeme, aby první relace, která ukazuje shodu na všech hodnotách proměnné, byla považována za silnější než druhá relace, pak je možné použít váženou vzájemnou informaci (Guiasu 1977) definovanou takto:

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

Takto definovaná vážená vzájemná informace přiřazuje každé pravděpodobnosti souvýskytu hodnot proměnných ${\displaystyle p(x,y)}$ váhu ${\displaystyle w(x,y)}$. To umožňuje, aby určité pravděpodobnosti mohly mít větší nebo menší význam než jiné, což dovoluje kvantifikaci relevantních holistických faktorů. Ve výše uvedeném příkladě použití větších relativních vah pro ${\displaystyle w(1,1)}$, ${\displaystyle w(2,2)}$ a ${\displaystyle w(3,3)}$ přináší efekt přiřazení větší důležitosti relaci ${\displaystyle \{(1,1),(2,2),(3,3)\}}$ než relaci ${\displaystyle \{(1,3),(2,1),(3,2)\}}$, což může být žádoucí v určitých případech rozpoznávání vzorků, apod. Ale vážené vzájemné informaci a jejím vlastnostem nebylo věnováno mnoho matematické práce.

Na rozdělení pravděpodobnosti lze pohlížet jako na rozdělení množiny na třídy ekvivalence. Můžeme se pak ptát:, jestliže určitá množina byla rozdělena náhodně, jaké by bylo rozdělení pravděpodobnosti? Jaká by byla očekávaná hodnota vzájemné informace? Upravená vzájemná informace (anglicky adjusted mutual information, AMI) odečítá očekávanou hodnotu MI, takže AMI je rovna nule, pokud dvě různé distribuce jsou náhodné, a je rovna jedné, pokud dvě distribuce jsou identické. AMI se definuje podobně jako upravený Rand index dvou různých rozdělení množiny.

Při použití myšlenek Kolmogorovovy složitosti můžeme považovat vzájemnou informace dvou posloupností nezávislou na libovolném rozdělení pravděpodobnosti:

${\displaystyle I_{K}(X;Y)=K(X)-K(X|Y).}$

Aby se ukázalo, že tato veličina je až na logaritmický člen symetrická (${\displaystyle I_{K}(X;Y)\approx I_{K}(Y;X)}$), je nutné řetězové pravidlo pro Kolmogorovovy složitosti. Aproximace této veličiny pomocí komprese může být použita pro definování metriky pro provedení hierarchického clusteringu posloupnosti bez doménové znalosti posloupnosti.

Pokud množina možných hodnot náhodných proměnných X a Y je diskrétní, pozorovaná data lze sumarizovat v kontingenční tabulce, s řádkovou proměnnou X (nebo i) a sloupcovou proměnnou Y (nebo j). Vzájemná informace je jednou z měr asociace nebo korelace mezi řádkovými a sloupcovými proměnnými. Jiné míry asociace zahrnují statistiku testu dobré shody (Pearsonova chí-kvadrát testu), statistiku G-testu, apod. Vzájemná informace se totiž rovná statistice G-testu vydělené 2N, kde N je velikost vzorku.

Ve speciálním případě, když počet stavů pro řádkové i sloupcové proměnné je 2 (i,j=1,2), pak počet stupňů volnosti Pearsonova chí-kvadrát testu je 1. Ze čtyř termů v sumě

${\displaystyle \sum _{i,j}p_{ij}\log {\frac {p_{ij}}{p_{i}p_{j}}}}$

je pouze jeden nezávislý. To je důvod, aby vzájemná informace funkce měla přesný vztah s korelační funkcí ${\displaystyle p_{X=1,Y=1}-p_{X=1}p_{Y=1}}$ pro binární posloupnosti[8].