Kraftova nerovnost

Uvažujme binární prefixový kód pro kódování cifer 0,1,2,…,9 vhodný pro zprávy, kde se často vyskytují znaky 0, 1 a řídce znaky 8, 9. (Máme tedy ${\displaystyle \scriptstyle D=2}$ a ${\displaystyle \scriptstyle r=10}$.) Nápad: pro 0 a 1 zvolíme kódové slovo délky 2, pro číslice 2 až 7 zvolíme kódové slovo délky 3 pro 8 a 9 zvolíme kódové slovo délky 4. Potom by převodní tabulka vypadala takto:

0   00

1   01

2   1xx

3   1xx

4   1xx

5   1xx

6   1xx

7   1xx

8   xxxx

9   xxxx

Kombinace 1xx musí začínat jedničkou, aby byl kód prefixový, ale neposkytuje dost kombinací pro šest čísel. Kraftova nerovnost to předem říká ve výpočtu:

${\displaystyle 2\cdot 2^{-2}+6\cdot 2^{-3}+2\cdot 2^{-4}={\frac {22}{16}}>1.}$

Naproti tomu kód

0   00

1   01

2   100

3   1010

4   1011

5   1100

6   1101

7   1110

8   11110

9   11111

prefixový je neboť:

${\displaystyle 2\cdot 2^{-2}+1\cdot 2^{-3}+5\cdot 2^{-4}+2\cdot 2^{-5}={\frac {16+4+10+2}{32}}=1.}$

Zde uvedený důkaz byl převzat ze skript I. Vajdy [1]. Nejprve bez újmy na obecnosti předpokládejme, že ${\displaystyle \scriptstyle l_{1}\leq l_{2}\leq \ldots \leq l_{r}}$ a uvažujme ${\displaystyle \scriptstyle D}$-ární stromový graf, tj. z každého vrcholu grafu vychází krom vstupního právě ${\displaystyle \scriptstyle D}$ dalších vrcholů-potomků. Na počátku tedy máme kořenový vrchol, z něhož vychází ${\displaystyle \scriptstyle D}$ větví, z nichž se pak každá dělí na dalších ${\displaystyle \scriptstyle D}$ větví, tj. celkem na ${\displaystyle \scriptstyle D^{2}}$ větví. Z tohoto je vidět, že na ${\displaystyle \scriptstyle i}$-té úrovni stromu se nachází ${\displaystyle \scriptstyle D^{i}}$ vrcholů, kde kořenu odpovídá nultá úroveň. Pokud má tedy strom celkem ${\displaystyle \scriptstyle r}$ úrovní, tak na této poslední úrovni se nachází ${\displaystyle \scriptstyle D^{r}}$ vrcholů.

Tento stromový graf popisuje všechny možné kombinace znaků našeho kódu délky ${\displaystyle \scriptstyle r}$. Tj. pokud bychom měli binární kód kódující tři zprávy, tak by mu odpovídal binární strom o třech úrovních. Pokud by v binárním stromě vrchol pro nulu ležel nalevo od předchůdce a jednička napravo od něj, tak zprávu 001 bychom mohli vyjádřit jako cestu stromem z kořene do levého vrcholu (první nula), z něj do dalšího levého vrcholu (druhá nula) a z něj nakonec do pravého vrcholu (jednička na konci).

Uvažujme nyní konkrétní vrchol na ${\displaystyle \scriptstyle i_{0}}$-té úrovni, kde ${\displaystyle \scriptstyle i_{0}}$ je pevně zvolené číslo mezi nulou a ${\displaystyle \scriptstyle r}$. Když budeme chápat tento vrchol jako kořen nového ${\displaystyle \scriptstyle D}$-árního stromu (tj. podstromu původně uvažovaného stromu o celkem ${\displaystyle \scriptstyle r}$ úrovních), tak tento strom bude mít celkem ${\displaystyle \scriptstyle r-i_{0}}$ úrovní a na své poslední úrovni bude mít ${\displaystyle \scriptstyle D^{r-i_{0}}}$ vrcholů.

Nejprve dokážeme implikaci zleva, tj. máme prefixový kód a chceme ukázat, že musí platit Kraftova nerovnost.

Mějme tedy ${\displaystyle \scriptstyle D}$-ární strom o ${\displaystyle \scriptstyle r}$ úrovních a podívejme se na ${\displaystyle \scriptstyle l_{1}}$-tou úroveň. Zde vezměme jeden vrchol a odřízněme větve z něj vycházející. Podíváme-li se nyní na poslední, tj. ${\displaystyle \scriptstyle r}$-tou úroveň, stromu, tak tam ubylo ${\displaystyle \scriptstyle D^{r-l_{1}}}$ vrcholů spojených s výše vybraným vrcholem. Na úrovni ${\displaystyle \scriptstyle l_{1}}$ nám teď zbývá ${\displaystyle \scriptstyle D^{l_{1}}-1}$ vrcholů, z nichž vedou větve. Vyjděme z některého z nich, dojděme na úroveň ${\displaystyle \scriptstyle l_{2}}$ a aplikujme postup obdobný tomu výše. Takto pokračujme až na ${\displaystyle \scriptstyle r}$-tou úroveň. Zde by se mohlo namítnout, že odřezáváním nemáme zajištěno, že nějaký vrchol na této úrovni vůbec zůstane. Jenomže my jsme uvažovali prefixový kód, tzn. pokud mám na ${\displaystyle \scriptstyle l_{i}}$-té úrovni vrchol, tj. mám kódové slovo délky ${\displaystyle \scriptstyle l_{i}}$, tak už neexistují kódová slova, která by měla toto slovo jako prefix. Neboli mám-li na úrovni ${\displaystyle \scriptstyle l_{i}}$ vrchol odpovídající danému kódovému slovu a odříznu všechny z něj vycházející vrcholy, tak žádný z těchto odříznutých vrcholů neodpovídá kódovému slovu. Protože nyní předpokládáme, že existuje kódové slovo délky ${\displaystyle \scriptstyle l_{r}}$, tak nutně musí existovat vrchol stromu na úrovni ${\displaystyle \scriptstyle l_{r}}$.

Zapišme nyní, co odřezávání znamená pro počet vrcholů na poslední, tj. ${\displaystyle \scriptstyle r}$-té, úrovni stromového grafu. Pro každé ${\displaystyle \scriptstyle i\in \{1,\ldots ,r\}}$ jsme odřezáním přišli o ${\displaystyle \scriptstyle D^{r-l_{i}}}$ vrcholů ležících na ${\displaystyle \scriptstyle r}$-té úrovni. Protože odřezaných vrcholů na této úrovni nemůže být víc než celkový počet vrcholů na této úrovni, který je roven ${\displaystyle \scriptstyle D^{r}}$, dostáváme nerovnost

${\displaystyle \sum _{i=1}^{r}D^{r-l_{i}}\leq D^{r}}$.

Když tuto nerovnost vydělíme její pravou stranou obdržíme Kraftovu nerovnost.

Dokážeme nyní opačnou implikaci, tj. máme přirozená čísla ${\displaystyle \scriptstyle l_{1}\leq l_{2}\leq \ldots \leq l_{r}}$ a ${\displaystyle \scriptstyle D}$ splňující Kraftovu nerovnost. Z výše popsaného postupu je zřejmé, že existuje stromový graf o ${\displaystyle \scriptstyle D}$ úrovních takový, že na ${\displaystyle \scriptstyle l_{i}}$-té úrovni (pro každé ${\displaystyle \scriptstyle i\in \{1,\ldots ,r\}}$) se bude nacházet vrchol, z něhož už žádné vrcholy vycházet nebudou. Těmto vrcholům můžeme přiřadit kódové slovo (vezmu cestu od kořene k tomuto vrcholu a podle toho, kterou větví jsem v ${\displaystyle \scriptstyle i}$-tém kroku procházel, tak na ${\displaystyle \scriptstyle i}$ pozici ve slově napíšu jeden ze znaků 0, 1 až D). Takto zkonstruovaný kód je zřejmě prefixový.

Zde uvedený důkaz lze použít i pro tvrzení s ${\displaystyle \scriptstyle r}$ konečným, můžeme ho tedy chápat jako alternativu k výše uvedenému důkazu. I tento důkaz byl převzat ze skript [1].

Dokažme nejdříve implikaci zleva, tj. máme slova délek ${\displaystyle \scriptstyle l_{1},l_{2},\ldots }$ a chceme odvodit Kraftovu nerovnost. Mějme ${\displaystyle \scriptstyle i}$-té kódové slovo, to má délku ${\displaystyle \scriptstyle l_{i}}$. Můžeme ho tedy vyjádřit jako posloupnost znaků ${\displaystyle \scriptstyle z_{1}z_{2}\ldots z_{l_{i}}}$. Každý znak ${\displaystyle \scriptstyle z_{j}}$ nabývá hodnot ${\displaystyle \scriptstyle 0}$ až ${\displaystyle \scriptstyle D-1}$ a dané kódové slovo můžeme tedy chápat jako číslo v ${\displaystyle \scriptstyle D}$-znakové číselné soustavě. Konkrétně, lze ho chápat jako desetinný rozvoj čísla nacházejícího se mezi 0 a 1 následujícím způsobem

${\displaystyle 0,z_{1}z_{2}\ldots z_{l_{i}}=\sum _{j=1}^{l_{i}}z_{j}D^{-j}}$.

Neboť nyní předpokládáme, že náš kód je prefixový, je zobrazení, které kódovému slovu přiřazuje číslo z intervalu [0,1] výše uvedeným způsobem, prosté. Není těžké si rozmyslet, že prefixovost kódu zaručuje následující vlastnost: jestliže ${\displaystyle \scriptstyle k}$-té slovo je délky ${\displaystyle \scriptstyle l_{k}}$ splňující ${\displaystyle \scriptstyle l_{k}\geq l_{i}}$, tak jemu odpovídající číslo neleží v intervalu

${\displaystyle I(l_{i})=(0,z_{1}z_{2}\ldots z_{l_{i}};0,z_{1}z_{2}\ldots z_{l_{i}}+D^{-l_{i}})}$.

Pro názornost na chvíli uvažujme konkrétní příklad, kdy je ${\displaystyle \scriptstyle I(l_{i})=(0,536;0,537)}$, tj. ${\displaystyle \scriptstyle l_{i}=3}$. Patří do něj třeba čísla 0,5361 nebo 0,5369, neleží v něm ale čísla 0,536 a 0,537 (jedná se o otevřený interval). Z tohoto příkladu je patrné, že kdyby v intervalu ${\displaystyle \scriptstyle I(l_{i})}$ leželo ${\displaystyle \scriptstyle k}$-té slovo, tak by muselo mít prvních ${\displaystyle \scriptstyle l_{i}}$ znaků shodných s ${\displaystyle \scriptstyle i}$-tým slovem, což je spor s prefixovostí kódu, kterou jsme předpokládali.

Máme tedy každému kódovému slovu jednoznačně přiřazen interval délky ${\displaystyle \scriptstyle D^{-l_{i}}}$, který je disjunktní s kterýmkoli jiným intervalem odpovídajím odlišnému slovu. Navíc všechny tyto intervaly leží v intervalu [0,1] a to musí platit i pro jejich sjednocení. Protože jsou všechny intervaly navzájem disjunktní je míra jejich sjednocení rovna součtu jejich délek. Míra sjednocení je navíc seshora omezena délkou intervalu [0,1], tzn. jedničkou. Zapíšeme-li tento argument pomocí matematických symbolů, dostáváme okamžitě zobecněnou Kraftovu nerovnost.

Dokažme nyní druhou implikaci. Máme tedy přirozená čísla ${\displaystyle \scriptstyle l_{1},l_{2},\ldots }$ splňující danou nerovnost a chceme najít prefixový kód, jehož kódová slova budou mít délky ${\displaystyle \scriptstyle l_{1},l_{2},\ldots }$. Označme si ${\displaystyle \scriptstyle I_{1}=[0,1]}$ a vyberme z něj libovolné číslo ${\displaystyle \scriptstyle 0,z_{1}z_{2}\ldots }$. Prvních ${\displaystyle \scriptstyle l_{1}}$ znaků tohoto čísla (v daném pořadí) interpretujeme jako kódové slovo našeho kódu. Sestrojíme nyní množinu ${\displaystyle \scriptstyle I_{2}=I_{1}-I(l_{1})}$, kde ${\displaystyle \scriptstyle I(l_{1})}$ je interval definovaný výše v první polovině důkazu. Analogický postup neustále opakujeme, čímž dostaneme posloupnost intervalů ${\displaystyle \scriptstyle I_{1},I_{2},\ldots }$, kde ${\displaystyle \scriptstyle I_{n}=I_{n-1}-I(l_{n-1})}$. Z Kraftovy nerovnosti plyne, že ${\displaystyle \scriptstyle I_{n}}$ nebude nikdy prázdná a fakt, že intervaly ${\displaystyle \scriptstyle I_{1},I_{2},\ldots }$ jsou disjunktní, zajišťuje, že námi vytvářená slova odpovídají prefixovému kódu.

Následující důkaz je též převzat ze skript I. Vajdy [1]. Důkaz provedeme ve dvou krocích, nejprve dokážeme nerovnost pro jednoznačně dekódovatelné kódy s konečným počtem kódových slov. Poté zobecníme toto prozatímní tvrzení i na kódy s nespočetně mnoha slovy.

Ukažme nejprve, že když ${\displaystyle \scriptstyle l(x)}$ jsou délky slov jednoznačně dekódovatelného kódu ${\displaystyle \scriptstyle C:{\mathcal {X}}\to {\mathcal {D}}^{\ast }}$ konečného zdroje ${\displaystyle \scriptstyle ({\mathcal {X}},p)}$, tak platí

${\displaystyle \sum _{x\in {\mathcal {X}}}D^{-l(x)}\leq 1.}$

Nechť ${\displaystyle \scriptstyle C^{n}:{\mathcal {X}}^{n}\to {\mathcal {D}}^{n}}$ je rozšíření kódu ${\displaystyle \scriptstyle C}$ a ${\displaystyle \scriptstyle \mathbf {x} =(x_{1},\ldots ,x_{n})\in {\mathcal {X}}^{n}}$ je jistá zpráva. Pak délky ${\displaystyle \scriptstyle l(x)}$ slov ${\displaystyle \scriptstyle C^{n}(\mathbf {x} )}$ (obraz zprávy ${\displaystyle \scriptstyle \mathbf {x} }$ při kódování ${\displaystyle \scriptstyle C^{n}}$) splňují podmínku

${\displaystyle l(x)=\sum _{i=1}^{n}l(x_{i})}$.

Z toho plyne

${\displaystyle \left(\sum _{x\in {\mathcal {X}}}D^{-l(x)}\right)^{n}=\sum _{\mathbf {x} \in {\mathcal {X}}^{n}}D^{-l(\mathbf {x} )}=\sum _{k=1}^{n\cdot l_{\mathrm {max} }}m(k)D^{-k}}$,

kde ${\displaystyle \scriptstyle l_{\mathrm {max} }=\max _{x\in {\mathcal {X}}}(l(x))}$ a symbol ${\displaystyle \scriptstyle m(k)}$ udává počet zpráv ${\displaystyle \scriptstyle \mathbf {x} \in {\mathcal {X}}^{n}}$ zakódovaných do slov délky ${\displaystyle \scriptstyle k}$. Protože je kód jednoznačně dekódovatelný, nejvýše jedno ${\displaystyle \scriptstyle \mathbf {x} \in {\mathcal {X}}^{n}}$ se zobrazí do slova délky ${\displaystyle \scriptstyle k}$ a proto ${\displaystyle \scriptstyle m(k)\leq D^{k}}$. Tedy

${\displaystyle \left(\sum _{x\in {\mathcal {X}}}D^{-l(x)}\right)^{n}\leq \sum _{k=1}^{n\cdot l_{\mathrm {max} }}D^{k}D^{-k}=n\cdot l_{\mathrm {max} }.}$

Odsud dostáváme

${\displaystyle \sum _{x\in {\mathcal {X}}}D^{-l(x)}\leq (nl_{\mathrm {max} })^{\frac {1}{n}}\to 1\quad {\text{pro}}\quad n\to \infty .}$

Neboť můžeme ${\displaystyle \scriptstyle n}$ volit libovolně, dokázali jsme tak tvrzení pro konečné zdroje.

Důkaz dokončíme tak, že si uvědomíme, že podmnožina kterýchkoli ${\displaystyle \scriptstyle m}$ slov jednoznačně dekódovatelného kódu představuje jednoznačně dekódovatelný kód. Na něj můžeme použít tvrzení dokázané v první části tohoto důkazu, čímž dostaneme

${\displaystyle \sum _{i=1}^{m}D^{-l_{i}}\leq 1\quad {\text{pro}}\quad m=1,2,\ldots }$

Stačí už tedy jen vzít limitu pro ${\displaystyle \scriptstyle m\to \infty }$ a zobecněné tvrzení pro spočetně mnoho kódových slov je dokázáno.