Teorie kódování

Data můžeme považovat za náhodnou proměnnou ${\displaystyle X:\Omega \rightarrow {\mathcal {X}}}$, kde ${\displaystyle x\in {\mathcal {X}}}$ se objevuje s pravděpodobností ${\displaystyle \mathbb {P} [X=x]}$.

Data jsou zakódována řetězci (slovy) nad abecedou ${\displaystyle \Sigma }$.

Kód je funkce

${\displaystyle C:{\mathcal {X}}\rightarrow \Sigma ^{*}}$ (nebo ${\displaystyle \Sigma ^{+}}$, pokud prázdný řetězec nepatří do abecedy).

${\displaystyle C(x)}$ je kódové slovo přiřazené k ${\displaystyle x}$.

Délka kódového slova se zapisuje jako

${\displaystyle l(C(x))}$.

Očekávaná délka kódu je

${\displaystyle l(C)=\sum _{x\in {\mathcal {X}}}l(C(x))\mathbb {P} [X=x]}$

Zřetězení kódových slov ${\displaystyle C(x_{1},...,x_{k})=C(x_{1})C(x_{2})...C(x_{k})}$.

Kódové slovo prázdného řetězce je sám prázdný řetězec:

${\displaystyle C(\epsilon )=\epsilon }$

Kód

1. ${\displaystyle C:{\mathcal {X}}\rightarrow \Sigma ^{*}}$ je nesingulární, pokud je prostým zobrazením.
2. ${\displaystyle C:{\mathcal {X}}^{*}\rightarrow \Sigma ^{*}}$ je jednoznačně dekódovatelný, pokud je prostým zobrazením.
3. ${\displaystyle C:{\mathcal {X}}\rightarrow \Sigma ^{*}}$ je bezprefixový, pokud ${\displaystyle C(x_{1})}$ není prefixem ${\displaystyle C(x_{2})}$ (a naopak).

Entropie zdroje je míra informace. V zásadě se zdrojové kódy snaží omezit redundanci zdroje a reprezentují zdroj s méně bity, které přenášejí více informace.

Komprese dat, která se explicitně snaží minimalizovat průměrnou délku zpráv podle určitého předpokládaného pravděpodobnostního modelu, se nazývá entropie kódování.

Různé techniky používané algoritmy zdrojového kódování se snaží přiblížit entropii zdroje. C(x) ≥ H(x), kde H(x) je entropie zdroje (přenosová rychlost) a C(x) je přenosová rychlost po komprimaci. Konkrétně žádné zdrojové kódovací schéma nemůže být lepší než entropie zdroje.

Faksimile používá jednoduché Run-length encoding. Zdrojové kódování odstraňuje všechna data, která přijímač nepotřebuje, což sníží šířku pásma potřebného pro přenos.

Termín algebraická teorie kódování (anglicky algebraic coding theory) označuje podobor teorie kódování, v němž se vlastnosti kódů vyjadřují algebraickými termíny a dále zkoumány.^[zdroj?]

Algebraická teorie kódování se v zásadě zabývá dvěma typy kódů:^[zdroj?]

1. Lineární blokové kódy
2. Konvoluční kódy

Teorie analyzuje následující tři vlastnosti kódu – především:^[zdroj?]

• délku kódového slova
• celkový počet platných kódových slov
• minimální vzdálenost mezi dvěma platnými kódovými slovy, především Hammingova vzdálenost, někdy i jinak definované vzdálenosti, např. Leeova vzdálenost

Lineární blokové kódy mají vlastnost linearity. To znamená, že součet jakýchkoli dvou kódových slov je také kódové slovo. Jejich název odráží, že se aplikují na zdrojové bity v blocích. Existují i blokové kódy, které nejsou lineární, ale bez této vlastnosti je obtížné dokázat, že kód je dobrý.[4]

Lineární blokové kódy je možné klasifikovat podle počtu symbolů v jejich abecedě (například, binární nebo ternární) a parametrů (n,m,d_min),[5] kde

1. n je délka kódového slova v symbolech,
2. m je počet zdrojových symbolů, které se současně používají pro kódování,
3. d_min je minimální Hammingova vzdálenost kódu.

Je mnoho typů lineárních blokových kódů, například

1. Cyklické kódy (například Hammingovy kódy)
2. Opakovací kódy
3. Paritní kódy
4. Polynomiální kódy (například BCH kódy)
5. Reedovy–Solomonovy kódy
6. Algebraické geometrické kódy
7. Reedovy–Mullerovy kódy
8. Dokonalé kódy

Blokové kódy souvisejí s problémem skládání koulí, který mnoho let poutal pozornost. Lze jej snadno ukázat ve dvourozměrném případě. Rozložte několik mincí v jedné vrstvě do tabulky a smáčkněte je k sobě. Výsledkem bude šestiúhelníkovitý vzorek připomínající včelí plástev. Blokové kódy však využívají více rozměrů, což nelze tak snadno vizualizovat. Účinný (24,12) Golayův kód používaný pro komunikaci s kosmickými sondami používá 24 dimenzí. Pokud se používají jako binární kód (což je obvyklé) rozměr udává délku kódového slova, jak je definována výše.

Teorie kódování používá model N-rozměrné koule. Například kolik mincí v jedné vrstvě se vejde do nakreslené kružnice nebo v trojrozměrném prostoru kolik kuliček se vejde do kulové nádoby. Volbu vhodného kódu ovlivňují i další kritéria. Například při skládání šestiúhelníkových obalů do pravoúhlého prostoru vzniká prázdný prostor v rozích. Se zvyšováním počtu dimenzí se podíl nevyplněného prostoru zmenšuje. Ale v některých dimenzích obaly vyplňují všechen prostor, což vede k tak zvaným „dokonalým“ kódům. Jediné netriviální a užitečné dokonalé kódy jsou distance-3 Hammingovy kódy s parametry vyhovujícími vztahu (2^r – 1, 2^r – 1 – r, 3) a [23,12,7] binární a [11,6,5] ternární Golayovy kódy.[4][5]

Další vlastností kódu je počet sousedů, které má jedno kódové slovo.[6] Opět budeme uvažovat rozmisťování mincí. Nejdříve rozmístíme mince do pravoúhlé mřížky. Každá mince bude mít 4 blízké sousedy (a další 4 v rozích, které jsou o něco vzdálenější). Při skládání do šestiúhelníků bude mít každá mince 6 blízkých sousedů. Se zvyšováním počtu dimenzí roste počet blízkých sousedů velmi rychle. Kvůli tomu počet způsobů, jak může šum způsobit, že dekodér v přijímači zvolí souseda (tj. chybu) roste také. To je základní omezení blokových kódů a vlastně všech kódů. I když způsobit chybu jednoho souseda může být těžší, počet sousedů však může být tak velký, že celková pravděpodobnost chyby je skutečně významná.[6]

Vlastnosti lineárních blokových kódů se používají v mnoha aplikacích. Například jednoznačnost syndrome-coset lineárních blokových kódů se používá v trellis tvarování,[7] jednom z nejznámějších tvarovacích kódů.

Principem konvolučních kódů je vyjádřit každý symbol kódového slova váženým součtem různých symbolů vstupní zprávy, což se podobá konvoluci používané v LTI systémech pro hledání výstupního systému, když známe vstupní a impulzní odezvu.

Obecně tedy hledáme výstup systémového konvolučního kodéru, který je konvolucí vstupního bitu, proti stavům konvolučního kodéru, rejstříky.

Konvoluční kódy v zásadě neposkytují lepší ochranu proti šumu než ekvivalentní blokové kódy. Ale často jsou jednodušší na implementaci než blokové kódy téhož výkonu. Kodér je obvykle jednoduchý obvod, který má paměť stavů a nějakou zpětnovazební logiku, obvykle XOR hradla. Dekodér může být implementován softwarově nebo ve firmwaru.

Optimálním algoritmem používaným pro dekódování konvolučních kódů je Viterbiho algoritmus. Existují zjednodušení pro snížení výpočetní zátěže, která spoléhají na vyhledávání pouze nejpravděpodobnější cesty. I když nejsou optimální, v prostředí s nízkým šumem dávají obecně dobré výsledky.

Konvoluční kódy se používají v pokročilých telefonních modemech (V.32, V.17, V.34) a v mobilních telefonech GSM, i v satelitních a vojenských komunikačních zařízeních.

Skupinové testování používá kódy jiným způsobem. Uvažujme rozsáhlé skupiny položek, v nichž je velmi malá část určitým způsobem odlišných (například defektní výrobky nebo infikovaní jedinci). Myšlenkou skupinového testování je určit, které položky jsou „odlišné“ pomocí co nejméně testů. Tento problém má kořeny v druhé světové válce, když United States Army Air Forces potřebovaly testovat své vojáky na syfilis.[12]

Obdobně jsou informace zakódovány v neuronových sítích mozku, při analogovém zpracování signálu a v analogové elektronice. K aspektům analogového kódování patří analogová oprava chyb,[13] analogová komprese dat[14] a analogové šifrování.[15]

V tomto článku byl použit překlad textu z článku Coding theory na anglické Wikipedii.

• Kódovací zisk
• Pokrývající kód
• Samoopravný kód
• Skládané Reedovy–Solomonovy kódy
• Skupinové testování
• Hammingova vzdálenost, Hammingova váha
• Leeova vzdálenost
• Seznam témat algebraické teorie kódování
• Prostorové kódování a Multiple-input multiple-output ve výzkumu používání více antén
  • Prostorové rozmanitost kódování je prostorové kódování, při kterém se vysílá kopie informačního signálu různými prostorovými cestami, čímž se zvyšuje spolehlivost přenosu dat.
  • Prostorové interference vyrušení kódování
  • Kódování prostorovým multiplexováním
• Časová osa teorie informace, komprese dat a samoopravných kódů

• Elwyn R. Berlekamp (2014), Algebraic Coding Theory, World Scientific Publishing (revised edition), ISBN 978-9-81463-589-9.
• MacKay, David J. C. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Vera Pless (1982), Introduction to the Theory of Error-Correcting Codes, John Wiley & Sons, Inc., ISBN 0-471-08684-3.
• Randy Yates, A Coding Theory Tutorial.

• Obrázky, zvuky či videa k tématu Teorie kódování na Wikimedia Commons