Asymptotická složitost

Algoritmy můžeme podle hodnot ${\displaystyle f(N)}$ nějakého kritéria rozřadit do tříd. Kritéria jsou časová a paměťová složitost, dále pro paralelní a distribuované algoritmy komunikační složitost. Rozlišuje se složitost v nejhorším případě (která se odhaduje jednodušeji) a složitost v průměrném případě. Nejčastěji, tj. implicitně, se uvažuje o časové složitosti algoritmu v nejhorším případě.

Složitost problému je složitost nejlepšího algoritmu, který ho řeší. Každý konkrétní algoritmus poskytuje horní odhad složitosti.

Velikost dat ${\displaystyle N}$ se obvykle měří v bitech, bytech anebo buňkách pevné velikosti (z hlediska asymptotické složitosti je rozdíl jen v multiplikativní konstantě), ale někdy se pro zjednodušení uvažuje jiné ${\displaystyle N}$. Například v grafových algoritmech se uvažuje graf o ${\displaystyle N}$ vrcholech a takový graf může (a v některých případech musí) mít až ${\displaystyle N^{2}}$ hran. Jiný příklad je čtvercová matice o straně ${\displaystyle N}$, která ve skutečnosti obsahuje až ${\displaystyle N^{2}}$ položek.

V případě algoritmu rychlého řazení je časová složitost při obvyklé implementaci v nejhorším případě ${\displaystyle O(N^{2})}$ a v průměrném případě ${\displaystyle O(N\log {N})}$. Algoritmus násobení čtvercových matic velikosti ${\displaystyle N\times N}$ podle definice má kubickou složitost ${\displaystyle O(N^{3})}$, tj. problém násobení matic má složitost nejhůř kubickou. Strassenův algoritmus násobení matic má složitost přibližně ${\displaystyle O(N^{2{,}89})}$ a jsou známy algoritmy s ještě lepší asymptotickou složitostí. Podobně diskrétní Fourierova transformace počítaná přímočaře podle definice má složitost ${\displaystyle O(N^{2})}$ a algoritmus rychlé Fourierovy transformace má složitost ${\displaystyle O(N\log {N})}$.

Typické příklady časové složitosti

Některé asymptotické složitosti (v proměnné ${\displaystyle n}$ s konstantou ${\displaystyle k}$) mají i své triviální pojmenování. V následující tabulce jsou seřazeny od nejmenší po největší.

Notace	Název	Příklad algoritmu
${\displaystyle {\mathcal {O}}(1)}$	konstantní	Skok na prvek v poli dle indexu
${\displaystyle {\mathcal {O}}(\log {\log {n}})}$	dvojitě logaritmická	Interpolační vyhledávání
${\displaystyle {\mathcal {O}}(\log {n})}$	logaritmická	Binární vyhledávání
${\displaystyle {\mathcal {O}}(\log ^{k}{n})}$	polylogaritmická	K-server problém
${\displaystyle {\mathcal {O}}({\sqrt {n}})}$	odmocninová	Vyhledávání v k-d stromu
${\displaystyle {\mathcal {O}}(n)}$	lineární	Hledání prvku v neseřazeném poli
${\displaystyle {\mathcal {O}}(n\log {n})}$	linearitmická	Řazení slučováním
${\displaystyle {\mathcal {O}}(n^{2})}$	kvadratická	Diskrétní Fourierova transformace, přímočaře podle definice
${\displaystyle {\mathcal {O}}(n^{3})}$	kubická	Násobení matic, přímočaře podle definice
${\displaystyle {\mathcal {O}}(n^{4})}$	kvartická	Nalezení podmatice s největším součtem pomocí dynamického programování, naivně
${\displaystyle {\mathcal {O}}(n^{k})}$	polynomiální	Karmarkův algoritmus
${\displaystyle {\mathcal {O}}(k^{n})}$	exponenciální	Problém obchodního cestujícího pomocí dynamického programování
${\displaystyle {\mathcal {O}}(n!)}$	faktoriálová	Problém obchodního cestujícího hrubou silou
${\displaystyle {\mathcal {O}}(2^{2^{n}})}$	dvojitě exponenciální	Ověření pravdivosti tvrzení zapsaného v Presburgově aritmetice

Existují i funkce, u nichž nelze složitost vůbec shora rozumně omezit. Příkladem budiž Ackermannova funkce.

Snahou programátorů, ale i teoretiků, je asymptotickou složitost dostat alespoň na polynomiální úroveň, horší složitosti jsou v reálných aplikacích (tedy u vyšších N) nepoužitelné. Typickým příkladem je diskrétní Fourierova transformace, která v obecném tvaru má asymptotickou složitost O(N²), proto je nevhodná pro transformaci vektorů větších délek. Existuje rychlá verze této transformace označovaná jako rychlá Fourierova transformace, která využívá skutečnosti, že pro délky vektorů N=K^M (kde K je určeno tzv. radixem transformace 2,4,8,… a M je přirozené číslo), lze tento problém spočítat se složitostí O(N log N).

Pro opravdu velká data jsou často i nelineární algoritmy příliš náročné, vizte velká data. Když nemáme vhodný algoritmus, poskytující přesné výsledky, tak použijeme jiný algoritmus a pak se musíme spokojit s přibližným řešením, pravděpodobně správným řešením, heuristickým řešením a pod. anebo vhodnými technikami zmenšit zpracovávaná data.

Běžné implementační až hackerské triky obvykle zrychlí konkrétní složitost algoritmu, tj. sníží multiplikativní konstantu v asymptotické složitosti, ale nezmění asymptotickou složitost. Sem patří inline funkce, rozvíjení těla cyklu a převedení rekurze na iteraci. Na druhé straně, dobrou zprávou je, že když takové optimalizace vynecháme, ignorujeme, nebo nemáme ve svém oblíbeném kompilátoru, tak to asymptotickou složitost nezhorší. Tedy pomůže použití výkonnějšího hardwaru.

Amortizovaná časová složitost je průměrný čas potřebný pro vykonání určité operace v sekvenci operací v nejhorším případě. Na rozdíl od časové složitosti v průměrném případě nevyužívá pravděpodobnosti a předpokladů o rozložení dat. U amortizované složitosti je průměrný čas na operaci skutečně zaručený.

Tato metoda vyžaduje znalost toho, které sekvence operací jsou vůbec možné. Nejčastěji se to týká analýzy datových struktur, které si mezi jednotlivými operacemi udržují určitý stav. Některé datové struktury mají totiž takovou vnitřní organizaci, že na ní závisí složitost, a organizovanost dat se může během posloupnosti operací měnit. Základní myšlenka amortizované analýzy tkví v tom, že operace s velkou složitostí změní stav struktury tak, že tento nejhorší případ nemůže nastat po dlouhý čas, tudíž amortizuje svou cenu.

Amortizovaná složitost se používá v případě, kdy některá konkrétní operace (typicky na datové struktuře) má v nejhorším případě velkou složitost, ale na vykonání této operace si dokážeme našetřit z předchozích operací v (libovolné) posloupnosti.

Jako jednoduchý příklad můžeme uvést specifickou implementaci dynamického pole, která zdvojnásobuje velikost pole pokaždé, když dojde k jeho naplnění. V tomto případě je tedy nutná realokace, v nejhorším případě tato operace potřebuje čas až O(N). Samotné vkládání prvků (bez nutnosti realokace) vyžaduje čas O(1), pro N prvků tedy také O(N). Pro vložení N prvků (včetně realokace) je tedy potřeba O(N) + O(N) = O(N), amortizovaný čas na jedno vložení prvku je pak O(N)/N = O(1).

Jedna operace zde trvá jednu nanosekundu.

Asymptotická složitost	Velikost vstupních dat
	10	20	50	100	1 000	1 000 000	1 000 000 000	1020
${\displaystyle \log {\log {n}}}$	2 ns	3 ns	3 ns	3 ns	4 ns	5 ns	5 ns	7 ns
${\displaystyle \log {n}}$	4 ns	5 ns	6 ns	7 ns	10 ns	20 ns	30 ns	67 ns
${\displaystyle {\sqrt {n}}}$	4 ns	8 ns	8 ns	10 ns	32 ns	1 μs	32 μs	10 s
${\displaystyle n}$	10 ns	20 ns	50 ns	100 ns	1 μs	1 ms	1 s	3 171 let
${\displaystyle n\log {n}}$	34 ns	87 ns	283 ns	665 ns	10 μs	20 ms	30 s	210 675 let
${\displaystyle n^{2}}$	100 ns	400 ns	3 μs	10 μs	1 ms	16 min 40 s	32 let
${\displaystyle n^{3}}$	1 μs	8 μs	125 μs	1 ms	1 s	32 let
${\displaystyle n^{4}}$	10 μs	160 μs	6 ms	100 ms	16 min 40 s	31 688 088 let
${\displaystyle 2^{n}}$	1 μs	1 ms	13 dní	40×1012 let
${\displaystyle 3^{n}}$	59 μs	4 s	22 760 000 let
${\displaystyle n!}$	4 ms	77 let
${\displaystyle n^{n}}$	10 s	3,32×109 let
${\displaystyle 2^{2^{n}}}$	5,7×10291 let

Multiplikativní konstanta nějakého algoritmu může být příliš velká (např. ${\displaystyle O(2^{100}N)}$) a tedy algoritmus prakticky nepoužitelný.

Podobný případ je, když asymptoticky lepší algoritmus A má větší multiplikativní konstantu než alg. A*, ale v důsledku toho je pro reálně používané, tj. dostatečně malé, velikosti dat výhodnější A*, protože A* má menší režii.