Polynomická regrese

Dosazením hodnot ${\displaystyle x_{i},\,y_{i}}$ do polynomiálního modelu ${\displaystyle y=P_{k}(x)}$ přímo dostaneme aproximační problém. Z definice odchylky ${\displaystyle e_{i}}$ zřejmě platí ${\displaystyle y_{i}=P_{k}(x_{i})+e_{i}}$. (Uvědomme si, že ${\displaystyle e_{i}}$ tak vlastně reprezentuje chybu vzniklou při měření veličiny ${\displaystyle y_{i}}$ přičemž předpokládáme, že veličiny ${\displaystyle x_{i}}$ jsou známy přesně.) V maticovém zápisu

${\displaystyle \mathbf {A} \mathbf {x} =\mathbf {b} +\mathbf {e} ,}$

kde

${\displaystyle \mathbf {A} =\left[{\begin{matrix}x_{1}^{k}&\cdots &x_{1}&1\\x_{2}^{k}&\cdots &x_{2}&1\\\vdots &&\vdots &\vdots \\x_{n}^{k}&\cdots &x_{n}&1\end{matrix}}\right],\quad \mathbf {x} =\left[{\begin{matrix}p_{k}\\\vdots \\p_{1}\\p_{0}\end{matrix}}\right],\quad \mathbf {b} =\left[{\begin{matrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{matrix}}\right],\quad \mathbf {e} =\left[{\begin{matrix}e_{1}\\e_{2}\\\vdots \\e_{n}\end{matrix}}\right],}$

${\displaystyle p_{0},p_{1},\ldots ,p_{k}}$ jsou neznámé koeficienty hledaného polynomu a cílem je dosáhnout takového řešení, aby norma vektoru ${\displaystyle \mathbf {e} }$ byla minimální. Úloha se řeší metodou nejmenších čtverců.

Minimum (pozitivně semidefinitního) funkcionálu ${\displaystyle F}$ můžeme hledat klasicky pomocí derivací. Protože veličiny ${\displaystyle x_{i}}$, ${\displaystyle y_{i}}$ jsou předem známy, odchylka ${\displaystyle e_{i}}$ je funkcí koeficientů polynomu ${\displaystyle P_{k}}$, tj. ${\displaystyle e_{i}=e_{i}(p_{0},\ldots ,p_{k})}$. Minimalizace součtu kvadrátů odchylek ${\displaystyle e_{i}}$ vede na hledání minima funkcionálu

${\displaystyle F(p_{0},\ldots ,p_{k})\equiv \sum _{i=1}^{n}\ e_{i}^{2}(p_{0},\ldots ,p_{k})=\sum _{i=1}^{n}\ (y_{i}-\sum _{j=0}^{k}p_{j}x_{i}^{j})^{2}.}$

Funkcionál tvoří součet druhých mocnin, je tedy zřejmě nezáporný a nemůže obsahovat žádná lokální maxima ani sedlové body. Bod splňující podmínky

${\displaystyle {\frac {\partial F}{\partial {p_{j}}}}=0,\qquad j=0,\ldots ,k.}$

je tedy vždy lokálním minimem, které je zároveň minimem globálním. Vyjádříme-li jednotlivé parciální derivace, dostáváme soustavu lineárních algebraických rovnic, kterou můžeme maticově zapsat ve tvaru

${\displaystyle \mathbf {A} ^{T}\mathbf {A} \mathbf {x} =\left[{\begin{matrix}\sum {x_{i}^{2k}}&\cdots &\sum {x_{i}^{k+1}}&\sum {x_{i}^{k}}\\\vdots &\ddots &\vdots &\vdots \\\sum {x_{i}^{k+1}}&\cdots &\sum {x_{i}^{2}}&\sum {x_{i}}\\\sum {x_{i}^{k}}&\cdots &\sum {x_{i}}&n\end{matrix}}\right]\left[{\begin{matrix}p_{k}\\\vdots \\p_{1}\\p_{0}\end{matrix}}\right]=\left[{\begin{matrix}\sum {y_{i}x_{i}^{k}}\\\vdots \\\sum {y_{i}x_{i}}\\\sum {y_{i}}\end{matrix}}\right]=\mathbf {A} ^{T}\mathbf {b} .}$

Řešením této soustavy jsou hledané koeficienty ${\displaystyle p_{j}}$. Pokud má matice ${\displaystyle \mathbf {A} }$ lineárně nezávislé sloupce, koeficienty polynomu jsou dány jednoznačně a lze je formálně vypočítat podle vztahu

${\displaystyle \mathbf {x} =\left(\mathbf {A} ^{T}\mathbf {A} \right)^{-1}\mathbf {A} ^{T}\mathbf {b} .}$

Jak vidíme, soustava získaná z parciálních derivací funkcionálu ${\displaystyle F}$ není nic jiného než soustava normálních rovnic odpovídající problému nejmenších čtverců z předchozího odstavce. Poznamenejme, že se úloha zpravidla (z numerických důvodů) neřeší pomocí soustavy normálních rovnic ${\displaystyle \mathbf {A} ^{T}\mathbf {A} \mathbf {x} =\mathbf {A} ^{T}\mathbf {b} }$, ale například QR faktorizací rozšířené matice ${\displaystyle [\mathbf {b} ,\mathbf {A} ]}$ původního problému nejmenších čtverců.