Regresní analýza

Podívejme se nejdříve na případ, kdy závisle proměnná ${\displaystyle Y}$ je skalár nebo vektor z nějakého lineárního prostoru, jako tomu bylo v našem příkladu s dobou dožití pacienta, vyjádřenou jako číselný údaj v letech. V takovém případě bývá úloha regrese obvykle formulována jako úloha hledání podmíněné střední hodnoty jakožto funkce nezávisle proměnných ${\displaystyle X_{1},\cdots ,X_{p}}$:

${\displaystyle \mathbb {E} (Y|X_{1},\cdots ,X_{p})=f(X_{1},\cdots ,X_{p}),}$

přičemž ${\displaystyle \mathbb {E} }$ je symbol střední hodnoty (nepřesně řečeno průměru), svislítko „${\displaystyle |}$“ zde můžeme číst jako „se znalostí“ a ${\displaystyle f}$ je regresní funkce, kterou je třeba odhadnout. Nejčastěji se to děje tak, že se tato funkce předpokládá v nějakém obecném tvaru závislém na neznámých regresních parametrech čili regresních koeficientech, a tyto koeficienty se poté odhadují na základě pozorovaných dat. Nejčastějším případem je lineární regresní funkce, což vede na regresní rovnici

${\displaystyle \mathbb {E} (Y|X_{1},\cdots ,X_{p})=\beta ^{0}+\sum _{j=1}^{p}\beta ^{j}X_{j}}$

s regresními koeficienty ${\displaystyle \beta ^{j}}$. Tomuto důležitému zvláštnímu případu se říká lineární regrese. Vedle něj existují i regresní modely podstatně nelineární, například některé typy neuronových sítí.

Druhou základní možností je, že závisle proměnná ${\displaystyle Y}$ je diskrétní. Například by mohlo jít o situaci, kdy na základě věku a pohlaví zákazníka predikujeme, jaký nápoj si koupí. V tomto případě by ${\displaystyle Y}$ nabývala hodnot z množiny {voda, ovocná limonáda, cola, pivo, víno, tvrdý alkohol}, a není tudíž definována její střední hodnota. Regresní analýza v této situaci se označuje jako diskriminační analýza a jejím úkolem je hledat podmíněné pravděpodobnosti toho, že zkoumaný objekt patří do jednotlivých tříd:

${\displaystyle p_{k}(Y|X_{1},\cdots ,X_{p})=f(X_{1},\cdots ,X_{p}),}$

kde ${\displaystyle p_{k}}$ je pravděpodobnost, že objekt patří do k-té třídy. Typické metody používané pro řešení úloh tohoto typu jsou Pearsonova lineární diskriminační analýza, logistická regrese a metody z nich odvozené.

Příkladem uvažování v duchu regresní analýzy z běžného života může být například, odhadujeme-li ráno, jaké bude přes den počasí (regresand) na základě znalosti předpovědi počasí a toho, jaké je venku počasí nyní (dva regresory).

Příklad skutečné regresní analýzy v praxi je odhadování očekávané pooperační délky života pacientů trpících rakovinou. Na základě zkušeností z minulých let, kdy se shromáždily předoperační údaje o zdravotním stavu většího počtu pacientů, například velikost a typ nádorů, věk pacientů apod. (regresory) jakož i záznamy o délce života po operaci (regresand), lze pomocí vhodného typu regresní analýzy (v tomto případě obvykle tzv. Coxovy regrese) stanovit vzorec, s jehož pomocí bude možné u nového pacienta na základě znalosti jeho zdravotního stavu odhadnout střední hodnotu očekávané doby přežití v případě operace. Je-li navíc k dispozici podobná analýza pro pacienty léčené konzervativně, lze pak tomuto novému pacientovi doporučit, který způsob léčby mu v dané situaci dává naději na delší přežití.