Statistická nezávislost

Viz též Pravděpodobnost#Nezávislé jevy.

Dva náhodné jevy ${\displaystyle A}$ a ${\displaystyle B}$ jsou nezávislé (zapsáno ${\displaystyle A\perp B}$ nebo ${\displaystyle A\perp \!\!\!\perp B}$) právě tehdy, pokud se pravděpodobnost jejich společného výskytu rovná součinu pravděpodobností jejich výskytů:[2] ^{:s.p. 29} [3] ^{:s.p. 10}

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)}$

Proč se nezávislost definuje takto, je jasné po přepsání s použitím podmíněných pravděpodobností:

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A\mid B)}$ .

a podobně

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B)=\mathrm {P} (B\mid A)}$ .

To znamená, že výskyt ${\displaystyle B}$ nemá vliv na pravděpodobnost ${\displaystyle A}$ a naopak. Ačkoli se odvozené výrazy mohou zdát intuitivnější, nejedná se o upřednostňovanou definici, protože podmíněné pravděpodobnosti nemusejí být definované, pokud ${\displaystyle \mathrm {P} (A)}$ nebo ${\displaystyle \mathrm {P} (B)}$ jsou 0. Kromě toho upřednostňovaná definice je zjevně symetrická, takže je z ní vidět, že když ${\displaystyle A}$ je nezávislý na ${\displaystyle B}$, tak ${\displaystyle B}$ je také nezávislý na ${\displaystyle A}$.

${\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\Leftrightarrow \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1}$ .

Zobecnění na více jevů: Konečná množina jevů ${\displaystyle \{A_{i}\}_{i=1}^{n}}$ je po dvou nezávislá, pokud je každá dvojice jevů nezávislá — to znamená, že pro všechny vzájemně odlišné páry indexů ${\displaystyle m,k}$

${\displaystyle \mathrm {P} (A_{m}\cap A_{k})=\mathrm {P} (A_{m})\mathrm {P} (A_{k})}$

Konečná množina jevů je nezávislá, pokud je každý jev nezávislý na libovolném průniku ostatních jevů[3] ^{:s.p. 11} — to znamená, že pro každé ${\displaystyle k\leq n}$ a pro každou ${\displaystyle k}$ -prvkovou podmnožina jevů ${\displaystyle \{B_{i}\}_{i=1}^{k}}$ z ${\displaystyle \{A_{i}\}_{i=1}^{n}}$ platí

${\displaystyle \mathrm {P} \left(\bigcap _{i=1}^{k}B_{i}\right)=\prod _{i=1}^{k}\mathrm {P} (B_{i})}$

Toto se nazývá pravidlo násobení pravděpodobností pro nezávislé jevy. Všimněte si, že nejde o jedinou podmínku zahrnující pouze součin všech pravděpodobností všech jednotlivých jevů; vzorec musí platit pro všechny podmnožiny dané množiny jevů.

Pro více než dva jevy je nezávislá množina jevů (podle definice) také nezávislá po dvou; ale opak nemusí nutně platit.[2]^{:s.p. 30}

Dvě reálné náhodné veličiny ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé tehdy a právě tehdy, jsou-li prvky jimi generovaného π systému nezávislé; to znamená, že pro každé ${\displaystyle x}$ a ${\displaystyle y}$ jsou jevy ${\displaystyle \{X\leq x\}}$ a ${\displaystyle \{Y\leq y\}}$ nezávislé (jak je definováno výše). Z toho plyne, že ${\displaystyle X}$ a ${\displaystyle Y}$ s distribučními funkcemi ${\displaystyle F_{X}(x)}$ a ${\displaystyle F_{Y}(y)}$ jsou nezávislé, pokud kombinovaná náhodná proměnná ${\displaystyle (X,Y)}$ má kumulativní distribuční funkci[3]^{:s.p. 15}

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y)\quad {\text{for all }}x,y}$,

z čehož plyne, že pokud existují hustoty pravděpodobnosti ${\displaystyle f_{X}(x)}$ a ${\displaystyle f_{Y}(y)}$ a společná hustota pravděpodobnosti ${\displaystyle f_{X,Y}(x,y)}$, tak

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad {\text{for all }}x,y}$ .

Zobecnění na více než dvě náhodné veličiny: Konečná množina ${\displaystyle n}$ náhodných veličin ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je po dvou nezávislá, jestliže je každá dvojice náhodných veličin z této množiny nezávislá.

Konečná množina ${\displaystyle n}$ náhodných veličin ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je nezávislá, jestliže pro jakoukoli posloupnost čísel ${\displaystyle \{x_{1},\ldots ,x_{n}\}}$ jsou jevy ${\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}$ vzájemně nezávislé (jak je definováno výše). To je ekvivalentní následující podmínce o společné distribuční funkci ${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$: množina ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ je nezávislý právě tehdy, když[3]^{:s.p. 16}

${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}$

Všimněte si, že zde není nutné vyžadovat, aby rozdělení pravděpodobnosti faktorizovalo pro všechny možné podmnožiny ${\displaystyle k}$ prvků jako v případě pro ${\displaystyle n}$ jevů. Je to proto, že např. ${\displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})}$ totiž implikuje ${\displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})}$ atp.

Dva reálné náhodné vektory ${\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}}$ a ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$ jsou nezávislé, pokud[4]^{:s.p. 187}

${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} }$,

kde ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$ a ${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$ jsou distribuční funkce ${\displaystyle \mathbf {X} }$ a ${\displaystyle \mathbf {Y} }$ a ${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$ označuje jejich společnou distribuční funkci. Nezávislost ${\displaystyle \mathbf {X} }$ a ${\displaystyle \mathbf {Y} }$ se často označuje ${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$ . Rozepsáno po komponentách:

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}}$ .

Definici nezávislosti lze rozšířit z náhodných vektorů na stochastické procesy. Nezávislý stochastický proces je takový, u kterého náhodné veličiny získané jeho vzorkováním v libovolných ${\displaystyle n}$ časových okamžicích ${\displaystyle t_{1},\ldots ,t_{n}}$ (pro libovolné přirozené ${\displaystyle n}$) jsou nezávislé náhodné veličiny.[5]^{:s.p. 163}

Formálně zapsáno se stochastický proces ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ nazývá nezávislý, právě když pro všechna ${\displaystyle n\in \mathbb {N} }$ a pro všechny ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$

${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=F_{X_{t_{1}}}(x_{1})\cdot \ldots \cdot F_{X_{t_{n}}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}$,

kde ${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})}$ . Nezávislost stochastického procesu je jeho vnitřní vlastnost, nikoli vztah mezi dvěma různými stochastickými procesy.

Vzájemná nezávislost dvou stochastických procesů je vztah mezi dvěma stochastickými procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ definovanými na stejném pravděpodobnostním prostoru ${\displaystyle (\Omega ,{\mathcal {F}},P)}$. Formálně dva stochastické procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ jsou považovány za nezávislé, pokud pro všechna ${\displaystyle n\in \mathbb {N} }$ a pro všechny ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$ jsou náhodné vektory ${\displaystyle (X(t_{1}),\ldots ,X(t_{n}))}$ a ${\displaystyle (Y(t_{1}),\ldots ,Y(t_{n}))}$ navzájem nezávislé,[6]^{:s.p. 515} tj. pokud

${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}},Y_{t_{1}},\ldots ,Y_{t_{n}}}(x_{1},\ldots ,x_{n},y_{1},\ldots ,y_{n})=F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})\cdot F_{Y_{t_{1}},\ldots ,Y_{t_{n}}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}$

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

Všimněte si, že jev je na sobě nezávislý právě tehdy, když

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

Jev je tedy na sobě nezávislý, právě když k němu skoro jistě dojde nebo skoro jistě nedojde (dojde k jeho doplňku); tato skutečnost je užitečná při dokazování různých vět, které tvrdí, že nějaký jev má buď pravděpodobnost jedna nebo nula, nic mezi (anglicky tzv. zero-one laws).

Pokud ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé náhodné veličiny, pak operátor střední hodnoty ${\displaystyle \operatorname {E} }$ má vlastnost

${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y],}$

a kovariance ${\displaystyle \operatorname {cov} [X,Y]}$ je nula, jak vyplývá z

${\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}$ .

Opačné tvrzení neplatí: pokud dvě náhodné proměnné mají kovarianci 0, stále nemusejí být nezávislé.

Podobně pro dva stochastické procesy ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ a ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ : Pokud jsou nezávislé, pak jsou nekorelované.[7]^{:s.p. 151}

Dvě náhodné proměnné ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé právě tehdy, pokud charakteristická funkce náhodného vektoru ${\displaystyle (X,Y)}$ splňuje

${\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s)}$ .

Konkrétně charakteristická funkce jejich součtu je produktem jejich marginálních charakteristických funkcí:

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}$

ačkoli obrácená implikace neplatí.