Markovův řetězec

Markovův řetězec je popsán dvěma strukturami:

• vektorem absolutních pravděpodobností p(n) = [p₁(n), p₂(n),... p_N(n)] pro n = 0,1,2..., kde p_i(n) značí pravděpodobnost, že proces je v okamžiku n ve stavu i.

• maticí pravděpodobností přechodu P(n) = [p_ij(n)] , kde i = 1, 2, ... N a j = 1, 2, ... N

Pravděpodobnosti p_ij musí splňovat podmínky:

• p_ij >= 0
• součet každého jednotlivé řádku matice P musí být roven 1, protože jde o úplnou soustavu jevů

Markovův řetězec dokážeme popsat pomocí vztahu: p(n+1) = p(n) * P

a postupným dosazováním můžeme dojít ke vztahu: p(n+1) = p(0) * Pⁿ⁺¹

Homogenní Markovův řetězec je takový Markovův řetězec, pro který platí, že p_ij(n) nezávisí na n.

Nehomogenní Markovův řetězec je takový Markovův řetězec, pro který platí, že p_ij(n) závisí na n.

Matici pravděpodobnostního přechodu P nazveme regulární, když Pⁿ pro konečné n neobsahuje žádné nulové prvky. Matice P konverguje k limitní matici typu A, kde

${\displaystyle A={\begin{pmatrix}a_{1}&a_{2}&\dots &a_{N}\\a_{1}&a_{2}&\dots &a_{N}\\\dots &\dots &\dots &\dots \\a_{1}&a_{2}&\dots &a_{N}\\\end{pmatrix}}.}$

kde její řádky tvoří stejné vektory a = (a₁, a₂, ..., a_N), které nazýváme stacionární vektory, někdy také limitní vektory.

Pro regulární matice platí následující tvrzení:

• Nechť ${\displaystyle \mathbf {P} }$ je regulární, ${\displaystyle \mathbf {p} }$ je libovolný vektor absolutních pravděpodobností, ${\displaystyle \mathbf {A} }$ je limitní matice a ${\displaystyle \mathbf {a} }$ je limitní vektor, pak platí, že s rostoucím n se ${\displaystyle \mathbf {p*P^{n}} }$ blíží k ${\displaystyle \mathbf {a} }$.
• ${\displaystyle \mathbf {PA=AP=A} }$
• ${\displaystyle \mathbf {aP=a} }$

Limitní vektor je možné stanovit ze soustavy rovnic:

${\displaystyle \mathbf {aP=a} }$

${\displaystyle \mathbf {\sum _{i=1}^{N}a_{i}=1} }$

Interpretace hodnot limitního vektoru a jsou jednotlivé doby strávené v jednotlivých stavech. Udané hodnoty jsou hodnoty pravděpodobností setrvání v těchto stavech.

Fundamentální matici definujeme pomocí matice A. Umožňuje nám například výpočet střední doby prvního přechodu do určitého stavu a rozptyl tohoto přechodu.

${\displaystyle \mathbf {Z} =\mathbf {[I-(P-A)]} ^{-1}={I+\sum _{n=1}^{\infty }(P^{n}-A)}}$

Vlastnosti fundamentální matice:

• ${\displaystyle \mathbf {PZ=ZP} }$

• ${\displaystyle \mathbf {Z\xi =\xi } }$, kde ξ je vektor z samých jedniček

• ${\displaystyle \mathbf {aZ=a} }$

• ${\displaystyle \mathbf {I-Z=a-PZ} }$

Absorpční řetězce jsou takové řetězce, které obsahují mimo stavy tranzientní i stavy absorpční. Tzn., že pravděpodobnost setrvání v takovém stavu je rovna 1.

Každou matici pravděpodobnostních přechodů ${\displaystyle P}$ můžeme přeuspořádat na následující blokovou matici:

${\displaystyle P={\begin{pmatrix}I&0\\R&Q\\\end{pmatrix}}.}$

je matice ve tvaru:

${\displaystyle \mathbf {N=(I-Q)^{-1}} }$

Inverzní matice existuje, pokud konverguje ${\displaystyle \mathbf {Q^{n}} }$ k nule a platí pro ni: ${\displaystyle \mathbf {(I-Q)^{-1}=I+Q+Q^{2}+...=\sum _{k=0}^{\infty }Q^{k}} }$

Prvky fundamentální matice N udávají, kolikrát se proces v průměru ocitne v tranzientních stavech.