Markovův rozhodovací proces

Příklad jednoduchého Markovova rozhodovacího procesu se třemi stavy a dvěma akcemi.

Markovův rozhodovací proces je uspořádaná čtveřice ${\displaystyle (S,A,P_{\cdot }(\cdot ,\cdot ),R_{\cdot }(\cdot ,\cdot ))}$, kde

• ${\displaystyle S}$ je konečná množina stavů,
• ${\displaystyle A}$ je konečná množina akcí (alternativa: ${\displaystyle A_{s}}$ je konečná množina akcí dostupných ve stavu ${\displaystyle s}$),
• ${\displaystyle P_{a}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,\,a_{t}=a)}$ je pravděpodobnost, že akce ${\displaystyle a}$ ve stavu ${\displaystyle s}$ v čase ${\displaystyle t}$ povede v čase ${\displaystyle t+1}$ do stavu ${\displaystyle s'}$,
• ${\displaystyle R_{a}(s,s')}$ je okamžitý užitek (ne očekávaný okamžitý užitek) dosažený po přechodu stavu na ${\displaystyle s'}$ ze stavu ${\displaystyle s}$ s pravděpodobností přechodu ${\displaystyle P_{a}(s,s')}$.

(Teorie Markovových rozhodovacích procesů ve skutečnosti nevyžaduje, aby ${\displaystyle S}$ nebo ${\displaystyle A}$ byly konečné množiny, ale základní algoritmus níže předpokládá, že jsou konečné).

Hlavním úkolem Markovových rozhodovacích procesů je najít strategii pro uživatele: funkci ${\displaystyle \pi }$, která specifikuje akci ${\displaystyle \pi (s)}$, kterou zvolí uživatel ve stavu ${\displaystyle s}$. Je třeba poznamenat, že je-li jednou Markovův rozhodovací proces takto zkombinován se strategií, je pro každý stav určena akce a výsledná kombinace se chová jako Markovův řetězec.

Cílem je vybrat strategii ${\displaystyle \pi }$, která bude maximalizovat kumulativní funkci náhodných užitků, typicky očekávanou diskontovanou sumu za potenciálně nekonečnou dobu:

${\displaystyle \sum _{t=0}^{\infty }\gamma ^{t}R_{a_{t}}(s_{t},s_{t+1})}$    (kde zvolíme ${\displaystyle a_{t}=\pi (s_{t})}$)

kde ${\displaystyle \ \gamma \ }$ je diskontní faktor splňující ${\displaystyle 0<\gamma \ \leq \ 1}$. Typicky se blíží 1.

Díky Markovově vlastnosti může být optimální strategie pro tento speciální problém skutečně zapsána jako funkce pouze ${\displaystyle s}$, jak bylo předpokládáno výše.

Markovovy rozhodovací procesy lze řešit metodami lineárního programování nebo dynamického programování. Následující text ukazuje použití dynamického programování.

Předpokládejme, že známe funkci přechodu stavu ${\displaystyle P}$ a užitkovou funkci ${\displaystyle R}$. Chceme zjistit strategii, která maximalizuje očekávanou diskontovanou hodnotu.

Standardní skupina algoritmů používaná pro zjištění této optimální strategie vyžaduje uložení dvou polí indexovaných stavem: hodnota ${\displaystyle V}$, která obsahuje reálné hodnoty, a strategie ${\displaystyle \pi }$, která uchovává akce. Na konci algoritmu bude ${\displaystyle \pi }$ obsahovat řešení a ${\displaystyle V(s)}$ bude obsahovat diskontovanou sumu užitků, které budou (v průměru) získány provedením tohoto řešení ve stavu ${\displaystyle s}$.

Algoritmus má následující dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy, dokud nedojde k nějakým^[kdo?] změnám.

${\displaystyle \ \pi (s):=\arg \max _{a}\{R_{a}(s,s')+\gamma \sum _{s'}P_{a}(s,s')V(s')\}}$

${\displaystyle \ V(s):=R(s)+\gamma \sum _{s'}P_{\pi (s)}(s,s')V(s')\ }$

R(s) je zde ${\displaystyle R_{\pi (s)}(s)}$. Pořadí kroků závisí na variantě algoritmu. Kroky se buď mohou provádět pro všechny stavy najednou, nebo pro každý stav popořadě, a pro některé stavy častěji než pro jiné. Dokud není žádný stav permanentně vyloučen ze žádného z kroků, algoritmus má šanci dospět ke správnému řešení.

Terminologie a notace pro Markovovy rozhodovací procesy není jednoznačná. Existují dva hlavní proudy; první, zaměřený na maximalizační problémy z oblastí jako je ekonomie, používá termíny jako je akce, užitek, hodnota a označuje diskontní faktor ${\displaystyle \beta }$ nebo ${\displaystyle \gamma }$; druhý je zaměřený na minimalizační problémy z oblastí techniky a navigace a používá termíny jako je kontrola, cena, cena změny, a diskontní faktor označuje ${\displaystyle \alpha }$. Liší se i zápisy pro pravděpodobnost přechodu.

v tomto článku	alternativa	komentář
akce ${\displaystyle a}$	řízení ${\displaystyle u}$
užitek ${\displaystyle R}$	cena ${\displaystyle g}$	${\displaystyle g}$ je negativní ${\displaystyle R}$
hodnota ${\displaystyle V}$	cena změny ${\displaystyle J}$	${\displaystyle J}$ je negativní ${\displaystyle V}$
strategie ${\displaystyle \pi }$	strategie ${\displaystyle \mu }$
diskontní faktor ${\displaystyle \ \gamma \ }$	diskontní faktor ${\displaystyle \alpha }$
pravděpodobnost přechodu ${\displaystyle P_{a}(s,s')}$	pravděpodobnost přechodu ${\displaystyle p_{ss'}(a)}$

Někdy se pravděpodobnost přechodu zapisuje jako${\displaystyle Pr(s,a,s')}$, ${\displaystyle Pr(s'|s,a)}$ nebo méně často ${\displaystyle p_{s's}(a).}$

V tomto článku byl použit překlad textu z článku Markov decision process na anglické Wikipedii.

• R. Bellman. A Markovian Decision Process. Journal of Mathematics and Mechanics 6, 1957.
• R. E. Bellman. Dynamic Programming. Princeton University Press, Princeton, NJ, 1957. Dover paperback edition (2003), ISBN 0-486-42809-5.
• Ronald A. Howard Dynamic Programming and Markov Processes, The M.I.T. Press, 1960.
• D. Bertsekas. Dynamic Programming and Optimal Control. Volume 2, Athena, MA, 1995.
• M. L. Puterman. Markov Decision Processes. Wiley, 1994.
• H.C. Tijms. A First Course in Stochastic Models. Wiley, 2003.
• Sutton, R. S. and Barto A. G. Reinforcement Learning: An Introduction. The MIT Press, Cambridge, MA, 1998.
• J.A. E. E van Nunen. A set of successive approximation methods for discounted Markovian decision problems. Z. Operations Research, 20:203-208, 1976.
• S. P. Meyn, 2007. Control Techniques for Complex Networks, Cambridge University Press, 2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie.
• S. M. Ross. 1983. Introduction to stochastic dynamic programming. Academic press

• Dynamické programování

• MDP Toolbox for Matlab An excellent tutorial and Matlab toolbox for working with MDPs.
• Reinforcement Learning: An Introduction by Richard S. Sutton and Andrew G. Barto
• SPUDD A structured MDP solver for download by Jesse Hoey
• Learning to Solve Markovian Decision Processes by Satinder P. Singh