Perceptron

Vstupy ${\displaystyle \mathbf {x} }$ mohou být výstupy z jiných neuronů či podněty z vnějšího prostředí. Každým i-tým vstupem získá neuron informaci ${\displaystyle x_{i}}$ v daném časovém okamžiku jako reálné číslo. Jedná-li se o vstupy z vnějšího prostředí, pak vektor vstupů ${\displaystyle \mathbf {x} }$ reprezentuje zkoumaný objekt, přičemž jednotlivé příznaky (${\displaystyle x_{i}}$) obsahují specifické informace o daném objektu (např. velikost, barva...)

Jednotlivé vstupní spoje mají udanou důležitost pomocí synaptických vah ${\displaystyle \omega _{i}}$. Jedná se o reálné hodnoty. Vektor vah musí být vždy kolmý na rozhodovací hranici. Možností nastavení vah tak, aby odpovídaly správnému řešení je nekonečně mnoho.

Další určující veličinou neuronu je tzv.práh ${\displaystyle \theta }$. Tento práh je někdy považován za speciální případ váhy spoje vedoucího do fiktivního neuronu s trvalým výstupem -1. Potom můžeme označit ${\displaystyle \omega _{0}=\theta }$ a ${\displaystyle x_{0}=1}$ a dostáváme ${\displaystyle \xi =\sum _{i=0}^{N}\omega _{i}\cdot x_{i}=\mathbf {\omega } \cdot x}$. Pokud převýší podnět práh, tedy ${\displaystyle \mathbf {\omega } \cdot x>0}$, pak bod ${\displaystyle x}$ leží v kladném nadprostoru vymezeném separující nadrovinou ${\displaystyle \mathbf {\omega } \cdot x=0}$, jinak leží v nadprostoru doplňkovém. [2]

Sigmoidální přenosová funkce

Skoková přenosová funkce

Přenosových funkcí S může být více druhů. Uvažujeme-li perceptron jako binární klasifikátor, pak je přenosovou funkcí skoková funkce. Skoková přenosová funkce vrací pro vstup menší než daná mez nulu, pro větší vrací jedna. ${\displaystyle f(x)=0}$ pro ${\displaystyle x<\Theta }$ a ${\displaystyle f(x)=1}$ pro ${\displaystyle x\geq \Theta }$

Dalším možným tvarem přenosové funkce S u perceptronu je tvar sigmoidy. Sigmoidální přenosová funkce je ve tvaru: ${\displaystyle S(\xi )={\frac {1}{1+exp(-\lambda \cdot \xi )}}}$ Tato funkce je monotónně rostoucí mezi dvěma asymptotickými hodnotami, kterými jsou nejčastěji 0 a 1. Největší derivaci má sigmoidální funkce v bodě 0. Výhoda sigmoidální funkce oproti skokové funkci je, že má ve všech bodech spojité derivace.

Dalšími typy přenosových funkcí je například přenosová funkce hyperbolické tangenty či radiální báze.

Rozhodovací hranice je určena vstupními vektory, pro které je síťový výstup n nulový. Jedná se tedy o čáru v prostoru vstupů, přičemž na jedné straně bude výstupní hodnota pro daný vstup 0 a na druhé 1. Vektor vah musí být vždy kolmý na rozhodovací hranici.

Učení perceptronu probíhá pomocí tréninku s učitelem, kdy je perceptronu nejdříve předložena množina příkladů se správným chováním, učící pravidlo následně nastaví váhy a práh tak, aby došlo k přiblížení výstupu sítě cíli. Rozhodovacích hranic může být nekonečný počet.

3 fáze učení jednoduchého perceptronu - A: je zvolen náhodně vektor vah ${\displaystyle \mathbf {w} }$ a k němu určena kolmá rozhodovací hranice (p), zjišťujeme výstup pro bod 1 - leží v oblasti s výstupem 1, i když má ležet v oblasti s výstupem 0 → B: odečteme vektor bodu 1 od vektoru vah ${\displaystyle \mathbf {w_{1}} }$ a získáme nový vektor vah ${\displaystyle \mathbf {w_{2}} }$ a k němu příslušnou rozhodovací hranici znázorněnou přímkou r, bod 2 je umístěn správně, bodu 3 přiřadí síť hodnotu 1 i když má dostat výstup 0 → C: odečteme vektor bodu 3 od vektoru vah ${\displaystyle \mathbf {w_{2}} }$ a získáme nový vektor vah ${\displaystyle \mathbf {w_{3}} }$ → nyní je již problém vyřešen - všem bodům je přiřazen odpovídající hodnota výstupu, řešením problému je tedy vektor vah ${\displaystyle \mathbf {w_{3}} }$ s příslušnou rozhodovací hranicí ${\displaystyle q}$.

Učení má následující fáze:

• inicializace úvodních hodnot - nastavení vah na náhodné hodnoty, nastavení prahu
• předložení vstupního vektoru síti - vstupní vektor je předložen síti a pomocí funkce ${\displaystyle Z=S(\xi )=S(\sum _{i=1}^{N}\omega _{i}\cdot x_{i}-\theta )}$ je zjištěna jeho výstupní hodnota
• vyhodnocení klasifikace vstupního vektoru - výstupní hodnota zjištěná sítí je porovnána se správnou výstupní hodnotou - pokud se nerovnají, je potřeba přikročit k adaptaci vah, jinak je možné pokračovat k dalšímu kroku
• adaptace vah a prahu
  • váhy perceptronu jsou adaptovány dle následujícího pravidla: ${\displaystyle w^{novy}=w^{stary}+e\cdot \mathbf {p} =w^{stary}+(t-a)\cdot \mathbf {p} }$, přičemž ${\displaystyle e=t-a}$ je chyba perceptronu, ${\displaystyle t}$ je zjištěná hodnota výstupu, ${\displaystyle a}$ je očekávaná hodnota výstupu. Konkrétně je-li vyhodnocen vstup jako 0, přestože má být vyhodnocen jako 1, pak novou váhu získáme přičtením vektoru tohoto vstupu k původní váze a naopak, je-li vyhodnocen vektor jako 1, i když má být vyhodnocen jako 0, pak získáme novou hodnotu vah tak, že od staré váhy odečteme vektor vstupu. Pokud je vektor vyhodnocen správně, pak váhy neupravujeme a pokračujeme k vyhodnocení dalšího ze vstupů v tréninkové množině.
  • úprava prahu perceptronu: ${\displaystyle b^{novy}=b^{stary}+e}$
• opakování kroků 2-4 pro všechny tréninkové vstupy[1]

Neuronová síť

• Stránky o neuronových sítích
• Stránky o neuronových sítích v podobě kurzu v angličtině
• Ukázkové kapitoly z knihy Neural networks design od T.Martin Hagana, včetně kapitoly o perceptronu
• On-line učebnice o neuronových sítích - 1.díl, ve slovenenštině
• On-line učebnice o neuronových sítích - 2.díl, ve slovenenštině