Earleyův analyzátor

Earleyův algoritmus patří stejně jako algoritmus CYK, do třídy tabulkových metod syntaktické analýzy (anglicky chart parsers). Při načítání řetězce zleva doprava provádí syntaktickou analýzu zdola nahoru na základě predikcí shora dolů. Výsledky jsou z dříve získaných částečných výsledků konstruovány technikou dynamického programování.

Aby se vyhnul backtrackingu, pracuje Earleyův algoritmus s množinou Earleyových položek (anglicky Earley items) nebo krátce položek, což jsou pravidla gramatiky, do jejichž pravé strany je vložena tečka, která identifikuje aktuální pozici v pravidle. Každá položka navíc obsahuje informaci, od které pozice ve vstupním řetězci se uplatní. Během práce algoritmu Earleyovy položky odrážejí dosud použitá pravidla a slouží pro predikci dalších pravidel. Analýzou vstupního řetězce, který patří do jazyka, vznikne položka, která odráží odvození řetězce z počátečního symbolu gramatiky.

V následujícím popisu se používá toto značení:

• velká písmena ze začátku abecedy A, B, atd. a symbol S reprezentují jeden neterminální symbol (S je počáteční symbol),
• X_k je jeden terminální nebo neterminální symbol,
• malá písmena t_n reprezentují jeden terminální symbol,
• malá řecká písmena α, β, γ reprezentují libovolný řetězec složený z terminálních a neterminálních symbolů (včetně prázdného řetězce označovaného ε).

Earleyovy položky se někdy rozdělují podle vstupní pozice (tj. indexu za tečkou) do různých množin označovaných S(i), kde i je vstupní pozice. Počáteční pozice položky (h) se pak obvykle nepíše jako index u šipky, ale do závorek, ve kterých je položka zapsána: (A → X₁ … X_p • X_{p + 1} … X_q, h).

Analyzátor začíná s množinou položek S(0) obsahující jedinou položku (S’ → • S, 0), kde S je vlastní počáteční symbol dané gramatiky, a S’ je přidaný pomocný počáteční symbol. Operace predikci, načtení a kompletaci lze pak popsat takto:

• Predikce: pokud v S(i) existuje položka tvaru (X → α • B β, h) (kde h je počáteční pozice definovaná výše) s terminálním symbolem bezprostředně za tečkou, pak projdeme všechna pravidla, která mají tento symbol B na levé straně a do S(i) přidáme pro každé pravidlo tvaru (B → β) položku (B → • β, i).
• Načtení: jestliže další symbol ve vstupním řetězci je t_i+1, pro každou položku v S(i) tvaru (X → α • t_i+1 β, h), přidáme (X → α t_i+1 • β, h) do S(i+1).
• Kompletace: pro každou položku v S(i) tvaru (A → α •, h), najdeme v S(h) položky tvaru (B → β • A γ, g), a přidáme (B → β A • γ, i) do S(i).

Pseudokód je převzatý z publikace[10], kterou napsal Daniel Jurafsky a James H. Martin. Earleyovy položky se nazývají state, jejich množina je S; predikát FINISHED je pravdivý, pokud tečka v položce je na konci pravé strany, funkce NEXT_ELEMENT_OF vrací první symbol za tečkou, počáteční symbol je #.

DECLARE ARRAY S;

function INIT(words)
    S ← CREATE_ARRAY(LENGTH(words) + 1)
    for k ← from 0 to LENGTH(words) do
        S[k] ← EMPTY_ORDERED_SET

function EARLEY_PARSE(words, grammar)
    INIT(words)
    ADD_TO_SET((# → •S, 0), S[0])
    for k ← from 0 to LENGTH(words) do
        for each state in S[k] do  { S[k] se v této smyčce může zvětšovat }
            if not FINISHED(state) then
                if NEXT_ELEMENT_OF(state) is a nonterminal then
                    PREDICTOR(state, k, grammar)         { neterminál }
                else do
                    SCANNER(state, k, words)             { terminál }
            else do
                COMPLETER(state, k)
        end
    end
    return chart

procedure PREDICTOR((A → α•Bβ, j), k, grammar)
    for each (B → γ) in GRAMMAR_RULES_FOR(B, grammar) do
        ADD_TO_SET((B → •γ, k), S[k])
    end

procedure SCANNER((A → α•aβ, j), k, words)
    if a ⊂ PARTS_OF_SPEECH(words[k]) then
        ADD_TO_SET((A → αa•β, j), S[k+1])
    end

procedure COMPLETER((B → γ•, x), k)
    for each (A → α•Bβ, j) in S[x] do
        ADD_TO_SET((A → αB•β, j), S[k])
    end

Pokud implementace Earleyova algoritmu používá seznam množin a ignoruje index nezpracovaného vstupního symbolu v položkách, může prohlížet množiny z tohoto seznamu postupně, díky čemuž inkrementálně analyzuje vstupní symboly t_i pro rostoucí index i.

Earleyovy položky v množině se obvykle prohlíží v tom pořadí, v jakém byly přidávány, každá pouze jednou. Pokud má algoritmus správně fungovat pro gramatiky obsahující pravidla s prázdnou pravou stranou, musí být upraven, jak je uvedeno dále. Pro procházení množiny položek stačí fronta, pro efektivní kontrolu, že fronta danou položku dosud neobsahuje, je vhodné položky z každé fronty umístit do asociativního pole. Efektivní kompletace položek, které nemají tečku na konci pravidla, vyžaduje ještě jedno asociativní pole, které obsahuje seznamy takových položek; klíčem je dvojice (X_p, i), složená ze symbolu ležícího v těchto položkách bezprostředně za tečkou a z indexu nezpracovaného terminálního symbolu. Pro efektivní predikci nové položky je třeba s každým neterminálním symbolem také svázat seznam všech pravidel, jejichž levou stranu tvoří tento symbol.

Pokud se jako výše zmíněné asociativní pole použije hašovací tabulka, pak krok zahrnující konstrukci nové Earleyovy položky a pokus o její přidání do množiny položek lze vykonat s asymptotickou složitostí O(1).

Earley ve svém článku[2] ukázal, že v obecném případě:

• i-tá množina obsahuje O(i) položek, protože jejich počet lze omezit součinem počtu možných hodnot indexu h (závislým na i), počtu pravidel a počtu možných umístění tečky na jejich pravých stranách (poslední dva činitelé jsou konstanty závislé na dané gramatice, ale nezávislé na i);
• provedení načtení nebo predikce znamená O(1) kroků pro každou Earleyovu položku v libovolné množině, tedy v i-té množině položek se provede O(i) kroků;
• akce kompletace provádí O(i) kroků pro každou zpracovanou položku, protože v nejhorším případě se přidává O(h) položek patřících do h-té množiny, přičemž h = O(i), takže v i-té množině položek se provede O(i²) kroků;
• sečtením pro i od 0 do n dostaneme pro celkový počet kroků O(n³) a pro počet položek O(n²).

Ve stejném článku je také dokázáno, že pro jednoznačné gramatiky akce kompletace provádí v i-té množině položek O(i) kroků, což dává kvadratickou složitost algoritmu, a že třída gramatik, pro které Earleyův algoritmus funguje v lineárním čase, pokrývá všechny gramatiky, u nichž lze počet položek v každé množině shora omezit konstantou. Do této třídy naleží právě všechny gramatiky LR(k), kromě některých gramatik s pravou rekurzí, což jsou gramatiky většiny programovacích jazyků.

Earleyův algoritmus funguje obzvlášť efektivně pro gramatiky s levou rekurzí. Uvažujme například analýzu řetězce aaa v gramatice

S → Sa

S → a

Earleyův algoritmus tvoří následující položky:

Derivační strom řetězce aaa v gramatice s levou rekurzí

Earleyova položka	Zdroj přidání do množiny položek
[S’ →0 •0 S]	inicializace
[S →0 •0 Sa]	predikce S z položky [S’ →0 •0 S], a pak z položky [S →0 •0 Sa]
[S →0 •0 a]	predikce S z položky [S’ →0 •0 S], a pak z položky [S →0 •0 Sa]
[S →0 a •1]	načtení a z položky [S →0 •0 a]
[S’ →0 S •1]	kompletace S z položky [S’ →0 •0 S]
[S →0 S •1 a]	kompletace S z položky [S →0 •0 Sa]
[S →0 Sa •2]	načtení a z položky [S →0 S •1 a]
[S’ →0 S •2]	kompletace S z položky [S’ →0 •0 S]
[S →0 S •2 a]	kompletace S z položky [S →0 •0 Sa]
[S →0 Sa •3]	načtení a z položky [0S → S •2 a]
[S’ →0 S •3]	kompletace S z položky [S’ →0 •0 S]
[S →0 S •3 a]	kompletace S z položky [S →0 •0 Sa]

Počet položek pro každou hodnotu indexu u tečky je 3, takže algoritmus funguje v lineárním čase.

Pro porovnaní použití gramatiky s pravou rekurzí

S → aS

S → a

pro analýzu téhož řetězce aaa vede k vytvoření následujících Earleyových položek:

Derivační strom řetězce aaa v gramatice s pravou rekurzí

Earleyova položka	Zdroj přidání do množiny položek
[S’ →0 •0 S]	inicializace
[S →0 •0 aS]	predikce S z položky [S’ →0 •0 S]
[S →0 •0 a]	predikce S z položky [S’ →0 •0 S]
[S →0 a •1 S]	načtení a z položky [S’ →0 •0 aS]
[S →0 a •1]	načtení a z položky [S’ →0 •0 a]
[S →1 •1 aS]	predikce S z položky [S →0 a •1 S]
[S →1 •1 a]	predikce S z položky [S →0 a •1 S]
[S’ →0 S •1]	kompletace S z položky [S’ →0 •0 S]
[S →1 a •2 S]	načtení a z položky [S’ →1 •1 aS]
[S →1 a •2]	načtení a z položky [S’ →1 •1 a]
[S →2 •2 aS]	predikce S z položky [S →1 a •2 S]
[S →2 •2 a]	predikce S z položky [S →1 a •2 S]
[S →0 aS •2]	kompletace S z položky [S’ →0 a •1 S]
[S’ →0 S •2]	kompletace S z položky [S’ →0 •0 S]
[S →2 a •3 S]	načtení a z položky [S’ →2 •2 aS]
[S →2 a •3]	načtení a z položky [S’ →2 •2 a]
[S →3 •3 aS]	predikce S z položky [S →2 a •3 S]
[S →3 •3 a]	predikce S z položky [S →2 a •3 S]
[S →1 aS •3]	kompletace S z položky [S’ →1 a •2 S]
[S →0 aS •3]	kompletace S z položky [S’ →0 a •1 S]
[S’ →0 S •3]	kompletace S z položky [S’ →0 •0 S]

Počet položek s danou hodnotou indexu u tečky roste lineárně se zvětšováním tohoto indexu; algoritmus má pro tyto gramatiky kvadratickou časovou složitost.

Pokud Earleyův algoritmus prochází položky z i-té množiny pouze jednou a v pořadí, v jakém byly přidávány, pak může fungovat nesprávně pro gramatiky, které obsahují pravidla s prázdnou pravou stranou (nazývané také ε-pravidla, protože ε tradičně označuje prázdný řetězec symbolů gramatiky). Při kompletaci položky [E →_i •_i], která odpovídá prázdnému pravidlu E → ε, je třeba prohlédnout i právě vytvářenou i-tou množinu. Pokud položka [X →_h α •_i Eη] bude do ní přidána až po kompletaci položek [E →_i •_i], pak kompletace nikdy nepřidá položku [X →_h αE •_i η]. Nebudou také přidány žádné položky přímo i nepřímo z ní vyplývající. To může vést k odmítnutí správného vstupního řetězce, jak ukazuje následující příklad použití gramatiky

S → E A A A

A → E

E → ε

pro analýzu prázdného řetězce ε. V množině Earleyových položek jsou červeně označeny položky, které algoritmus měl přidat do množiny, ale nepřidal.

Pravidlový derivační strom prázdného řetězce v dané gramatice

Earleyova položka	Zdroj přidání do množiny položek
[S’ →0 •0 S]	inicializace
[S →0 •0 E A A A]	predikce S z položky [S’ →0 •0 S]
[E →0 •0]	predikce E z položky [S →0 •0 E A A A]
[S →0 E •0 A A A]	kompletace E z položky [S →0 •0 E A A A]
[A →0 •0 E]	predikce A z položky [S →0 E •0 A A A]
[A →0 E •0]	ne kompletace E z položky [A →0 •0 E]
[S →0 E A •0 A A]	ne kompletace A z položky [S →0 E •0 A A A]
[S →0 E A A •0 A]	ne kompletace A z položky [S →0 E A •0 A A]
[S →0 E A A A •0]	ne kompletace A z položky [S →0 E A A •0 A]
[S’ →0 S •0]	ne kompletace S z položky [S’ →0 •0 S]

Bylo publikováno několik řešení tohoto problému:

• A. V. Aho a J. D. Ullman[11] doporučují opakovaně procházet smyčkou predikce a kompletace všech položek z i-té množiny tak dlouho, dokud postupné iterace zvětšují její velikost;
• Earley[2] navrhl pamatovat si při kompletaci položek neterminální symboly, z nichž lze vyprodukovat prázdný řetězec (anglicky nullable symbols); tyto symboly se poznají tak, že stojí na levé straně pravidla s prázdnou pravou stranou nebo složeného jen ze symbolů přepsatelných na prázdný řetězec, a při doplňování do množiny položek [A →_h α •_i Bη], pokud ze symbolu B stojícího po tečce se dá vyprodukovat prázdný řetězec, doplníme do množiny také položku [A →_h αB •_i η];
• podobné řešení J. Aycocka a R. N. Horspoola[12] spočívá v změně predikce položek na „pokud existuje položka [A →_h α •_i Bη], pak pro každé pravidlo B → β přidej položku [B →_i •_i β]; pokud ze symbolu B lze vyprodukovat prázdný řetězec, pak přidej také položku [A →_h αB •_i η]”, přičemž množinu neterminálních symbolů přepsatelných na prázdný řetězec lze snadno stanovit předem;
• každou gramatiku, z jejíhož počátečního symbolu se nedá vyprodukovat prázdný řetězec, lze upravit na ekvivalentní gramatiku bez prázdných pravidel[13].

Výše popsaný algoritmus pouze rozpoznává, zda daný řetězec terminálních symbolů tvoří správnou větu dané bezkontextové gramatiky (takový algoritmus se anglicky nazývá recognizer), ale nevytváří syntaktický strom. Bylo navrženo několik způsobů rozšíření algoritmu na analyzátor. Komplikaci představuje počet derivačních stromů, který může být až exponenciální funkcí délky vstupní věty, a pro gramatiky s cykly může být i nekonečný. Existují však způsoby kódování všech derivačních stromů pomocí datových struktur o velikosti, která je polynomiální funkcí délky vstupní věty.

Správné derivační stromy řetězce aaa
Chybné derivační stromy řetězce aaa

V Earleyových článcích[1][2] je stručně popsáno, jak rozšířit algoritmus rozpoznávání na analyzátor přidáním ukazatele ke každému neterminálnímu symbolu na pravé straně pravidel v položkách Earleyovy množiny, který bude ukazovat na položku, jež způsobila kompletaci tohoto symbolu: při každé kompletaci, při které vznikne položka tvaru [B →_g βA •_i γ] se tvoří ukazatel na položku [A →_h α •_i]. M. Tomita[14][15] však upozornil, že se při tom neuvažují vztahy mezi symboly, takže pro gramatiku

S → S S

S → a

parser navržený Earleyem při analýze vstupního řetězce aaa vrátí nejen správné derivační stromy řetězce aaa, ale také derivační stromy, které odpovídají řetězcům aa a aaaa.

Tomu je možné zabránit různými způsoby; je relativně jednoduché vzít úplné položky z tabulky, prohledat je shora dolů a pro vytvoření derivačního lesa použít pouze ty, které patří k sobě. Jiná možnost je doplnit položky [B →_g βA •_i γ] vzniklé kompletací ne jedním, ale dvojicí ukazatelů: do položky [B →_g β •_h Aγ] i do položky [A →_h α •_i]. Naivní aplikace této myšlenky doplněním uvedených dvojic ukazatelů do sady návěstí rozlišujících položky však může vést ke zvýšení časové složitosti nad n³, což ukázal M. Johnson[16] následujícím příkladem: pro gramatiku

S → S … S (m + 2 opakování symbolu S)

S → S S

S → a

analyzuje Earleyův algoritmus s takto definovanými položkami vstupní řetězec a … a (n + 1 opakování symbolu a, přičemž n > m) v čase Ω(n^m).

V. A. Lapšin[17] navrhl ukládat množiny takovýchto dvojic ukazatelů v asociativním poli, v němž budou klíčem Earleyovy položky, spolu s algoritmem vytváření derivačních stromů z tabulky položek za použití těchto ukazatelů. Časová složitost tohoto analyzátoru bez budovaní derivačního stromu nepřekračuje řád n³.

E. Scottová[18] publikovala jiný algoritmus, který v čase O(n³) doplňuje Earleyovy položky ukazatelem na uzel společně baleného lesa analýzy (anglicky shared packed parse forest, SPPF) používaného v GLR analyzátorech, v nichž každý uzel má nejvýše dva syny. Každá Earleyova položka je rozšířena o ukazatel na uzel sdíleného pakovaného derivačního lesa označený trojicí (s, i, j), kde s je symbol nebo LR(0) položka (tj. přepisovací pravidlo s tečkou) a i a j udávají, jaká část vstupního řetězce je generována tímto uzlem. Obsahem uzlu je buď dvojice ukazatelů na potomka udávajících jedinou derivaci, nebo seznam „pakovaných“ uzlů, z nichž každý obsahuje dvojici ukazatelů a reprezentuje jednu derivaci. SPPF uzly jsou unikátní (existuje vždy pouze jeden s daným označením), ale pro nejednoznačné analýzy mohou obsahovat více než jednu derivaci. Takže i kdyby určitá operace nepřidala Earleyovu položku (protože už existuje), stále může přidat derivaci k derivačnímu lesu položky. Platí:

• Predikované položky mají nulový SPPF ukazatel.
• Analyzátor vytváří SPPF uzel reprezentující neterminál, který právě analyzuje.
• Když pak analyzátor nebo completer posouvá položku vpřed, přidá derivaci, jejíž potomci jsou uzlem z položky, jejíž tečka byla posunuta vpřed a jeden pro nový symbol, přes který byl posunut vpřed (neterminál nebo dokončená položka).
• SPPF uzly nejsou nikdy označeny dokončenou LR(0) položkou ale vytvořeným symbolem, takže všechna odvození jsou zkombinovaná pod jeden uzel bez ohledu na to, ze kterého přepisovacího pravidla pocházejí.

D. Grune a C. J. H. Jacobs[19] navrhli metodu konstrukce derivačního stromu z množiny položek za pomocí Ungerova syntaktického analyzátoru.

Operace predikce v Earleyově algoritmu může využívat náhled (anglicky lookahead). Pak funguje takto: „pokud existuje položka [A →_h α •_i Bη], pak pro každé pravidlo B → β přidej položku [B →_i •_i β], pokud množina FIRST řetězců symbolu β obsahuje terminální symbol t_i”. Jako obvykle při používání náhledu, je vhodné umístit na konec analyzovaného řetězce symbolů zarážku t_n = $, která nepatří do množiny terminálních symbolů.

V původním Earleyově článku[2] bylo navrženo používání náhledu také v operacích kompletace. Na rozdíl od predikce se při kompletaci nedá předem stanovit množina přípustných nástupců, pokud se nebere v úvahu jeho méně efektivní a omezená verze založená na množinách FOLLOW. Efektivní náhled při kompletaci spočívá v následujících modifikacích algoritmu:

• množina přípustných nástupců počáteční položky [S’ →₀ •₀ S] má jeden prvek – zarážku $;
• při operaci načtení nově vzniklá položka [A →_h αt_i •_i+1 η] dědí množinu přípustných nástupců svého předchůdce [A →_h α •_i t_iη];
• při operaci predikce položka [B →_i •_i β] na základě položky [A →_h α •_i Bη] o množině přípustných nástupců N_A zjistíme přípustné nástupce nově vzniklé položky jako množinu FIRST(Bη), pokud FIRST(Bη) neobsahuje prázdný symbol ε; nebo jako sumu množin FIRST(Bη) ∪ N_A, pokud FIRST(Bη) prázdný symbol ε obsahuje;
• při operaci kompletace položky [A →_h α •_i] se nová položka [B →_g βA •_i γ] přidává jen tehdy, pokud množina přípustných nástupců položek [A →_h α •_i] obsahuje i-tý terminální symbol t_i.

Je možné také používat náhled více než jednoho terminálního symbolu.

Varianty Earleyova algoritmu s náhledem používajícím různý počet symbolů při predikci a kompletaci studovali M. Bouckaert, A. Pirotte a M. Snelling[20], kteří simulacemi zjistili, že nejlepší výsledky přináší náhled jednoho symbolu při predikci, který zmenšuje počty položek o 20–50% oproti verzi bez náhledu. Používání jakéhokoli náhledu při kompletaci však má větší režii než zisk z něho plynoucí. Mnoho implementací Earleyova algoritmu vůbec náhled nepoužívá, takže používají přímo danou gramatiku bez předzpracovávání spočívajícím v nalezení množin FIRST.

F. C. N. Pereira a D. H. D. Warren ukázali[21], jak zobecnit tabulkové metody syntaktické analýzy pro libovolné gramatické formalismy založené na unifikaci, včetně kontextových. Zahájil vlnu článků popisujících verze Earleyova algoritmu pro formalismus unifikací PATR-II[22], pro gramatiky se vkládáním stromů (anglicky Tree Adjoining Grammar, TAG)[23][24], S-atributové gramatiky (anglicky S-attribute grammar)[25], hypergrafové gramatiky (anglicky hypergraph grammar)[26], sekvenčně indexované gramatiky (anglicky sequentially indexed grammars)[27] atd. Technika magických množin (anglicky magic sets)[28] v deduktivních databázích je také založena na myšlenkách Pereiry a Warrena.

S. L. Graham a M. A. Harrison[29] poukázali na společné rysy Earleyova algoritmu a algoritmu CYK a společně s V. R. Ruzzem vytvořili algoritmus syntaktické analýzy, který je hybridem těchto dvou algoritmů[30].

J. Aycock a N. Horspool[12][31] ukázali, jak zkonstruovat deterministický konečný automat podobný analyzátoru LR(0), který analyzuje vstupní data několikanásobně rychleji než tradiční implementace Earleyova algoritmu.

A. Päseler[32] vytvořila variantu Earleyova algoritmu, která místo seznamů terminálních symbolů analyzuje mřížky slov (anglicky word lattice). Mřížky slov jsou užitečné při rozpoznávání řeči a analýze textů psaných bez mezer mezi výrazy, např. v jazycích Dálného východu.

Mřížka slov ukázky řeči v angličtině

A. Stolcke[33] publikoval algoritmus, který vrací nejpravděpodobnější syntaktickou analýzu vstupního řetězce pro danou pravděpodobnostní bezkontextovou gramatiku.

G. Lyon[34] a B. Langa[35] vytvořil varianty Earleyova algoritmu, které fungují pro vstupní věty s chybějícími, nadbytečnými nebo neznámými fragmenty.

V polských wikizdrojích je zdrojový kód Earleyova analyzátoru v jazyce Python, který pracuje bez náhledu, zpracovává prázdná pravidla podle Earleyova návrhu[2], a vytváří syntaktické stromy podle Lapšinova návrhu[17]. Výstupem programu jsou všechny syntaktické stromy pro zadaný vstupní řetězec zapsané v závorkové notaci.

Tento program nalezne čtyři derivační stromy nejednoznačné věty time flies like an arrow. Výsledek vykreslený pomocí programu phpSyntaxTree[36] vypadá takto:

časové mouchy mají rády šíp	čas letí jako šíp	měř čas much podobných šípu	měř čas much jako šíp
Derivační stromy věty time flies like an arrow