Teorie odpovědi na položku

Jedny z prvních prací zabývajících se IRT se začaly postupně objevovat v 50. a 60. letech. Mezi tři nejvýznamnější průkopníky této teorie patří psycholog, odborník na psychometrii, Frederic M. Lord, dále dánský matematik Georg Rasch a rakouský sociolog Paul Felix Lazarsfeld, kteří nezávisle na sobě uskutečnili paralelní výzkumy. K rozšíření IRT však došlo až v letech 70. a 80., tedy v době, kdy byl vědcům usnadněn přístup k osobním počítačům a jejich možnostem nezbytným pro využití IRT.

Účelem IRT je, mimo jiné, poskytnout systém pro evaluaci hodnotících prací a individuálních položek těchto prací. Nejčastější uplatnění nachází IRT ve vzdělávání, kde je v rámci psychometrie využívána na vytváření a zdokonalování (zkouškových) testů, zachovávání již vytvořených testových položek a vyrovnávání obtížnosti testů vytvořených v rámci jedné série (umožňuje například srovnání mezi výsledky v průběhu určitého času).

IRT modely bývají často také označovány jako modely s latentními rysy (latent trait models). Termín latentní je používán jako zdůraznění, že nespojité odpovědi na položku jsou považovány za pozorovatelné manifestace hypotetizovaných rysů, konstruktů, či atributů ne přímo pozorovaných, ale takových, jež musí být vydedukovány z manifestovaných odpovědí. Modely s latentními rysy byly vytvořeny v sociologii^[zdroj?!], ale ve skutečnosti jsou identické s IRT modely. Ostatně i v rámci CTT je úroveň této latentní proměnné označována jako true score.

Obecně je IRT považována za vylepšení^[zdroj?!] klasické testové teorie (CTT). Pro úlohy, které mohou být uskutečněny pomocí CTT, poskytuje IRT větší flexibilitu a propracovanější informace. Některé aplikace, jako například počítačové adaptivní testování, jsou umožněny pouze pomocí IRT a nemohou být adekvátně využity s pomocí CTT. Další výhodou IRT oproti CTT je vyšší reliabilita hodnocení^[zdroj?!].

IRT pracuje se třemi předpoklady:

1. Lineární latentní rys označovaný jako θ.
2. Nezávislost vlastnosti položek na vlastnostech celého testu; tedy jednodimenzionalita označovaná občas jako lokální nezávislost.
3. Odpověď respondenta na položku může být modelována pomocí funkce odpovědi na položku (item response function - IRF).

Podrobněji o implicitních předpokladech pojednává např. výukový text SCIO. [1]

Tento latentní rys je považován za měřitelný na škále (tento předpoklad vychází již z pouhé existence samotného testu). Typicky se umisťuje na standardní škálu s průměrem 0 a směrodatnou odchylkou 1. Nezávislost položek znamená, že nejsou v žádném vzájemném vztahu, s výjimkou toho, že měří stejný rys, který odpovídá předpokladu lineárnosti, ale samostatně, neboť vícerozměrnosti mohou být způsobeny dalšími problémy. Téma rozměrnosti je často zkoumáno faktorovou analýzou, zatímco IRF je stavebním kamenem IRT a je tak centrem mnoha výzkumů a odborných publikací.

IRF udává pravděpodobnost, s jakou respondent na určité znalostní úrovni odpoví správně. U osob na nižší znalostní úrovni je pravděpodobnost nižší, zatímco u osob na vyšší úrovni je pravděpodobnost správné odpovědi naopak vyšší. Například studenti s nadprůměrnými výsledky v matematice mají vysokou pravděpodobnost, že odpoví na položku z matematiky správně. Přesná hodnota pravděpodobnosti závisí, mimo jiné, na množině parametrů položek. V případě logistického modelu se třemi parametry (Three parameter logistic model -3PL), pravděpodobnost správné odpovědi na položku i je:

${\displaystyle p_{i}({\theta })=c_{i}+{\frac {1-c_{i}}{1+e^{-a_{i}({\theta }-b_{i})}}}}$

kde Φ je parametr respondenta (schopnosti) a ${\displaystyle a_{i}}$, ${\displaystyle b_{i}}$ a ${\displaystyle c_{i}}$ jsou parametry položky. Parametry položky determinují tvar IRF a v některých případech mají i přímé vysvětlení. Parametr ${\displaystyle b_{i}}$ představuje obtížnost. Je bodem na θ, kde IRF dosahuje maximální strmosti. Je nutno poznamenat, že tento model měří obtížnost položky a rysy respondenta v rámci jednoho kontinua. Parametr ${\displaystyle a_{i}}$ představuje rozlišovací schopnost položky, tj. míru do jaké položka rozlišuje respondenty v různých oblastech latentního kontinua. Tento parametr charakterizuje zakřivení IRF v jejím maximu. Například pokud ${\displaystyle a_{i}=1,7}$, znamená to průměrnou rozlišovací schopnost, respondenti na nižší úrovni schopností odpoví s menší pravděpodobností správně než respondenti na vyšší úrovni. Pro položky typu multiple choice je využíváno parametru ${\displaystyle c_{i}}$. Je využíván při pokusech analyzovat dopad tipování na pravděpodobnost správné odpovědi. Indikuje pravděpodobnost, že jedinci na nízké úrovni schopností dosáhnou správné odpovědi náhodně, matematicky vyjádřeno jako nízká asymptota. U čtyřpoložkového multiple choice existuje pravděpodobnost 1/4, že respondent s velmi nízkou úrovní schopností uhodne správnou odpověď, a tudíž ${\displaystyle c_{i}}$ bude přibližně 0,25. Tento přístup předpokládá, že všechny položky jsou stejně přesvědčivé, neboť pokud by jedna položka nedávala vůbec smysl, byl by i respondent na nízké úrovni schopen tuto položku předem vyloučit, a tak odhadovací metody založené na IRF parametru berou tuto možnost v úvahu a provádějí odhad ${\displaystyle c_{i}}$ na základě dat získaných pozorováním.

Obecně lze IRT modely roztřídit do dvou skupin: jednorozměrné (lineární) a vícerozměrné. Jednorozměrné modely vyžadují pouze jediný rys (schopnost), označovaný jako θ. Vícerozměrné IRT modely vytvářejí hypotézy odpovědí na základě několika různých rysů. Nicméně, vzhledem ke značně zvýšené složitosti, většina IRT výzkumů a aplikací využívá jednorozměrný model.

IRT modely mohou být též kategorizovány na základě počtu skórovaných odpovědí. Typické multiple choice položky jsou dichotomií. Přestože zde mohou být čtyři či pět možností, stále jsou skórovány jako správné/ nesprávné (dobře/ špatně). Další skupina modelů využívá polytomní výstupy, kde je každé odpovědi přiděleno skóre různé hodnoty. Nejčastější jsou položky Likertova typu, např. „Ohodnoťte na škále od 1 do 5.“

U všech druhů modelů je důležité vyhodnotit, zdali je model vhodný pro konkrétní typ dat. Pokud položka nevyhovuje žádnému typu modelů z důvodu její nízké kvality, například z důvodu zavádějícího distraktoru v testu typu multiple choice, měly by být takové položky z testu odstraněny a přepsány. Pokud se setkáme s větším množstvím nevyhovujících položek, je třeba znovu zvážit validitu testu a případně upravit některé specifikace testu. Nevyhovující položky tak poskytují neocenitelný diagnostický nástroj pro tvůrce testů, který umožňuje vytvářet hypotézy, na nichž jsou založeny testové specifikace pro empirické testování dat.

Existuje několik metod pro posuzování vhodnosti, jako například chi-square statistika (Χ² rozdělení), nebo její standardizovaná verze. Dvou- a tříparametrové IRT modely upravují rozlišovací schopnost položek a zajišťují, že model odpovídá lépe datům. Tyto odpovídající statistiky postrádají potvrzující diagnostickou hodnotu, kterou nacházíme u jednoparametrových modelů, kde je idealizovaný model určen předem. Data nemohou být odstraněna na základě nevhodnosti modelu, ale spíše na základě diagnostikování relevantního důvodu pro nevhodnost modelu, jako například pokud řešitel anglicky psaného vědeckého testu není rodilým mluvčím. O takovém kandidátovi lze argumentovat, že nepatří do stejné skupiny osob v závislosti na počtu rozměrů testu a ačkoli parametr IRT je argumentován jako nezávislý na vzorku, nejsou tyto osoby nezávislou populací, a tudíž tato nevhodnost je relevantní při výstavbě testu a neruší platnost testu nebo modelu. Takový přístup je základní pomůckou validace. Ve dvou- a tříparametrových modelech, kde je psychometrický model přizpůsoben datům, musí být budoucí administrace testu zkontrolována zdali odpovídá modelu využitému při počáteční validaci, aby byla potvrzena hypotéza, že skóre z každé další administrace lze generalizovat i na další administrace. Pokud je pro každou administraci určen jiný model, aby data co nejlépe modelu odpovídala, dochází poté k měření různých latentních rysů a testové skóre nelze v rámci administrací považovat za srovnatelné.

Jedním z největších přínosů teorie odpovědi na položku je rozšíření konceptu reliability. Tradičně reliabilita odkazuje k přesnosti měření (tj. k míře do jaké je měření bez chyb). A tradičně je měřena pomocí jediného indexu, definovaného různými způsoby, jako například poměr mezi skutečným a pozorovaným rozptylem skórů. Tento index je užitečný při charakterizování průměrné spolehlivosti testu, například za účelem porovnávání dvou testů. IRT však objasňuje, že přesnost není jednotná napříč spektrem testových skórů. Například skóry na okrajích testového rozsahu jsou častěji spojovány s chybami, než skóry blíže ke středu.

Teorie odpovědi na položku překračuje koncept položky a testové informace, aby nahradila reliabilitu. Informace je také funkcí parametrového modelu. Například, dle Fischerovy informační teorie, položka informace v modelu 1PL pro data s dichotomní odpovědí, je jednoduše pravděpodobností správné odpovědi násobená pravděpodobností nesprávné odpovědi, nebo

${\displaystyle I(\theta )=p_{i}(\theta )q_{i}(\theta ).\,}$

Standardní chyba měření je reciproční s testovou informací daného latentního rysu:

${\displaystyle {\text{SE}}(\theta )={\frac {1}{\sqrt {I(\theta )}}}.}$

Z toho vyplývá, že čím více informací, tím menší chyba měření.

V dalších modelech, jako jsou dvou- a tříparametrové modely, hraje důležitou roli parametr rozlišovací schopnosti. Položka informační funkce pro dvouparametrový model je:

${\displaystyle I(\theta )={\frac {a_{i}^{2}}{p_{i}(\theta )q_{i}(\theta )}}.\,}$

Obecně má informační křivka položky tvar zvonu. Vysoce rozlišující položky mají vysokou a úzkou informační křivku, která významně přispívá informačně, avšak pouze v úzkém rozsahu. Položky s nízkou rozlišovací hodnotou poskytují méně informací, ale v širším rozsahu.

Pole informací položek mohou být využita ke zjištění nakolik informace položky přispívá a jak velkou část skórovací škály tvoří. Z důvodu nezávislosti položek na vlastnostech testu, je informační funkce položky pouze doplňkovou. To znamená, že informační funkce testu je suma informačních funkcí položek v daném testu. Použití této vlastnosti s obsáhlou baterií položek může velmi dobře formovat informační funkci testu a umožnit tak velmi přesnou regulaci chyb měření.

Ústředním tématem psychometrických teorií a hlavním rozdílem mezi CTT a IRT je popis přesnosti testových skórů. Zjištění IRT ukazují, že CTT koncept spolehlivosti je pouhým zjednodušením. Na místo spolehlivosti, IRT nabízí informační funkci testu, která ukazuje míru přesnosti při různých hodnotách theta.

Tyto výsledky umožňují (potenciálně) pečlivě formovat úroveň spolehlivosti pro různé rozsahy schopností skrze pečlivý výběr položek. Například v případě certifikačního testu, kde jsou pouze dvě možnosti – test udělat či neudělat, a kde je tedy absolutní hodnota skóre nepodstatná, lze vytvořit velmi efektivní test pomocí výběru takových položek, jejichž vysoká informační hodnota se pohybuje v oblasti hraničního skóre pro složení zkoušky. Tyto položky většinou odpovídají těm položkám, jejichž obtížnost je zhruba stejná jako je hraniční skóre pro úspěšné vykonání testu.

Osobní parametr θ reprezentuje úroveň latentního rysu jedince, kterým je lidská schopnost nebo vlastnost měřená v testu. Tou může být kognitivní schopnost, fyzická schopnost, dovednost, znalost, postoj, osobnostní charakteristika, atd.

Odhad osobního parametru, „skóre“ v IRT testu , je vypočítáváno a interpretováno velmi odlišným způsobem ve srovnání s tradičním skórováním, jako je například počet či procento správných odpovědí. Celkový součet počtu správných odpovědí jednotlivce není skutečným skórem, na základě IRF vede spíše k hodnocení skóre, pokud model obsahuje i položku rozlišovacího parametru. Toho je v podstatě dosaženo znásobením funkce odpovědi na položku pro každou položku zvlášť, čímž získáváme funkci pravděpodobnosti, jejímž maximem je maximum pravděpodobnosti odhadu θ. Toto maximum je nejčastěji odhadováno pomocí IRT softwaru používajícího Newton-Raphsonovu metodu. Přestože skórování je s IRT mnohem sofistikovanější, pro většinu zkoušek je (lineární) korelace mezi theta odhadem a tradičním skóre velmi vysoká; často 0,95 nebo i větší. Graf skóre IRT oproti tradičnímu skóre vykazuje tvar ogivy naznačující, že IRT odhaduje samostatné jednotlivce na hranicích škály více než v jejím středu.

Podstatným rozdílem mezi CTT a IRT je zacházení s chybou měření, označovanou jako standardní chyba měření. Všechny testy a dotazníky jsou nepřesné nástroje, nikdy nemůžeme zjistit respondentovo skutečné skóre (true score), spíše pouze odhadovat na základě pozorovaného skóre (observed score). Existuje určitá míra náhodné chyby, která může posunout pozorované skóre výše či níže oproti skutečnému skóru. CTT předpokládá, že množství chyb je stejné pro každého testovaného, podle IRT je toto množství proměnlivé.

IRT nevyvrací lidský vývoj a možnosti zdokonalování ani nepředpokládá, že úroveň latentních rysů je pevná. Člověk se může naučit dovednostem, znalostem či dokonce „schopnosti skládání testů“ (test-taking skills), která může vést k dosažení vyššího skutečného skóre. Ve skutečnosti se část IRT výzkumu zaměřuje na měření změn úrovni latentního rysu.

Klasická teorie testů (CTT) a IRT pracují do značné míry se stejnou problematikou, ale z hlediska teorie představují odlišné subjekty, a tudíž využívají různé metody. I když tato dvě paradigmata jsou obecně konzistentní a doplňují se, existuje mezi nimi několik rozdílu:

• IRT vytváří radikálnější předpoklady a v mnoha případech přináší stejně radikální zjištění, především v oblasti charakterizace chyb. Samozřejmě tyto výsledky platí pouze, když jsou předpoklady modelů IRT skutečně splněny.
• Přestože výsledky CTT přinesly mnoho důležitých zjištění pro praxi, modelová povaha IRT poskytuje mnoho výhod oproti obdobným CTT výsledkům.
• Skórování CTT testů je snadné na výpočet (a vysvětlení), zatímco IRT skórování obvykle vyžaduje poměrně složité postupy statistického odhadování.
• IRT poskytuje několik vylepšení ve škálování položek a osob. Specifika závisí na IRT modelu, ale většina modelů škáluje obtížnosti položek a schopnosti lidí na stejné měřicí soustavě. To umožňuje smysluplné porovnávání lidských schopností a obtížnosti položek.
• Další zlepšení vycházející z IRT je, že parametry IRT modelů jsou nezávislé jak na vzorku, tak na celém testu. Zatímco v CTT je skutečné skóre (true score) definováno v rámci konkrétního testu. IRT tak poskytuje podstatně větší flexibilitu v situacích, kdy se používají různé vzorky nebo typy testů. Tyto zjištění jsou v IRT základem pro počítačové adaptivní testování