Podcast na Didaktické testy: Návrh, analýza a hodnocení

Kapitoly

Proč začít od konce

Typy testových úloh

Uzavřené úlohy a riziko hádání

Pokročilé výběrové úlohy

Chytřejší než náhoda

Měření kvality testu

Odlišení zrna od plev

Spolehlivost a platnost

Shrnutí a rozloučení

Přepis

Tomáš: Během příštích pár minut pochopíte, proč se testy tvoří úplně jinak, než si většina lidí myslí. Není to jen o sypání otázek na papír.

Adéla: Přesně tak. Ten největší mýtus je, že začínáme vymýšlením úloh. To je chyba, která vede ke špatným testům.

Tomáš: Posloucháte Studyfi Podcast.

Adéla: Takže, čím začít? Úplně na začátku si musím promyslet účel testu. Co chci zjistit? A jaký obsah chci pokrýt?

Tomáš: Takže nejdřív cíl, potom teprve cesta. A co úroveň znalostí?

Adéla: Správně. K tomu nám pomáhá takzvaná Bloomova taxonomie. Ta rozlišuje úrovně poznání – od prosté znalosti a pochopení, přes aplikaci, analýzu, až po syntézu a hodnocení.

Tomáš: Aha, takže jestli chci jen vědět, jestli si někdo pamatuje letopočet, nebo jestli umí analyzovat příčiny historické události.

Adéla: Přesně. Až když mám tohle jasno, začnu tvořit jednotlivé úlohy. A pro každou musím vědět, jakou úroveň ověřuje.

Tomáš: Dobře, mám cíl, mám obsah, mám i úroveň. Jaké mám možnosti, co se týče typů úloh?

Adéla: V zásadě je dělíme na dvě velké skupiny: otevřené, kde student sám tvoří odpověď, a uzavřené, kde si vybírá z nabídnutých možností.

Tomáš: To zní celkem jednoduše. Tak pojďme na ty otevřené.

Adéla: Ty mohou být buď široké, kde se student rozepíše, třeba na téma „hlavní příčiny druhé světové války“. Výhoda je, že se snadno zadávají, ale těžko se objektivně hodnotí.

Tomáš: Chápu. Každý to napíše trochu jinak. A ta druhá otevřená varianta?

Adéla: Jsou to úlohy se stručnou odpovědí. Třeba doplňovačky. „Dne 6. 7. 1415 byl v Kostnici upálen…“ Tady je odpověď jasná a krátká.

Tomáš: A co ty uzavřené? To jsou ty, které máme asi všichni nejraději, protože se dá hádat.

Adéla: Přesně. Klasikou jsou dichotomické úlohy, tedy ano/ne, pravda/nepravda. Třeba „Jan Amos Komenský se narodil roku 1592. Ano/Ne?“ Snadno se tvoří i hodnotí, ale je tam padesátiprocentní šance na správný tip.

Tomáš: Takže si můžu hodit korunou a mít půlku testu dobře!

Adéla: Teoreticky ano. Proto jsou populárnější úlohy s výběrem odpovědí, kde je možností víc.

Tomáš: Á, staré známé A, B, C, D. Ty ale taky mají své mouchy, ne?

Adéla: Mají. Nejčastěji se testuje jen zapamatování. Třeba „Podtržený větný člen je: a) podmět; b) přísudek…“. Ale existují i chytřejší varianty.

Tomáš: Jaké například?

Adéla: Můžeš mít za úkol vybrat jednu nejpřesnější odpověď, což už vyžaduje hlubší pochopení. Nebo naopak jednu nesprávnou odpověď. To je taky záludné.

Tomáš: A co když je správně více odpovědí?

Adéla: I to je možnost. Třeba „Kterými státy protéká řeka Odra?“ a na výběr je Německo, Polsko, Rusko… Tam je ale problém s bodováním. Dáš bod jen za všechny správné? Nebo i za část?

Tomáš: To zní jako recept na zmatek. Takže klíčem je vždycky předem vědět, co a jak chci měřit, a podle toho vybrat správný nástroj.

Adéla: Přesně tak. Dobrý test není náhoda, je to promyšlená stavba. A když víš, jak funguje, můžeš v ní lépe uspět.

Tomáš: Promyšlená stavba... to se mi líbí. Ale co třeba přiřazovací úlohy? Spojování hlavních měst se státy a tak? Tam už se hádá hůř, ne?

Adéla: Přesně! To je jejich velká výhoda. Omezují náhodu. Můžeš to ještě ztížit, když do pravého sloupce dáš víc odpovědí, než je otázek vlevo.

Tomáš: Takže past na ty, co si nejsou jistí. A co úlohy, kde se má něco seřadit? Třeba města podle počtu obyvatel. To zní jako noční můra na opravování.

Adéla: Je to náročnější na opravu, to ano. Ale zase to skvěle prověří hlubší znalosti souvislostí. Oboje má své místo.

Tomáš: Dobře. Ale jak tvůrce testu ví, že otázka je... no, prostě dobrá? Existuje na to nějaká věda?

Adéla: Existuje! Jmenuje se psychometrie. A je to fascinující. Třeba hádání. U otázek s výběrem odpovědí se doporučují 4 až 5 možností. Proč? Protože pravděpodobnost, že se trefíš náhodou, klesá.

Tomáš: Jasně, jedna ze čtyř je lepší než jedna ze dvou.

Adéla: Přesně. A dokonce existují vzorce, které umí skóre opravit a tenhle faktor hádání snížit. Ale to je spíš pro fajnšmekry.

Tomáš: Co dál? Co dělá otázku opravdu kvalitní?

Adéla: Klíčová je takzvaná citlivost neboli diskriminace. Zjednodušeně, dobrá otázka umí odlišit ty, co se učili, od těch, co se moc neučili.

Tomáš: Takže na ni odpoví správně hlavně ti lepší studenti?

Adéla: Ano. Sledujeme, kolik studentů z „lepší“ a „horší“ poloviny třídy na ni odpovědělo správně. Když na ni odpoví víc lidí z té lepší skupiny, otázka funguje a dobře rozlišuje. Pokud ne, nebo je to naopak, je někde chyba a otázka je k ničemu.

Tomáš: Rozumím. Takže se vlastně zkoumá každá jednotlivá otázka, jestli plní svůj účel.

Adéla: Přesně tak. A to nás přivádí ke dvěma nejdůležitějším pojmům: reliabilita a validita. Zní to složitě, ale je to jednoduché.

Tomáš: Tak do toho.

Adéla: Reliabilita je spolehlivost. Kdybys ten stejný test psal znova a znova za stejných podmínek, měl bys dostat podobný výsledek. To je spolehlivý test. Měříme to třeba tak, že porovnáme výsledky u sudých a lichých otázek. Pokud jsou si podobné, test je vnitřně konzistentní.

Tomáš: A validita?

Adéla: Validita, neboli platnost, odpovídá na otázku: „Měří ten test opravdu to, co měřit má?“ Test z dějepisu by neměl měřit rychlost čtení. Přijímačky na medicínu by měly předpovědět úspěch ve studiu. Je to o smyslu celého měření.

Tomáš: Takže abychom to shrnuli. Dobrý test není jen snůška otázek. Je to promyšlený nástroj, kde každý typ úlohy má svůj účel, každá otázka je prověřená a celé to měření je spolehlivé a platné.

Adéla: Přesně tak. Když tohle víte, díváte se na každý test úplně jinak. A hlavně, můžete se na něj lépe připravit, protože chápete jeho logiku.

Tomáš: To byl skvělý vhled do zákulisí, Adélo. Díky moc! Našim posluchačům přejeme hodně úspěchů nejen u testů, ale i ve studiu obecně.

Adéla: Děkuji za pozvání. A pamatujte, znalosti jsou vaše nejlepší strategie. Mějte se hezky!