Podcast na Experimentální výzkumné metody

Kapitoly

Co je to experiment?

Nezávislá a závislá proměnná

Experimentální a kontrolní skupina

Můžeme výsledkům věřit?

Další hrozby pro experimenty

Vnitřní validita: Co se kazí uvnitř

Vnější validita: Funguje to i jinde?

Jak z toho ven? Design experimentu

Alternativy k pretestu

Kvaziexperimenty v praxi

Předexperimenty a faktoriály

Závěrečné shrnutí

Přepis

Natálie: Znáš ten pocit, když ti třeba aplikace na učení jazyků najednou změní vzhled nebo typ cvičení? To není náhoda. Právě ses možná stal součástí experimentu.

Martin: Přesně tak. Někdo tam zkoumá, jestli se s novým designem budeš učit lépe. A o tomhle principu si dnes budeme povídat. Posloucháte Studyfi Podcast.

Natálie: Takže experiment je, když výzkumník záměrně něco změní a sleduje, co to udělá? Jako… způsobí A změnu v B?

Martin: Perfektně řečeno. Je to nejlepší způsob, jak prokázat příčinu a následek. Nejen že věci spolu souvisí, ale že jedna tu druhou opravdu ovlivňuje.

Natálie: Dobře, a co jsou ty věci A a B? V tom našem příkladu by to bylo co?

Martin: To, co měníme – tedy A – je nezávislá proměnná. Třeba nová vyučovací metoda, jiný typ odměny... Je to ten náš zásah.

Natálie: A B je to, co měříme? Jako výsledek?

Martin: Přesně. To je závislá proměnná. Může to být výsledek testu, počet chyb nebo třeba počet zameškaných hodin. Její hodnota „závisí“ na tom, co jsme udělali s tou první proměnnou.

Natálie: Takže kdybychom zkoumali vliv online výuky na výsledky testu… Nezávislá proměnná by byl typ výuky – online versus prezenční. A závislá…?

Martin: Výsledek toho testu. Jednoduché, že?

Natálie: Fajn. Ale jak poznám, že změnu způsobil opravdu můj zásah? Co když se žáci prostě jen víc snažili?

Martin: Skvělá otázka. Proto potřebujeme dvě skupiny. Experimentální, na kterou působíme tou naší novou metodou, a kontrolní, která jede postaru. Slouží nám ke srovnání.

Natálie: Takže jedna třída zkouší novou metodu na čtení a druhá se učí tak jako dřív. A obě skupiny by měly být co nejvíc podobné, že?

Martin: Naprosto. Stejný věk, podobné schopnosti, stejný čas na úkol. Lišit se smí jen v jedné věci – v té naší nezávislé proměnné. Když se pak experimentální skupina zlepší víc, víme, že metoda fungovala.

Natálie: Chápu. Takže buď srovnáváme metodu A versus B, novou metodu proti žádné, nebo třeba i množství – jestli je 20 minut úkolu lepších než 40.

Martin: Vidíš, už v tom jsi.

Natálie: A co když se do toho připlete něco jiného? Něco, s čím nepočítám?

Martin: Tomu se říká ohrožení vnitřní validity. To je jistota, že výsledek způsobil opravdu náš experiment, a ne třeba to, že žáci chodili na doučování.

Natálie: A co ta vnější validita?

Martin: Ta zase řeší, jestli výsledky z jedné školy můžeme zobecnit i na ostatní školy v republice. Jestli to bude fungovat i jinde.

Natálie: Takže mi celý výzkum může zkazit třeba nějaká nečekaná událost? Třeba že o naší super nové metodě řekne ve videu nějaký influencer?

Martin: Ano, přesně! To je hrozba zvaná „historie“. Nebo taky „zrání“ – děti se ve čtení zlepší prostě proto, že jsou o půl roku starší a jejich mozek dozrál, ne kvůli naší metodě.

Natálie: Aha! Takže pozor na influencery a stárnoucí děti. Díky, Martine, to bylo super srozumitelné.

Martin: Rádo se stalo.

Natálie: Takže kromě „historie“ a „zrání“ existují i další hrozby, které nám můžou zkazit experiment?

Martin: Přesně tak. A dělíme je do dvou hlavních kategorií. Jedny ohrožují takzvanou vnitřní validitu a druhé tu vnější.

Natálie: Vnitřní a vnější validita... Zní to trochu akademicky. Co to znamená v praxi?

Martin: Je to jednoduché. Vnitřní validita je o jistotě, že změnu způsobil náš zásah, a ne něco jiného. Vnější validita zase řeší, jestli můžeme výsledky zobecnit i na jiné lidi a situace.

Natálie: Dobře, tak pojďme na tu vnitřní. Co ji může ohrozit?

Martin: Třeba statistická regrese. Zní to složitě, ale představ si, že do experimentu vybereš ty úplně nejslabší žáky. Je dost pravděpodobné, že se v dalším testu zlepší prostě proto, že svůj první test fakt hodně zkazili a teď se jen přiblížili svému průměru. Jejich zlepšení nemusí souviset s tvou metodou.

Natálie: Aha, takže extrémní výsledky mají tendenci se vracet k normálu samy od sebe.

Martin: Přesně. Další hrozbou je úbytek účastníků. Představ si náročný experiment. Kdo z něj odejde jako první? Většinou ti méně motivovaní. A co se stane? Zůstane ti skupina super motivovaných lidí, což samozřejmě zkreslí výsledky.

Natálie: Takže ti zůstanou jen šprti a ty si pak myslíš, že tvoje metoda je geniální.

Martin: V podstatě ano. A ještě pozor na výběr. Pokud porovnáváš dvě existující třídy, může se stát, že třída 8.A je prostě od začátku lepší než 8.B. Rozdíly na konci pak nebudou kvůli tvé metodě, ale proto, že skupiny nebyly na startu stejné.

Natálie: Rozumím. A co ta vnější validita? Jaké jsou tam nástrahy?

Martin: Tam je to o zobecnění. Například interakce pretestu a ošetření. Když dáš studentům na začátku dotazník na jejich postoje, stanou se k tématu citlivější. Tvoje metoda pak může fungovat lépe, ale jen u lidí, kteří si ten pretest vyplnili.

Natálie: V reálném světě bez pretestu by to takový efekt nemělo.

Martin: Přesně. Nebo difuze ošetření. To je moje oblíbená. Kontrolní skupina začne komunikovat s tou experimentální... a prostě od nich tu novou metodu okouká.

Natálie: Taková malá školní špionáž. A rozdíly se smažou.

Martin: Ano. A pak je tu slavný Hawthorne efekt. Lidé mění své chování, protože ví, že jsou sledováni. Snaží se víc jen proto, že jsou součástí experimentu. Je to taková psychologická past.

Natálie: Panejo, to je pastí víc než dost. Dá se tomu vůbec nějak bránit?

Martin: Určitě. Klíčem je správný design experimentu. Existují sice různé typy, jako předexperimentální nebo kvaziexperimentální, které jsou časté třeba ve školství, ale zlatým standardem je takzvaný pravý experimentální design.

Natálie: A co ho dělá tak skvělým?

Martin: Náhodné přiřazení účastníků do skupin. Tím zajistíš, že jsou si skupiny na začátku co nejvíc podobné. A pak už jen porovnáváš. Třeba pomocí pretestu a posttestu. To nám dává největší jistotu, že jsme odhalili skutečnou příčinu a následek.

Natálie: Chápu. Ale co když ten pretest samotný ovlivní chování lidí? Když už vědí, na co se zaměřit, nemůže to zkreslit výsledky?

Martin: Skvělá poznámka! Přesně pro tyhle případy existují designy bez pretestu. Třeba posttest-only design. Skupiny jsou srovnatelné díky náhodnému výběru, ale měříš je až po experimentu.

Natálie: To zní jednodušeji. Jaké to má nevýhody?

Martin: Hlavní nevýhoda je, že nevíme, jaký byl přesně jejich počáteční stav. A taky hrozí větší problém, když ti někteří účastníci v průběhu odpadnou.

Natálie: A existuje nějaký design, který je... no, dokonalý? Který kombinuje to nejlepší ze všech?

Martin: Dokonalý ne, ale hodně blízko je Solomův čtyřskupinový design. Je to takový Rolls-Royce mezi designy. Kombinuje skupiny s pretestem i bez něj.

Natálie: Čtyři skupiny? To zní šíleně náročně.

Martin: To je. Časově i počtem lidí. Ale ohlídá ti skoro všechny hrozby pro validitu a zjistí i to, jestli samotný pretest měl nějaký vliv. Je to opravdu zlatý standard.

Natálie: Dobře, ale co když prostě nemůžu lidi náhodně rozdělovat? Třeba ve škole nemůžu jen tak přeházet žáky mezi třídami.

Martin: Přesně. A proto máme kvaziexperimenty. Kontrola je tu nižší, protože chybí náhodné přiřazení. Typicky se ošetření přiřadí celé existující skupině, třeba právě školní třídě.

Natálie: A obě skupiny mají pretest i posttest?

Martin: Ano, to je takzvaný design s nevyváženou kontrolní skupinou. Problém je, že nevíš, jestli se ty třídy nelišily už na začátku v něčem jiném, co ovlivnilo výsledek.

Natálie: A slyšela jsem ještě o předexperimentálních designech. To je co?

Martin: To je spíš jen taková orientační sonda. Mají nejnižší kontrolu validity. Třeba změříš skupinu jen jednou po nějaké intervenci a nemáš žádné srovnání. Vůbec nemůžeš říct, co změnu způsobilo.

Natálie: Takže spíš pro inspiraci než pro důkazy. A co naopak faktoriálový design? Ten zní složitě.

Martin: Ten zkoumá vliv více proměnných najednou. Třeba jestli určitá metoda výuky funguje jinak pro nadané a méně nadané žáky. Nezkoumáš jen efekt metody, ale i její interakci s nadáním.

Natálie: Páni. Takže abychom to shrnuli. Máme pravé experimenty s náhodným výběrem, které jsou ideál.

Martin: Pak praktičtější, ale méně kontrolované kvaziexperimenty pro reálné situace jako je škola.

Natálie: A nakonec předexperimenty, které jsou spíš jen takovým prvním krokem. Klíčové je tedy vždycky vědět, jaké má můj design slabiny.

Martin: Přesně tak. Uvědomit si možná zkreslení je polovina úspěchu. Perfektně shrnuto.

Natálie: Martine, moc děkuji za další skvělý vhled do světa výzkumu. A děkujeme i vám, naši posluchači, že jste byli s námi.

Martin: Mějte se krásně a u dalšího dílu Studyfi Podcastu zase na slyšenou.