Podcast o Induktívna štatistika a štatistické testy

Kapitoly

Od vzorky k celku

Sú naše dáta „normálne“?

Testy dobrej zhody

Špecialisti na normalitu

Pozor na extrémistov v dátach!

Klasické testy

Robustnejší prístup

Je to naozaj náhoda?

Alternatívy k t-testom

Keď je skupín viac

Zhrnutie a záver

Přepis

Filip: ...počkať, takže celý princíp je vlastne o tom, že z malého kúska dát dokážeme usudzovať na celý obrovský súbor? Ako keby som ochutnal jednu lyžičku polievky a vedel, aký je celý hrniec?

Lucia: Presne tak! To je krása induktívnej štatistiky. A práve preto je pre manažérov v marketingu taká kľúčová. Vitajte späť pri Studyfi Podcast.

Filip: Lucia, toto je fascinujúce. Takže namiesto toho, aby firma robila prieskum u všetkých svojich miliónov zákazníkov, stačí im opýtať sa povedzme tisícky a z toho vedia robiť závery?

Lucia: Presne tak. Ale, a to je dôležité „ale“, musia to urobiť správne. Musia si byť istí, že tá ich „vzorka“ — tá tisícka zákazníkov — naozaj dobre reprezentuje všetkých. A musia použiť správne nástroje, aby ich závery boli platné.

Filip: A to sú tie štatistické testy, o ktorých sa dnes budeme baviť, však?

Lucia: Áno. Sú to naše detektívne nástroje. Pomáhajú nám overovať hypotézy a robiť rozhodnutia, ktoré nie sú len streľbou do tmy, ale sú podložené dátami. A pre manažérske rozhodovanie je to absolútne kľúčové.

Filip: Dobre, takže máme dáta z našej vzorky. Čo je prvý krok? Počul som niečo o „normalite dát“. Znie to... normálne.

Lucia: Je to dôležitejšie, než to znie. Veľa štatistických metód, napríklad taký t-test, ktorý ste možno robili na cvičeniach, funguje správne len za predpokladu, že dáta majú takzvané normálne rozdelenie.

Filip: A čo to presne znamená, normálne rozdelenie? To je tá známa Gaussova krivka, ten zvon?

Lucia: Presne ten zvon. Znamená to, že väčšina hodnôt sa hromadí okolo priemeru a čím ďalej od priemeru ideme, tým menej hodnôt nachádzame. Testovanie normality dát nám vlastne odpovedá na otázku: „Pochádza naša vzorka z populácie, ktorá má toto zvonovité rozdelenie?“

Filip: A ako to zistíme? Máme na to nejaké špeciálne testy?

Lucia: Samozrejme. Máme ich hneď niekoľko. Medzi najznámejšie patria napríklad Anderson-Darlingov test, Shapiro-Wilkov test alebo Jarque-Berov test. Každý má svoje špecifiká, ale cieľ majú spoločný — overiť normalitu.

Filip: Okej, takže testy normality sú podmnožinou niečoho väčšieho. Počul som pojem „testy dobrej zhody“. To znie ako partnerská poradňa pre dáta.

Lucia: Výborná analógia! V podstate áno. Tieto testy overujú, ako dobre sa naše pozorované dáta „zhodujú“ s nejakým teoretickým, očakávaným rozdelením. A to nemusí byť len normálne rozdelenie.

Filip: Takže si môžem zadefinovať hypotézu, napríklad... „Moje dáta sa zhodujú s normálnym rozdelením.“ A test mi povie áno alebo nie?

Lucia: Presne tak. Nulová hypotéza, H₀, by bola: „Rozdelenie našej vzorky je totožné s teoretickým rozdelením.“ A alternatívna, H₁, že je odlišné. Ak test vyjde štatisticky významný, zamietame nulovú hypotézu a hovoríme, že sa dáta nezhodujú.

Filip: Super. Ktoré testy sem patria? Spomeňme si nejaké kľúčové.

Lucia: Klasikou je Pearsonov Chí-kvadrát test dobrej zhody. Jeho princíp je geniálne jednoduchý. Porovnáva pozorované počty v určitých intervaloch s tými očakávanými — teda s tým, koľko by ich tam malo byť, ak by platila naša teória.

Filip: Čiže ak je rozdiel medzi realitou a očakávaním príliš veľký, tak naša teória asi neplatí.

Lucia: Bingo. Jeho výhoda je univerzálnosť, ale má aj trochu slabšie štatistické vlastnosti. Pre spojité premenné je často lepší Kolmogorov-Smirnovov test. Ten neporovnáva počty v intervaloch, ale priamo celé distribučné funkcie.

Filip: To znie pokročilejšie. A ten má aj verziu pre dva výberové súbory, však? Že môžem porovnať, či dve rôzne vzorky — napríklad muži a ženy — pochádzajú z rovnakého rozdelenia?

Lucia: Presne tak. Zaujíma nás nielen poloha, ale aj tvar, rozptyl, šikmosť... Celkový obraz. Je to veľmi mocný nástroj, hlavne pri väčších vzorkách.

Filip: Vráťme sa ešte na chvíľu k tým testom normality. Spomínala si Shapiro-Wilkov a Jarque-Berov test. V čom sú špeciálne?

Lucia: Sú to špecialisti. Shapiro-Wilkov test je navrhnutý výhradne na testovanie normality. Má lepšie štatistické vlastnosti ako všeobecnejší Kolmogorov-Smirnovov test, ale jeho výpočet je zložitejší. Našťastie, softvér to urobí za nás.

Filip: To je dobrá správa! A čo ten druhý, Jarque-Bera?

Lucia: To je hviezda ekonometrie. Je založený na dvoch momentoch — na šikmosti a špicatosti. Normálne rozdelenie má totiž presne definovanú šikmosť, ktorá je nula, a špicatosť, ktorá je tri. Tento test v podstate kontroluje, či sa naša vzorka v tomto veľmi podobá normálnemu rozdeleniu.

Filip: Zaujímavé. Má nejaké nevýhody?

Lucia: Áno, je dosť citlivý na odľahlé, extrémne hodnoty. Ale pri väčších vzorkách má veľkú silu — teda schopnosť správne odhaliť, keď dáta naozaj nie sú normálne.

Filip: Keď už si spomenula extrémne hodnoty... To je veľká téma. Ako ich vlastne definujeme? Sú to len čísla, ktoré sú podozrivo vysoké alebo nízke?

Lucia: Presne tak. Intuitívne sú to hodnoty, ktoré sa javia byť výrazne mimo ostatných. Ale dôvodov môže byť veľa. Môže to byť obyčajná chyba pri zápise — niekto v dotazníku zakrúžkoval 8 na škále od 1 do 7.

Filip: To sa stáva.

Lucia: Alebo to môže byť hodnota, ktorá je síce technicky možná, ale veľmi nepravdepodobná. Predstav si, že meriaš výšku žien a v súbore máš tri hodnoty nad 195 cm. Je možné, že sa ti tam omylom primiešali dáta mužov.

Filip: Chápem. Takže extrémna hodnota môže byť signálom, že sa deje niečo zvláštne, že možno meriam dáta z inej populácie.

Lucia: Presne. Ale pozor! Niekedy to, čo vyzerá ako extrém, ním vôbec nie je. Ak dáta pochádzajú zo silne zošikmeného rozdelenia, výskyt takýchto hodnôt je úplne prirodzený. Preto je dôležité extrémne hodnoty hneď nemazať, ale najprv ich vyšetriť.

Filip: A aký majú vplyv? Prečo sú také nebezpečné?

Lucia: Pretože dokážu totálne skresliť výsledky. Stačí jedna jediná extrémna hodnota a aritmetický priemer ti môže vyletieť do nebies a prestane reprezentovať typickú hodnotu. Najjednoduchší spôsob, ako ich odhaliť, je vizualizácia, napríklad pomocou box-plotu, alebo krabicového grafu.

Filip: Super, takže prvý krok je vždy sa na dáta pozrieť. To dáva zmysel. Lucia, ďakujem, toto bolo naozaj skvelé zhrnutie. Myslím, že teraz sú nám tie testy oveľa jasnejšie.

Filip: Dobre, takže keď už máme podozrenie, existujú nejaké formálne testy na odhalenie týchto odľahlých hodnôt?

Lucia: Určite! Klasikou je napríklad Grubbsov test. Ten v podstate testuje hypotézu, že v súbore nie sú žiadne extrémne hodnoty.

Filip: A proti čomu to testuje?

Lucia: Proti alternatíve, že tam je aspoň jedna. Ale má to háčik. Testuje vždy iba jednu hodnotu naraz.

Filip: Počkaj, a čo ak ich je viac?

Lucia: Presne! A to je problém. Volá sa to „maskovací efekt“. Predstav si, že máš dve extrémne hodnoty. Tá druhá ovplyvní priemer a rozptyl tak, že tá prvá sa už nezdá byť až taká extrémna.

Filip: Takže jedna odľahlá hodnota kryje tú druhú? To je ako tímová práca!

Lucia: V podstate áno. A navyše, Grubbsov test predpokladá, že dáta sú z normálneho rozdelenia, čo je dosť obmedzujúce.

Filip: Okej, takže je to trochu... krehké. Existuje niečo podobné?

Lucia: Veľmi podobný je Dixonov test. Ten tiež vyžaduje normálne rozdelenie a má rovnaké problémy s viacerými extrémami.

Filip: Fajn, takže čo ak naše dáta nie sú normálne, alebo tušíme viac problémových hodnôt?

Lucia: Vtedy prichádza na scénu napríklad Hampelov test. Ten je super, lebo je neparametrický.

Filip: Čo to znamená v praxi?

Lucia: Nepotrebuješ predpoklad o normalite. A hlavne, využíva medián namiesto priemeru.

Filip: Aha, a mediánu predsa extrémne hodnoty nevadia, že?

Lucia: Presne tak! Preto si Hampelov test vie poradiť aj s viacerými extrémami naraz. Vlastne to ani nie je test v pravom slova zmysle. Každej hodnote priradí skóre a ak prekročí istú hranicu, označíme ju za odľahlú.

Filip: Znie to oveľa spoľahlivejšie. Takže keď nájdeme tieto hodnoty...

Filip: Takže, prešli sme si množstvo testov, ktoré mali dosť prísne požiadavky na dáta. Všetko muselo byť pekné, normálne rozdelené... ale čo ak život nie je taký ideálny? Čo ak naše dáta vyzerajú... divoko?

Lucia: Presne tak, Filip! Vitajte vo svete neparametrických testov. Sú to naši záchrancovia, keď dáta jednoducho odmietajú spolupracovať a nechcú sa podobať na tú krásnu Gaussovu krivku.

Filip: Záchrancovia! To znie dramaticky. Páči sa mi to!

Lucia: Sú to v podstate flexibilnejšie nástroje. Nepotrebujú toľko predpokladov o rozdelení dát. Preto sa im niekedy hovorí aj „distribution-free“ testy.

Filip: Testy bez obmedzení! Ešte lepšie. Tak poďme na to. Čím začneme?

Lucia: Začnime otázkou náhodnosti. V mnohých testoch predpokladáme, že naše pozorovania sú od seba nezávislé. Že meranie jedného pacienta neovplyvní meranie toho ďalšieho.

Filip: Jasné, to dáva zmysel. Ale ako zistíme, či je to naozaj tak?

Lucia: Na to máme Test náhodnosti. Predstav si, že hádžeš mincou a zapisuješ si výsledky. Panna, panna, panna, potom orol, orol, a tak ďalej. Test náhodnosti sa pozrie na takzvané „bloky“ rovnakých výsledkov.

Filip: Bloky? Akože série?

Lucia: Presne. Ak máš príliš málo blokov — napríklad dvadsaťkrát panna a potom dvadsaťkrát orol — to asi nebude náhoda. To vyzerá na nejaký trend.

Filip: A ak je tých blokov naopak príliš veľa? Panna, orol, panna, orol... stále sa to strieda.

Lucia: Aj to je podozrivé! Príliš veľa blokov naznačuje nejaký cyklus, niečo, čo sa pravidelne opakuje. Takže tento test nám vlastne pomáha odhaliť skryté vzory v dátach.

Filip: Aha! Takže je to ako skontrolovať, či funkcia „náhodné prehrávanie“ v mojej hudobnej aplikácii je naozaj náhodná, alebo mi stále dookola púšťa tie isté tri pesničky.

Lucia: Dokonalá analógia! Podobne funguje aj Bartelsov test, ktorý hľadá takzvanú autokoreláciu — či hodnota v jednom čase súvisí s hodnotou v nasledujúcom čase.

Filip: Dobre, náhodnosť máme. Ale čo tie situácie, kde sme predtým používali t-testy? Napríklad porovnanie priemerov. Existujú aj tu nejaké alternatívy?

Lucia: Samozrejme! A je ich hneď niekoľko. Poznáš ten pocit, keď chceš porovnať nejakú skupinu voči jednej konkrétnej hodnote, povedzme mediánu?

Filip: Áno, to bol jednovzorkový t-test, ak sa nemýlim.

Lucia: Správne. Jeho neparametrický bratranec je Jednovzorkový Wilcoxonov znamienkový test. Ten neporovnáva len to, či sú hodnoty väčšie alebo menšie od mediánu, ale berie do úvahy aj to, ako ďaleko od neho sú. Pracuje s ich poradím.

Filip: Čiže je tak trochu múdrejší, lebo zohľadňuje aj veľkosť rozdielov.

Lucia: Presne tak. Má to ale jeden háčik – vyžaduje, aby rozdelenie dát bolo symetrické. Nemusí byť normálne, ale nemalo by byť zošikmené na jednu stranu.

Filip: Okej, a čo porovnanie dvoch nezávislých skupín? Napríklad experimentálna a kontrolná skupina. Namiesto t-testu pre dva nezávislé výbery použijeme čo?

Lucia: Tam prichádza na scénu veľmi populárny Mann-Whitney U test. Niekedy sa volá aj Mann–Whitney–Wilcoxonov test. Princíp je geniálne jednoduchý.

Filip: Sem s ním!

Lucia: Zoberieš všetky hodnoty z oboch skupín, hodíš ich na jednu kopu, usporiadaš od najmenšej po najväčšiu a priradíš im poradie. Potom len spočítaš sumu poradí pre každú skupinu zvlášť. Ak sú rozdelenia rovnaké, tie sumy by mali byť podobné.

Filip: To znie oveľa jednoduchšie ako všetky tie vzorce pri t-teste!

Lucia: V tom je tá krása! A pre párové dáta, napríklad meranie pred a po liečbe, máme zase Wilcoxonov znamienkový test pre dve závislé vzorky. Je to alternatíva k párovému t-testu.

Filip: Super. Takže máme pokrytú jednu vzorku, dve nezávislé aj dve závislé. Ale čo keď máme skupín viac? Tri, štyri... päť? Tam sme mali analýzu rozptylu, ANOVA.

Lucia: A aj tu máme neparametrické riešenie! Pre viac nezávislých skupín existuje Kruskal-Wallisov test. Je to v podstate rozšírenie Mann-Whitneyho testu na viac skupín.

Filip: Čiže opäť pracujeme s poradiami?

Lucia: Presne tak. A pre viac závislých vzoriek, napríklad keď meriame tých istých ľudí v troch rôznych časoch, použijeme Friedmanov test. Je to neparametrická alternatíva k opakovanej ANOVA.

Filip: Takže v podstate pre každý bežný parametrický test existuje nejaký neparametrický kamoš, ktorý zaskočí, keď dáta neposlúchajú.

Lucia: Krásne zhrnuté! Presne tak. A to platí aj pre testovanie rozptylu. Namiesto citlivého F-testu môžeme použiť robustnejší Levenov test alebo jeho modifikáciu, Brown-Forsythov test. Sú skvelé, keď si nie sme istí normalitou.

Filip: Lucia, toto bolo nesmierne užitočné. Takže, aby sme si to zrekapitulovali... Keď naše dáta nespĺňajú prísne predpoklady, napríklad o normálnom rozdelení, nemusíme zúfať.

Lucia: Vôbec nie. Siahneme po neparametrických testoch. Sú flexibilné, často pracujú s poradím namiesto skutočných hodnôt a umožňujú nám analyzovať aj dáta, ktoré by inak boli problematické.

Filip: Prešli sme si testy náhodnosti, ktoré odhaľujú skryté vzory. Potom alternatívy k t-testom ako Wilcoxonove a Mann-Whitneyho testy pre jednu či dve vzorky.

Lucia: A nakoniec rozšírenia pre viac skupín ako Kruskal-Wallisov a Friedmanov test, a dokonca aj robustné testy zhody rozptylu. Je to naozaj komplexná sada nástrojov.

Filip: Fantastické. Myslím, že toto bola skvelá bodka za našou sériou o štatistických testoch. Ukázali sme si, že štatistika má riešenie takmer pre každú situáciu. Lucia, veľmi pekne ti ďakujem za všetky cenné informácie.

Lucia: Aj ja ďakujem za pozvanie, Filip. Bola to radosť.

Filip: A vám, naši milí poslucháči, ďakujeme za pozornosť. Dúfame, že ste si z našich rozhovorov odniesli niečo nové a že sa na štatistiku už nebudete pozerať s takým strachom. Majte sa krásne a dopočutia nabudúce!

Lucia: Dopočutia!