Zhrnutie na Induktívna štatistika a štatistické testy

Induktívna štatistika a štatistické testy: Podrobný sprievodca

ZhrnutieTest znalostíKartičkyPodcastMyšlienková mapa

Úvod

Detekcia odľahlých hodnôt je praktická zručnosť pri práci s dátami: pomáha odhaliť meracie chyby, zmeny v procese alebo skutočne neobvyklé pozorovania, ktoré môžu skresľovať analýzu. V tomto materiáli sa pozrieme na tri konkrétne testy: Grubbsov test, Dixonov test a Hampelov test. Pre každú metódu vysvetlíme princíp, predpoklady, silné a slabé stránky a ukážeme praktické príklady.

Definícia: Odľahlá hodnota (outlier) je pozorovanie, ktoré výrazne odlišuje sa od zvyšku dát a môže byť výsledkom chyby merania, špecifickej poruchy alebo skutočne zriedkavej udalosti.

Základné kroky pri detekcii odľahlých hodnôt

  1. Preskúmať dáta graficky: histogram, boxplot, rozptylový diagram.
  2. Overiť predpoklady testu (napr. normalitu) ak to test vyžaduje.
  3. Vybrať vhodný test podľa veľkosti vzorky a povahy problému.
  4. Ak test nájde odľahlú hodnotu, rozhodnúť sa, či ju odstrániť, opraviť alebo ponechať s poznámkou.

1) Grubbsov test

Kedy použiť

  • Keď máme náhodnú i.i.d. vzorku veľkosti $n$ a predpokladáme normalitu.
  • Testuje sa prítomnosť práve jednej extrémnej hodnoty.

Princíp

  • H0: v súbore nie je extrémna hodnota.
  • H1: v súbore je aspoň jedna extrémna hodnota.
  • Štatistika testu je založená na maximálnom absolútnom rozdiele medzi pozorovaním a priemerom v pomere k smerodajnej odchýlke, teda typicky $$G = \max_i \frac{|X_i - \overline{X}|}{S}$$ kde $\overline{X}$ je priemer vzorky a $S$ je smerodajná odchýlka.

Silné stránky

  • Jednoduchý výpočet a jasný kritériový postup pri jednej odľahčenej hodnote.

Nevýhody

  • Test sa realizuje naraz iba pre práve jednu hodnotu. Ak je v súbore viac odľahlých hodnôt, tieto môžu maskovať jedna druhú a spôsobiť, že test ich nenájde (efekt nazývaný „masking“).
  • Vyžaduje predpoklad normality; ak je porušený, výsledok nemusí byť spoľahlivý.

Praktický príklad

Máme vzorku $n=10$ meraní: $2.1$, $2.3$, $2.0$, $2.2$, $50.0$, $2.1$, $2.2$, $2.0$, $2.3$, $2.1$. Pri výpočte $\overline{X}$ a $S$ bude hodnota $50.0$ značne ovplyvňovať $\overline{X}$ a $S$, ale vzhľadom na veľký rozptyl môže byť štatistika $G$ nižšia, než by sme očakávali pri izolovanom extréme; v takom prípade pomôže alternatívny prístup alebo iteratívne odstraňovanie overovaných extrémov.

2) Dixonov test

Kedy použiť

  • Pre malé až stredné vzorky usporiadané vzostupne $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$.
  • Predpokladá sa normalita.

Princíp

  • Testuje sa, či najväčšia hodnota $X_{(n)}$ (alebo najmenšia $X_{(1)}$) je odľahlá voči ostatným.
  • Štatistika využíva vzdialenosť medzí extrémom a susedným poradie v pomere k celkovej variabilite vzorky (rôzne verzie testu pre rôzne $n$ majú špecifické kritériá).

Nevýhody

  • Predpoklad normality.
  • Prítomnosť viac ako jednej odľahlej hodnoty nemusí byť zachytená, podobne ako pri Grubbsovom teste.

Praktický príklad

Usporiadame vzorku $X_{(1)}$, $X_{(2)}$, ..., $X_{(n)}$ a pre $X_{(n)}$ vypočítame Dixonovu štatistiku napr. vo forme $$Q = \frac{X_{(n)} - X_{(n-1)}}{X_{(n)} - X_{(1)}}$$ Podľa tabuľkových kritických hodnôt pre konkrétne $n$ rozhodneme o odmietnutí H0.

3) Hampelov test

Kedy použiť

  • Keď chceme neparametrický prístup bez predpokladu normality.
  • Keď v dátach môže byť viacero odľahlých hodnôt.

Princíp

  • Nepoužíva klasické testovanie hypotéz. Pre každú hodnotu v súbore sa vypočíta robustná charakteristika založená na mediáne a robustnej miere rozptylu (napr. median absolute deviation).
  • Hodnoty prekračujúce prednastavené prahy sú označené za odľahlé.

Definícia: Median absolute deviation (MAD) je definovaný ako $\mathrm{MAD} = \mathrm{median}\left(,|X_i - \mathrm{median}(X)|,\right)$ a je robustná odchýlka voči extrémnym hodnotám.

Silné stránky

  • Nevyžaduje normalitu.
  • Odolný voči viacerým extrémnym hodnotám, pretože medián a MAD neovplyvňujú extrémy tak silno ako priemer a smerodajná odchýlka.
  • Vhodný pre automatizované označovanie odľahlých pozorovaní.

Postup (zjednodušene)

  1. Vypočít
Zaregistruj sa pre celé zhrnutie
KartičkyTest znalostíZhrnutiePodcastMyšlienková mapa
Začni zadarmo

Už máš účet? Prihlásiť sa

Detekcia odľahlých hodnôt

Klíčová slova: Induktívna štatistika a testovanie dát, Testy na detekciu odľahlých hodnôt, Neparametrické štatistické testy

Klíčové pojmy: Grubbsov test kontroluje jednu extrémnu hodnotu za predpokladu normality, Grubbsova štatistika: $G = \max_i \frac{|X_i - \overline{X}|}{S}$, Grubbsov test trpí maskovaním pri viacerých odľahlých hodnotách, Dixonov test testuje extrém $X_{(n)}$ voči susedom v usporiadanom rade, Dixonov test vyžaduje normalitu a často používa tabuľkové kritické hodnoty, Hampelov test je neparametrický a nepoužíva predpoklad normality, MAD: $\mathrm{MAD} = \mathrm{median}\left(|X_i - \mathrm{median}(X)|\right)$ slúži ako robustná mierka rozptylu, Robustná vzdialenosť: $R_i = \frac{|X_i - m|}{\mathrm{MAD}}$ a prahy (napr. $3$) označia odľahlé hodnoty, Pred testovaním vždy vykreslite dáta (histogram, boxplot), Nevymazávajte odľahlé hodnoty bez preskúmania ich príčiny

## Úvod Detekcia odľahlých hodnôt je praktická zručnosť pri práci s dátami: pomáha odhaliť meracie chyby, zmeny v procese alebo skutočne neobvyklé pozorovania, ktoré môžu skresľovať analýzu. V tomto materiáli sa pozrieme na tri konkrétne testy: **Grubbsov test**, **Dixonov test** a **Hampelov test**. Pre každú metódu vysvetlíme princíp, predpoklady, silné a slabé stránky a ukážeme praktické príklady. > Definícia: Odľahlá hodnota (outlier) je pozorovanie, ktoré výrazne odlišuje sa od zvyšku dát a môže byť výsledkom chyby merania, špecifickej poruchy alebo skutočne zriedkavej udalosti. ## Základné kroky pri detekcii odľahlých hodnôt 1. Preskúmať dáta graficky: histogram, boxplot, rozptylový diagram. 2. Overiť predpoklady testu (napr. normalitu) ak to test vyžaduje. 3. Vybrať vhodný test podľa veľkosti vzorky a povahy problému. 4. Ak test nájde odľahlú hodnotu, rozhodnúť sa, či ju odstrániť, opraviť alebo ponechať s poznámkou. ## 1) Grubbsov test ### Kedy použiť - Keď máme náhodnú i.i.d. vzorku veľkosti $n$ a predpokladáme normalitu. - Testuje sa prítomnosť práve jednej extrémnej hodnoty. ### Princíp - H0: v súbore nie je extrémna hodnota. - H1: v súbore je aspoň jedna extrémna hodnota. - Štatistika testu je založená na maximálnom absolútnom rozdiele medzi pozorovaním a priemerom v pomere k smerodajnej odchýlke, teda typicky $$G = \max_i \frac{|X_i - \overline{X}|}{S}$$ kde $\overline{X}$ je priemer vzorky a $S$ je smerodajná odchýlka. ### Silné stránky - Jednoduchý výpočet a jasný kritériový postup pri jednej odľahčenej hodnote. ### Nevýhody - Test sa realizuje **naraz iba pre práve jednu hodnotu**. Ak je v súbore viac odľahlých hodnôt, tieto môžu maskovať jedna druhú a spôsobiť, že test ich nenájde (efekt nazývaný „masking“). - Vyžaduje predpoklad normality; ak je porušený, výsledok nemusí byť spoľahlivý. ### Praktický príklad Máme vzorku $n=10$ meraní: $2.1$, $2.3$, $2.0$, $2.2$, $50.0$, $2.1$, $2.2$, $2.0$, $2.3$, $2.1$. Pri výpočte $\overline{X}$ a $S$ bude hodnota $50.0$ značne ovplyvňovať $\overline{X}$ a $S$, ale vzhľadom na veľký rozptyl môže byť štatistika $G$ nižšia, než by sme očakávali pri izolovanom extréme; v takom prípade pomôže alternatívny prístup alebo iteratívne odstraňovanie overovaných extrémov. ## 2) Dixonov test ### Kedy použiť - Pre malé až stredné vzorky usporiadané vzostupne $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$. - Predpokladá sa normalita. ### Princíp - Testuje sa, či najväčšia hodnota $X_{(n)}$ (alebo najmenšia $X_{(1)}$) je odľahlá voči ostatným. - Štatistika využíva vzdialenosť medzí extrémom a susedným poradie v pomere k celkovej variabilite vzorky (rôzne verzie testu pre rôzne $n$ majú špecifické kritériá). ### Nevýhody - Predpoklad normality. - Prítomnosť viac ako jednej odľahlej hodnoty nemusí byť zachytená, podobne ako pri Grubbsovom teste. ### Praktický príklad Usporiadame vzorku $X_{(1)}$, $X_{(2)}$, ..., $X_{(n)}$ a pre $X_{(n)}$ vypočítame Dixonovu štatistiku napr. vo forme $$Q = \frac{X_{(n)} - X_{(n-1)}}{X_{(n)} - X_{(1)}}$$ Podľa tabuľkových kritických hodnôt pre konkrétne $n$ rozhodneme o odmietnutí H0. ## 3) Hampelov test ### Kedy použiť - Keď chceme neparametrický prístup bez predpokladu normality. - Keď v dátach môže byť viacero odľahlých hodnôt. ### Princíp - Nepoužíva klasické testovanie hypotéz. Pre každú hodnotu v súbore sa vypočíta robustná charakteristika založená na mediáne a robustnej miere rozptylu (napr. median absolute deviation). - Hodnoty prekračujúce prednastavené prahy sú označené za odľahlé. > Definícia: Median absolute deviation (MAD) je definovaný ako $\mathrm{MAD} = \mathrm{median}\left(\,|X_i - \mathrm{median}(X)|\,\right)$ a je robustná odchýlka voči extrémnym hodnotám. ### Silné stránky - Nevyžaduje normalitu. - Odolný voči viacerým extrémnym hodnotám, pretože medián a MAD neovplyvňujú extrémy tak silno ako priemer a smerodajná odchýlka. - Vhodný pre automatizované označovanie odľahlých pozorovaní. ### Postup (zjednodušene) 1. Vypočít