Zhrnutie na Základy štatistiky: Odhad a testovanie hypotéz
Základy štatistiky: Odhad a Testovanie Hypotéz - Komplexný Sprievodca
Úvod
Statistické odhady a inferencia jsou klíčovou součástí matematické statistiky zaměřenou na odhadování neznámých parametrů rozdělení a na kvantifikaci nejistoty spojené s těmito odhady. Tento materiál se věnuje bodovým a intervalovým odhadům, základním konstrukčním metodám (metoda momentů a metoda maximální věrohodnosti) a fundamentálnímu pojmu Cramér–Raoovy dolní hranice a efektivitě odhadů.
Definice: Bodový odhad je jediná hodnota, kterou používáme jako odhad skutečné hodnoty parametru. Intervalový odhad je interval, ve kterém s danou pravděpodobností leží skutečný parametr.
1. Bodové odhady
Bodový odhad poskytuje konkrétní číslo pro neznámý parametr. Důležité vlastnosti odhadů jsou:
- nestrannost: odhad $T_n$ je nestranný pro parametr $\theta$, pokud $E_\theta[T_n]=\theta$;
- konzistence: $T_n$ je konzistentní pokud $T_n \xrightarrow{P} \theta$ při $n \to \infty$;
- efektivita: měří, jak blízko je rozptyl odhadu dolní hranici, kterou dává Cramér–Raoova nerovnost.
Cramér–Raoova dolní hranice
Definice: Pro regulární odhad $T_n$ platí dolní hranice střední kvadratické chyby (MSE):
$$\mathrm{MSE}(T_n) \ge \frac{\left(1 + b'(\theta)\right)^2}{J(\theta)}$$
kde $b(\theta)$ je zkreslení (bias) a $J(\theta)$ je Fisherova informace. Pro nestranný odhad se zjednodušuje na
$$\mathrm{Var}(T_n) \ge \frac{1}{J(\theta)}.$$
- Efektivita (vydatnost) nestranného odhadu je definována jako
$$e = \frac{1}{\mathrm{Var}(T_n) \cdot J(\theta)}.$$
Pokud $e=1$, odhad je efektivní a jeho rozptyl dosahuje Cramér–Raoovy dolní hranice.
Metody konstrukce bodových odhadů
Existují dvě základní a často používané metody:
- Metoda momentů
- Metoda maximální věrohodnosti (MLE)
Metoda momentů
Hlavní myšlenka: výběrové momenty konvergují k teoretickým momentům podle zákona velkých čísel.
Postup:
- Vypočteme první $m$ výběrových momentů $\dfrac{1}{n}\sum_{i=1}^{n} X_i$, $\dfrac{1}{n}\sum_{i=1}^{n} X_i^2$, ...
- Položíme je rovné teoretickým momentům $E[X]$, $E[X^2]$, ... vyjádřeným pomocí neznámých parametrů $\theta=(\theta_1,\dots,\theta_m)$.
- Řešením systému dostaneme odhad $\tilde{\theta}$.
Příklad: Pro exponenciální rozdělení s parametrem $\lambda$ platí $E[X]=1/\lambda$. Pokud máme výběrový průměr $\bar X$, pak metodou momentů je $\tilde{\lambda}=1/\bar X$.
Metoda maximální věrohodnosti (MLE)
Hlavní myšlenka: vybereme hodnoty parametrů, které maximalizují pravděpodobnost pozorovaných dat.
- Vierohodnost (likelihood) je
$$L(\theta; x)=\prod_{i=1}^{n} f(x_i;\theta).$$
- V praxi maximalizujeme log-vierohodnost
$$\ell(\theta; x)=\ln L(\theta; x)=\sum_{i=1}^{n} \ln f(x_i;\theta).$$
- Podmínka prvého řádu pro extrémum je
$$\frac{\partial}{\partial \theta_k} \ell(\theta; x)=0\quad\text{pro }k=1,\dots,m.$$
Po nalezení kandidáta je třeba ověřit, že jde skutečně o maximum (kontrola druhých derivací nebo informace).
Příklad: Pro normální rozdělení $N(\mu,\sigma^2)$ s neznámým $\mu$ a známým $\sigma^2$ je MLE pro $\mu$ právě výběrový průměr $\hat{\mu}=\bar X$.
Tabulka: porovnání metod
| Kritérium | Metoda momentů | MLE |
|---|---|---|
| Náročnost výpočtu | nižší | vyšší |
| Asymptotická efektivita | ne vždy | obvykle asymptoticky efektivní |
| Závislost na modelu | slabší | silně modelově závislá |
2. Intervalové odhady
Intervalový odhad dává rozsah hodnot, ve kterém se s danou spolehlivostí nachází skutečný parametr.
Definice: 100$(1-\alpha)$% interval spolehlivosti pro funkci parametru $\gamma(\theta)$ je interval $[D,H]$, kde
$$P_\theta\left(D(X_1,\dots,X_n) \le \gamma(\theta) \le H(X_1,\dots,X_n)\right)=1-\alpha.$$
Číslo $1-\alpha$ se nazývá spolehlivost (např. 95% interval má $\alpha=0.05$).
Postup konstrukce intervalového odhadu
- N
Zaregistruj se pro celé shrnutíUž máš účet? Prihlásiť sa
Statistické odhady a inferencia
Klíčové pojmy: Bodový odhad je jednočíselný odhad parametru, Intervalový odhad dává 100(1-\alpha)\% interval pokrývání, Cramér–Rao: \mathrm{Var}(T_n) \ge 1/J(\theta) pro nestranné odhady, Efektivita e = 1/(\mathrm{Var}(T_n)\,J(\theta)) měří blízkost dolní hranici, Metoda momentů: nahradíme teoretické momenty výběrovými, MLE maximalizuje log-vierohodnost \ell(\theta; x)=\sum \ln f(x_i;\theta), Pivotová statistika má rozdělení nezávislé na neznámých parametrech, Pro normální s neznámým \sigma pivot pro \mu je T= (\bar X-\mu)/(S/\sqrt{n}) ~ t_{n-1}, Pro známé \sigma pivot pro \mu je Z=(\bar X-\mu)/(\sigma/\sqrt{n}) ~ N(0,1), Použijte kvantily (u_\alpha, t_\alpha, \chi^2_\alpha, F_\alpha) při konstrukci intervalů