Zusammenfassung von Maximum-Likelihood-Schätzung und numerische Methoden

## Einführung Stichproben und Punktschätzung sind zentrale Werkzeuge der statistischen Inferenz. Ziel ist es, aus einer Stichprobe Eigenschaften einer Grundgesamtheit zu schätzen und Aussagen über deren Genauigkeit zu machen. In diesem Material betrachten wir insbesondere den Stichprobenmittelwert, seine Verteilung und allgemeine Konzepte zur Konstruktion von Schätzverfahren. ## Grundbegriffe > **Definition:** Eine Stichprobe ist eine endliche Teilmenge von Beobachtungen, die aus einer Grundgesamtheit entnommen wurde. Ein Punktschätzer ist eine Funktion der Stichprobe, die einen einzelnen Schätzwert für einen unbekannten Parameter liefert. ### Stichprobenmittelwert Der Stichprobenmittelwert einer Stichprobe $X_1,\dots,X_n$ ist $$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$$ Er ist ein zentraler Punktschätzer für den Erwartungswert $\mu = E[X_i]$ der Grundgesamtheit. > **Definition:** Der Stichprobenmittelwert $\overline{X}$ ist ein Schätzer für den Parameter $\mu$ der Grundgesamtheit. Wesentliche Eigenschaften: - Erwartung: $E[\overline{X}] = \mu$ bei unabhängigen identisch verteilten (i.i.d.) Beobachtungen. - Varianz: $\operatorname{Var}(\overline{X}) = \frac{\sigma^2}{n}$, wobei $\sigma^2$ die Varianz der Grundgesamtheit ist. ### Asymptotische Normalität Unter milden Voraussetzungen (z. B. i.i.d. mit endlichem Erwartungswert und Varianz) gilt das zentrale Grenztheorem (ZGT): $$\sqrt{n}\left(\overline{X} - \mu\right) \xrightarrow{d} N\left(0,\sigma^2\right)$$ Das bedeutet, dass für große $n$ die Verteilung von $\overline{X}$ näherungsweise normal mit Mittelwert $\mu$ und Varianz $\sigma^2/n$ ist. Praktische Folgen: - Für große Stichproben kann man $\overline{X}$ mit einer Normalverteilung nähern und so Konfidenzintervalle konstruieren. - Die Standardabweichung von $\overline{X}$ ist $\sigma_{\overline{X}} = \sigma / \sqrt{n}$; die Genauigkeit steigt mit $\sqrt{n}$. Fun fact: Die Normalapproximation des Stichprobenmittelwerts gilt oft erstaunlich gut selbst bei moderaten Stichprobengrößen, z. B. $n\approx 30$, sofern die Grundgesamtheit nicht extrem schief ist. ## Verteilung der Grundgesamtheit vs. Verteilung des Mittelwerts | Aspekt | Grundgesamtheit | Stichprobenmittelwert $\overline{X}$ | |---|---:|---:| | Zufallsvariable | $X$ | $\overline{X}$ | | Erwartungswert | $\mu$ | $E[\overline{X}] = \mu$ | | Varianz | $\sigma^2$ | $\sigma^2 / n$ | | Form | beliebig | nähert sich Normalverteilung (ZGT) | ### Beispiel: Binomialverteilung und Stichprobenanteil Betrachte eine Fertigung mit unbekanntem Fehleranteil $\theta$. In einer Stichprobe der Größe $n$ ist die Anzahl fehlerhafter Teile $X$ binomialverteilt: $$P(X=x) = \binom{n}{x} \theta^x \left(1-\theta\right)^{n-x}$$ Der Stichprobenanteil ist $\hat{p} = X/n$ mit Erwartungswert $E[\hat{p}] = \theta$ und Varianz $\operatorname{Var}(\hat{p}) = \theta(1-\theta)/n$. Praktisches Beispiel (aus der Vorlesung): Bei $n=5$ und $X=2$ ergibt sich $\hat{p}=0{,}4$. Die Wahrscheinlichkeit, genau zwei Fehler zu beobachten, ist $$P(X=2)=\binom{5}{2}\theta^2\left(1-\theta\right)^{3}$$ Diese Funktion in $\theta$ zeigt, bei welchem Grundgesamtheitsanteil die beobachtete Stichprobe am wahrscheinlichsten ist. > **Definition:** Ein Schätzer ist erwartungstreu, wenn $E[\hat{\theta}] = \theta$ gilt. ## Konstruktion von Schätzverfahren (Überblick) Zwei verbreitete Prinzipien zur Konstruktion von Schätzern sind: 1. Methode der kleinsten Quadrate (Least Squares) 2. Maximum-Likelihood-Prinzip (Hinweis: die Details zur numerischen Maximierung sind hier nicht enthalten) Wichtige Kriterien bei der Auswahl eines Schätzers: - Erwartungstreue - Konsistenz: $\hat{\theta}_n \xrightarrow{p} \theta$ für $n \to \infty$ - Effizienz: möglichst kleine Varianz (nah an der Cramér-Rao-Untergrenze) - Robustheit gegenüber Modellabweichungen ## Praxis: Anwendungsschritte beim Schätzen 1. Modellformulierung: Wahl einer Wahrscheinlichkeitsverteilung für Daten. 2. Wahl eines Schätzverfahrens: z. B. Methode der kle