Maximum-Likelihood-Schätzung und Asymptotische Normalität

Willkommen zu einem tiefgehenden Einblick in zwei zentrale Konzepte der Statistik: die Maximum-Likelihood-Schätzung und die Asymptotische Normalität. Diese Methoden sind unerlässlich, um aus Stichprobendaten verlässliche Aussagen über eine Grundgesamtheit zu treffen. Wir erklären, wie diese statistischen Werkzeuge funktionieren und wie sie dir helfen, Daten besser zu verstehen und zu interpretieren.

Maximum-Likelihood-Schätzung: Das Prinzip der größten Mutmaßlichkeit verstehen

Die Konstruktion von Schätzverfahren ist ein Kernstück der Statistik. Bisher wurden oft die Eigenschaften von Schätzfunktionen betrachtet; nun geht es darum, wie man solche Schätzfunktionen überhaupt findet, die gewünschten Kriterien genügen. Zwei der wichtigsten Verfahren sind die Methode der kleinsten Quadrate und die Maximum-Likelihood-Methode (ML-Methode), die von R. A. Fisher (1890–1962) entwickelt wurde.

Das Prinzip der Maximum-Likelihood-Schätzung basiert auf der Idee, jenen Parameterwert für eine Grundgesamtheit zu finden, der die beobachtete Stichprobe am wahrscheinlichsten macht. Diesen Wert nennt man den Maximum-Likelihood-Schätzwert $\hat{\theta}$. Die Funktion, bei der der Parameter der Grundgesamtheit die Variable ist, wird als Likelihood-Funktion $L(\theta)$ bezeichnet.

Beispiel zur Maximum-Likelihood-Schätzung: Fehleranteil in Mikroprozessoren

Stellen wir uns vor, aus einem Fertigungslos von Mikroprozessoren wird eine Stichprobe von $n = 5$ Stück mit Zurücklegen gezogen und geprüft. Dabei erweisen sich $x = 2$ Stück als untauglich, was einem Fehleranteil in der Stichprobe von $p = x / n = 0,4$ entspricht.

Wenn der wahre Fehleranteil $\theta$ der Grundgesamtheit bekannt wäre, könnte die Wahrscheinlichkeit für $p = 0,4$ mithilfe der Binomialverteilung berechnet werden:

$$W(X = x) = f_B(x/n; \theta) = \binom{n}{x} \theta^x (1 - \theta)^{n - x}$$

Für unser Beispiel bedeutet das:

$$W(X = 2) = W(P = 0,4/\theta) = \binom{5}{2} \theta^2 (1 - \theta)^3$$

Wir stellen uns nun vor, Stichproben aus Grundgesamtheiten mit unterschiedlichen Fehleranteilen (z.B. $\theta_1 = 0$, $\theta_2 = 0,1$, $\theta_3 = 0,2$,...) gezogen wurden. Wir berechnen für jede dieser Annahmen, wie wahrscheinlich es wäre, eine Stichprobe mit einem Fehleranteil von $p = 0,4$ zu beobachten. Der ML-Schätzwert ist dann das $\theta$, bei dem unser beobachtetes Stichprobenergebnis die größte Wahrscheinlichkeit (die größte „Mutmaßlichkeit“) besitzt.

Eine Tabelle zeigt, wie die Wahrscheinlichkeit $L(\theta) = W(P = 0,4/\theta)$ für verschiedene $\theta$-Werte variiert:

Die maximale Wahrscheinlichkeit $W(X = 2 / \theta)$ tritt bei einem Fehleranteil von $\theta = 0,4$ der Grundgesamtheit auf. Der Maximum-Likelihood-Schätzwert $\hat{\theta}$ für den unbekannten Anteilswert der Grundgesamtheit ist somit gleich dem Stichprobenanteilswert $p$: $\hat{\theta} = p = 0,4$.

Bestimmung des Maximum-Likelihood-Schätzwertes mittels Differentialrechnung

Die Likelihood-Funktion für unser Beispiel ist:

$$L(\theta) = \binom{n}{x} \theta^x (1 - \theta)^{n - x}$$

Um das Maximum von $L(\theta)$ zu finden, wird die erste Ableitung nach $\theta$ gebildet und gleich null gesetzt:

$$\frac{dL(\theta)}{d\theta} = \binom{n}{x} (x \theta^{x-1} (1 - \theta)^{n-x} - \theta^x (n - x) (1 - \theta)^{n-x-1}) = 0$$

Nach dem Teilen durch $\binom{n}{x}$, $\theta^{x-1}$ und $(1-\theta)^{n-x-1}$ und Umformen ergibt sich:

$$x(1-\theta) - \theta(n-x) = 0$$ $$x - x\hat{\theta} = n\hat{\theta} - x\hat{\theta}$$ $$x = n\hat{\theta}$$ $$\hat{\theta} = \frac{x}{n} = p$$

Aus rechentechnischen Gründen wird oft nicht die Likelihood-Funktion $L(\theta)$ selbst, sondern ihr natürlicher Logarithmus $\ln L(\theta)$ maximiert. Da der Logarithmus eine streng monotone Transformation ist, nehmen beide Funktionen an der gleichen Stelle ihr Maximum an.

Der Logarithmus der Likelihood-Funktion ist:

$$\ln L(\theta) = \ln \binom{n}{x} + x \ln \theta + (n - x) \ln (1 - \theta)$$

Die erste Ableitung der logarithmierten Likelihood-Funktion ist:

$$\frac {d \ln L (\theta)}{d \theta} = \frac {x}{\theta} - \frac {n - x}{1 - \theta}$$

Setzt man diese gleich 0, erhält man die Bestimmungsgleichung:

$$\frac {x}{\hat{\theta}} - \frac {n - x}{1 - \hat{\theta}} = 0$$

Daraus ergibt sich wieder $\hat{\theta} = \frac{x}{n} = p$.

Zudem lässt sich zeigen, dass für $\theta = x/n$ die zweite Ableitung negativ wird, was ein Maximum an dieser Stelle bestätigt. Die Zufallsvariable $P$ stellt somit die ML-Schätzfunktion für $\theta$ dar.

Weitere Anwendungsbeispiele der ML-Schätzung

Die Maximum-Likelihood-Methode ist vielseitig einsetzbar:

• Poissonverteilung: Der ML-Schätzwert für den Parameter $\mu$ der Poissonverteilung ist das arithmetische Mittel der Stichprobe $\bar{x}$: $\hat{\mu} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$. Die Zufallsvariable $\bar{X}$ ist hier die ML-Schätzfunktion für $\mu$.
• Normalverteilung: Für den Erwartungswert $\mu$ der Normalverteilung ergibt sich ebenfalls das arithmetische Mittel der Stichprobe $\bar{x}$ als ML-Schätzwert: $\hat{\mu} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$. Als Schätzwert für die Varianz $\sigma^2$ ergibt sich nach der Maximum-Likelihood-Methode der verzerrte, aber konsistente Schätzwert: $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$.

Numerische Verfahren zur Maximum-Likelihood-Schätzung

Wenn die Nullstelle der Ableitung nicht algebraisch ermittelt werden kann, kommt häufig das Newton-Verfahren zur Annäherung von Nullstellen zum Einsatz. Es ist ein iteratives Verfahren, das ausgehend von einem willkürlich gewählten Startwert $\hat{\theta}^{(0)}$ die Nullstelle einer Funktion $g(\theta)$ annähert. Im Kontext der ML-Schätzung ist $g(\theta) = \frac{d \ln L(\theta)}{d\theta}$.

Die rekursive Berechnungsvorschrift des eindimensionalen Newton-Verfahrens lautet:

$$\hat{\theta}^{(l+1)} = \hat{\theta}^{(l)} - \left[ \frac{d^2 \ln L}{d\theta^2} (\hat{\theta}^{(l)}) \right]^{-1} \frac{d \ln L}{d\theta} (\hat{\theta}^{(l)})$$

Man nähert sich der Nullstelle $\hat{\theta}$ von $g(\theta)$ an, indem man von einer Stelle $\hat{\theta}^{(l)}$ aus entlang der Tangente zur $\theta$-Achse geht. Der Schritt von $\hat{\theta}^{(l)}$ zu $\hat{\theta}^{(l+1)}$ erfolgt durch Subtraktion des Verhältnisses von Funktionswert und Steigung der Tangente. Das Verfahren wird abgebrochen, wenn das Maximum hinreichend präzise erreicht ist.

Numerisches Beispiel: Kariesfreie Kinder

Betrachten wir eine Studie von $n = 1738$ Kindergartenkindern in Südhessen, von denen $x = 1378$ kariesfreie Gebisse haben. Der ML-Schätzer des Anteils kariesfreier Kinder in Südhessen ist leicht zu berechnen als:

$$\hat{\theta} = \frac{1378}{1738} = 0,793$$

Alternativ lässt sich das Newton-Verfahren anwenden. Dazu wird zusätzlich zur ersten Ableitung die zweite Ableitung der logarithmierten Likelihood-Funktion benötigt:

$$\frac{d^2 \ln L}{d\theta^2}(\hat{\theta}) = -\frac{x}{\hat{\theta}^2} - \frac{n - x}{(1 - \hat{\theta})^2}$$

Bei einem Startwert von $\hat{\theta}^{(0)} = 0,5$ erhalten wir:

• Erste Ableitung: $\frac{d \ln L}{d\theta}(0,5) = \frac{1378}{0,5} - \frac{360}{1 - 0,5} = 2036$
• Zweite Ableitung: $\frac{d^2 \ln L}{d\theta^2}(0,5) = -6952$

Setzen wir diese Werte in die Formel des Newton-Verfahrens ein:

$$\hat{\theta}^{(1)} = 0,5 - \left[ -\frac{1}{6952} \right] (2036) = 0,5 + \frac{2036}{6952} \approx 0,793$$

Das Verfahren erreicht hier bereits nach einem Schritt den maximierenden Wert (gerundet auf 3 Nachkommastellen).

Asymptotische Normalität des Stichprobenmittelwerts

Die asymptotische Normalität ist eine wichtige Eigenschaft in der Statistik, die besagt, dass die Verteilung des Stichprobenmittelwerts unter bestimmten Bedingungen mit wachsender Stichprobengröße sich einer Normalverteilung annähert. Dies ist eng mit dem Zentralen Grenzwertsatz verbunden, der eine fundamentale Rolle in der Inferenzstatistik spielt.

Verteilung der Grundgesamtheit und des Stichprobenmittelwertes

Unabhängig von der ursprünglichen Verteilung der Grundgesamtheit nähert sich die Verteilung des Stichprobenmittelwertes $\overline{X}$ bei großem Stichprobenumfang $n$ einer Normalverteilung an. Dies ermöglicht es, auch bei nicht normalverteilten Daten Stichprobentheorie und statistische Tests auf Basis der Normalverteilung anzuwenden.

Die Asymptotik des Stichprobenmittelwerts ist ein klassisches Beispiel hierfür und wird unter anderem in den Lehrbüchern von Bleymüller/Weißbach/Dörre (Abs. 13.1 und Kapitel 10 der Formelsammlung) behandelt. Es ist ein Beweis für die Robustheit statistischer Schätzverfahren bei ausreichend großen Stichproben.

Häufig gestellte Fragen zu Maximum-Likelihood-Schätzung und Asymptotischer Normalität

Was ist der Hauptunterschied zwischen der Maximum-Likelihood-Schätzung und anderen Schätzverfahren?

Der Hauptunterschied der Maximum-Likelihood-Schätzung besteht darin, dass sie den Parameterwert einer Grundgesamtheit schätzt, der die Wahrscheinlichkeit der beobachteten Stichprobendaten maximiert. Andere Verfahren, wie die Methode der kleinsten Quadrate, minimieren beispielsweise die Summe der quadrierten Fehler. ML ist besonders effizient bei der Konstruktion konsistenter und asymptotisch effizienter Schätzer.

Wann ist die Asymptotische Normalität besonders relevant für Statistiker?

Die asymptotische Normalität ist besonders relevant, wenn die genaue Verteilung der Stichprobenstatistik bei kleinen Stichproben unbekannt oder schwierig zu handhaben ist. Sie ermöglicht es Statistikern, unter der Annahme großer Stichprobenumfänge Schlussfolgerungen zu ziehen und Konfidenzintervalle zu konstruieren, da die Verteilung der Schätzer sich dann der Normalverteilung annähert, was analytisch gut beherrschbar ist.

Kann man die Maximum-Likelihood-Schätzung immer analytisch lösen?

Nein, die Maximum-Likelihood-Schätzung kann nicht immer analytisch gelöst werden. Wie im Artikel beschrieben, erfordert die Bestimmung des Maximums oft das Nullsetzen der ersten Ableitung der Likelihood-Funktion (oder ihrer logarithmischen Form). In komplexeren Fällen führt dies zu Gleichungen, die keine einfache analytische Lösung haben. In solchen Situationen müssen numerische Verfahren wie das Newton-Verfahren eingesetzt werden, um den Schätzwert iterativ zu approximieren.

Welche Lehrbücher sind für ein tieferes Verständnis der Maximum-Likelihood-Schätzung und Asymptotischen Normalität empfehlenswert?

Für ein tieferes Verständnis werden die Lehrbücher von Bleymüller/Weißbach/Dörre (insbesondere Abschnitte 13.1 und 15.5 im Lehrbuch sowie Kapitel 10 und 17 der Formelsammlung) empfohlen. Diese bieten detaillierte Erklärungen und Formeln zu diesen fundamentalen Konzepten der Statistik, die für Studierende der Grundlagen der Statistik im Rahmen von Vorlesungen zu Stichprobe und Punktschätzung relevant sind.