Maximum-Likelihood-Schätzung und numerische Methoden

Die Maximum-Likelihood-Schätzung ist ein fundamentales Verfahren in der Statistik, um unbekannte Parameter von Wahrscheinlichkeitsverteilungen aus beobachteten Daten zu schätzen. In vielen Fällen lassen sich diese Schätzer analytisch bestimmen. Doch wenn eine geschlossene Formel nicht möglich ist, kommen numerische Methoden ins Spiel. Dieser Artikel erklärt die Grundlagen der Maximum-Likelihood-Schätzung und wie numerische Verfahren, insbesondere das Newton-Verfahren, angewendet werden, um optimale Schätzwerte zu finden.

Grundlagen der Schätzverfahren und Maximum-Likelihood-Methode

In der Statistik ist die Konstruktion von Schätzverfahren entscheidend, um aus einer Stichprobe Rückschlüsse auf die zugrunde liegende Grundgesamtheit zu ziehen. Bisher wurden hauptsächlich die Eigenschaften von Schätzfunktionen untersucht. Nun geht es darum, wie solche Schätzfunktionen überhaupt gefunden werden, die bestimmte Kriterien erfüllen.

Die zwei wichtigsten Verfahren zur Konstruktion von Schätzfunktionen sind:

• (i) Die Methode der kleinsten Quadrate (nach C. F. Gauß, die später behandelt wird)
• (ii) Die Maximum-Likelihood-Methode (ML), eingeführt von R. A. Fisher

Was ist die Maximum-Likelihood-Schätzung?

Die Maximum-Likelihood-Methode (ML) zielt darauf ab, den Parameter einer Grundgesamtheit so zu schätzen, dass die Wahrscheinlichkeit, die tatsächlich beobachtete Stichprobe zu erhalten, maximiert wird. Man sucht also den Parameterwert, der die höchste "Mutmaßlichkeit" (Likelihood) für die beobachteten Daten liefert.

Beispiel zur Maximum-Likelihood-Methode: Fehlerhafte Mikroprozessoren

Stellen Sie sich vor, aus einem großen Fertigungslos von Mikroprozessoren wird eine Stichprobe von $n = 5$ Stück mit Zurücklegen gezogen. Dabei erweisen sich $x = 2$ Stück als untauglich, was einem Fehleranteil in der Stichprobe von $p = x/n = 0,4$ entspricht.

Wenn der Fehleranteil $\theta$ der Grundgesamtheit bekannt wäre, könnte die Wahrscheinlichkeit für $p = 0,4$ mithilfe der Binomialverteilung berechnet werden. Die Anzahl $X$ der fehlerhaften Stücke in der Stichprobe ist binomialverteilt:

$W(X = x) = f_B(x/n; \theta) = \binom{n}{x} \theta^x (1 - \theta)^{n - x}$

Für unser Beispiel ($n=5, x=2$) gilt:

$W(X = 2) = W(P = 0,4/\theta) = \binom{5}{2} \theta^2 (1 - \theta)^3$

Wir stellen uns nun vor, dass die Stichprobe aus Grundgesamtheiten mit unterschiedlichen Fehleranteilen (z. B. $\theta_1 = 0$, $\theta_2 = 0,1$, $\theta_3 = 0,2$,...) gezogen wurde. Wir berechnen für jeden dieser \theta-Werte die Wahrscheinlichkeit, dass unsere Stichprobe einen Fehleranteil von $p = 0,4$ aufweist:

Die maximale Wahrscheinlichkeit $W(X = 2 / \theta)$ tritt bei einem Fehleranteil von $\theta = 0,4$ auf. Der Maximum-Likelihood-Schätzwert $\hat{\theta}$ für den unbekannten Anteilswert der Grundgesamtheit ist also gleich dem Stichprobenanteilswert $p$: $\hat{\theta} = p = 0,4$.

Die Likelihood-Funktion und ihr Logarithmus

Bei der Berechnung der einzelnen Wahrscheinlichkeiten waren $n$ und $x$ fest vorgegeben, während $\theta$ variabel war. Eine Funktion, bei der der Parameter der Grundgesamtheit die Variable ist, wird als Likelihood-Funktion $L(\theta)$ bezeichnet:

$L(\theta) = \binom{n}{x} \theta^x (1 - \theta)^{n - x}$

Der Maximum-Likelihood-Schätzwert $\hat{\theta}$ ist derjenige Wert von $\theta$, der die Likelihood-Funktion maximiert.

Bestimmung des Maximums durch Differentialrechnung

Um ein Maximum von $L(\theta)$ zu finden, wird die erste Ableitung nach $\theta$ gebildet und gleich null gesetzt:

$\frac{dL(\theta)}{d\theta} = 0$

Die erste Ableitung der Funktion ist:

$\frac{dL(\theta)}{d\theta} = \binom{n}{x} (x \theta^{x-1} (1 - \theta)^{n-x} - \theta^x (n - x) (1 - \theta)^{n-x-1})$

Setzt man diese Ableitung gleich 0 und teilt durch $\binom{n}{x}$, $\theta^{x-1}$ und $(1-\theta)^{n-x-1}$, erhält man:

$x(1-\theta) - \theta(n-x) = 0$

Daraus ergibt sich:

$x - x\hat{\theta} = n\hat{\theta} - x\hat{\theta}$

Oder vereinfacht:

$\hat{\theta} = \frac{x}{n} = p$

Maximierung der Log-Likelihood-Funktion

Aus rechentechnischen Gründen wird oft nicht die Likelihood-Funktion $L(\theta)$ selbst maximiert, sondern ihr natürlicher Logarithmus $\ln L(\theta)$. Da der Logarithmus eine streng monotone Transformation ist, nimmt die Funktion $\ln L(\theta)$ an der gleichen Stelle ihr Maximum an wie die ursprüngliche Funktion $L(\theta)$.

Der Logarithmus der Likelihood-Funktion ist:

$\ln L(\theta) = \ln \binom{n}{x} + x \ln \theta + (n - x) \ln (1 - \theta)$

Die erste Ableitung der Log-Likelihood-Funktion ist:

$\frac {d \ln L (\theta)}{d \theta} = \frac {x}{\theta} - \frac {n - x}{1 - \theta}$

Setzt man diese Ableitung gleich 0, erhält man wieder die Bestimmungsgleichung:

$\frac {x}{\hat {\theta}} - \frac {n - x}{1 - \hat {\theta}} = 0$

Was wiederum zu $\hat{\theta} = \frac{x}{n} = p$ führt. Es lässt sich auch zeigen, dass für $\theta = x/n$ die zweite Ableitung negativ wird, was ein Maximum bestätigt. Die Zufallsvariable $P$ stellt somit die ML-Schätzfunktion für $\theta$ dar.

Weitere Beispiele zur Maximum-Likelihood-Schätzung

Die Maximum-Likelihood-Methode ist vielseitig einsetzbar:

• Für den Parameter $\mu$ der Poissonverteilung ist der ML-Schätzwert das arithmetische Mittel der Stichprobe $\bar{x}$: $\hat{\mu} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$.
• Bei der Normalverteilung ist der ML-Schätzwert für das arithmetische Mittel $\mu$ ebenfalls das arithmetische Mittel der Stichprobe $\bar{x}$: $\hat{\mu} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$.
• Als ML-Schätzwert für die Varianz $\sigma^2$ der Normalverteilung ergibt sich der verzerrte, aber konsistente Schätzwert: $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$.

Asymptotische Normalität des Stichprobenmittelwerts

Ein wichtiger Aspekt in der Statistik ist die asymptotische Normalität des Stichprobenmittelwerts. Gemäß dem zentralen Grenzwertsatz nähert sich die Verteilung des Stichprobenmittelwerts $\overline{X}$ bei wachsendem Stichprobenumfang einer Normalverteilung an, selbst wenn die ursprüngliche Verteilung der Grundgesamtheit nicht normalverteilt ist. Dies ist eine grundlegende Eigenschaft für viele statistische Inferenzverfahren.

Numerische Methoden zur Maximum-Likelihood-Schätzung

Nicht immer lässt sich die Nullstelle der Ableitung der Log-Likelihood-Funktion algebraisch ermitteln. In solchen Fällen kommen numerische Methoden zum Einsatz, um den Maximum-Likelihood-Schätzwert näherungsweise zu bestimmen. Ein bekanntes und effizientes Verfahren hierfür ist das Newton-Verfahren, benannt nach I. Newton.

Das Newton-Verfahren im Detail

Das Newton-Verfahren ist eine rekursive Berechnungsvorschrift zur Annäherung von Nullstellen einer Funktion. Um das Maximum der Log-Likelihood-Funktion zu finden, suchen wir die Nullstelle ihrer ersten Ableitung, also $g(\theta) = \frac{d \ln L}{d\theta}(\theta)$.

Die rekursive Formel für das eindimensionale Newton-Verfahren, ausgehend von einem willkürlich gewählten Startwert $\hat{\theta}^{(0)}$, lautet:

$\hat{\theta}^{(l+1)} = \hat{\theta}^{(l)} - \left[ \frac{d^2 \ln L}{d\theta^2} (\hat{\theta}^{(l)}) \right]^{-1} \frac{d \ln L}{d\theta} (\hat{\theta}^{(l)})$

Dies lässt sich auch als $\hat{\theta}^{(l+1)} = \hat{\theta}^{(l)} - \frac{g(\hat{\theta}^{(l)})}{g'(\hat{\theta}^{(l)})}$ schreiben. Das Verfahren nähert sich der Nullstelle (hier $\hat{\theta}$) der Funktion $g(\theta)$ an, indem es von einer Stelle $\hat{\theta}^{(l)}$ aus eine Tangente an den Graphen von $g(\theta)$ legt und den Schnittpunkt dieser Tangente mit der $\theta$-Achse als nächste Annäherung $\hat{\theta}^{(l+1)}$ verwendet. Man bewegt sich dabei um den Betrag $\frac{g(\hat{\theta}^{(l)})}{g'(\hat{\theta}^{(l)})}$ nach links (oder rechts, je nach Steigung und Funktionswert).

Die Argumentation gilt auch für negative Werte von $g'(\hat{\theta}^{(l)})$ und $g(\hat{\theta}^{(l)})$. Die rekursive Berechnung wird abgebrochen, wenn das Maximum (bzw. die Nullstelle der Ableitung) hinreichend präzise erreicht ist.

Anwendungsbeispiel des Newton-Verfahrens: Kariesfreie Kinder

Betrachten wir eine Studie mit $n = 1738$ Kindergartenkindern in Südhessen, von denen $x = 1378$ kariesfreie Gebisse haben. Die Anzahl kariesfreier Kinder ist binomialverteilt. Der ML-Schätzer des Anteils kariesfreier Kinder in Südhessen lässt sich direkt berechnen als:

$\hat{\theta} = \frac{1378}{1738} = 0,793$

Alternativ lässt sich das Newton-Verfahren anwenden, um diesen Wert numerisch zu finden. Zusätzlich zur ersten Ableitung wird die zweite Ableitung der logarithmierten Likelihood-Funktion benötigt:

$\frac{d^2 \ln L}{d\theta^2}(\hat{\theta}) = -\frac{x}{\hat{\theta}^2} - \frac{n - x}{(1 - \hat{\theta})^2}$

Nehmen wir einen Startwert von $\hat{\theta}^{(0)} = 0,5$. Berechnen wir die erste und zweite Ableitung an diesem Punkt:

$\frac{d \ln L}{d\theta}(0,5) = \frac{1378}{0,5} - \frac{360}{1 - 0,5} = 2756 - 720 = 2036$

$\frac{d^2 \ln L}{d\theta^2}(0,5) = -\frac{1378}{0,5^2} - \frac{360}{(1 - 0,5)^2} = -\frac{1378}{0,25} - \frac{360}{0,25} = -5512 - 1440 = -6952$

Mit diesen Werten können wir den ersten Schritt des Newton-Verfahrens berechnen:

$\hat{\theta}^{(1)} = 0,5 - \frac{2036}{-6952} = 0,5 + \frac{2036}{6952} \approx 0,5 + 0,293 = 0,793$

Das Verfahren erreicht bereits nach einem Schritt den maximierenden Wert der Likelihood-Funktion (gerundet auf 3 Nachkommastellen), was die Effizienz des Newton-Verfahrens bei geeigneten Startwerten demonstriert.

FAQ zu Maximum-Likelihood-Schätzung und Numerischen Methoden

Was ist der Hauptunterschied zwischen der Maximum-Likelihood-Methode und der Methode der kleinsten Quadrate?

Die Maximum-Likelihood-Methode basiert auf der Wahrscheinlichkeit, die beobachteten Daten bei einem bestimmten Parametersatz zu erhalten. Sie maximiert die Likelihood-Funktion. Die Methode der kleinsten Quadrate minimiert hingegen die Summe der quadrierten Abstände zwischen beobachteten und modellierten Werten und wird oft in der Regressionsanalyse verwendet. Beide dienen der Parameterschätzung, haben aber unterschiedliche theoretische Grundlagen und Anwendungsbereiche.

Wann werden numerische Methoden bei der Maximum-Likelihood-Schätzung benötigt?

Numerische Methoden sind immer dann erforderlich, wenn die erste Ableitung der Log-Likelihood-Funktion nicht analytisch gleich null gesetzt und nach dem Parameter aufgelöst werden kann. Dies ist häufig bei komplexeren Modellen oder Verteilungen der Fall, bei denen die algebraische Lösung zu aufwendig oder unmöglich ist.

Wie funktioniert das Newton-Verfahren zur Schätzung von Parametern?

Das Newton-Verfahren ist ein iterativer Algorithmus, der eine Startschätzung für den Parameter nimmt und diese schrittweise verbessert. Es nutzt die erste und zweite Ableitung der Log-Likelihood-Funktion (bzw. die Funktion, deren Nullstelle gesucht wird, und deren erste Ableitung), um entlang der Tangente die nächste, bessere Schätzung zu finden. Der Prozess wird wiederholt, bis eine ausreichende Konvergenz erreicht ist.

Welche Vorteile bietet die Maximierung der Log-Likelihood-Funktion gegenüber der Likelihood-Funktion selbst?

Die Maximierung der Log-Likelihood-Funktion ist aus rechnerischen Gründen vorteilhaft. Der Logarithmus wandelt Produkte in Summen um, was die Ableitung und Handhabung oft stark vereinfacht. Da der Logarithmus eine streng monotone Funktion ist, hat die Log-Likelihood-Funktion ihr Maximum an der gleichen Stelle wie die ursprüngliche Likelihood-Funktion, sodass das Ergebnis der Schätzung identisch ist.