Podcast über Maximum-Likelihood-Schätzung und numerische Methoden

Kapitoly

Der geniale Trick mit Stichproben

Die Schätzmethode für Detektive

Das Mikrochip-Mysterium

Die Lösung des Rätsels

Die Likelihood-Funktion

Das Maximum finden

Der Log-Likelihood-Trick

ML in anderen Verteilungen

Wenn Algebra nicht reicht

Das Newton-Verfahren erklärt

Ein praktisches Beispiel

Zusammenfassung und Ausblick

Přepis

Niklas: Stell dir vor, ein riesiges Tech-Unternehmen produziert Millionen von Mikrochips. Wie finden die heraus, wie hoch der Anteil an fehlerhaften Chips ist, ohne jeden einzelnen zu testen? Das wäre ja Wahnsinn!

Hannah: Exakt! Sie machen etwas viel Klügeres: Sie ziehen eine Stichprobe. Und genau darum geht es heute. Willkommen beim Studyfi Podcast.

Niklas: Also, wir nehmen uns einen kleinen Teil – die Stichprobe – um eine Aussage über das große Ganze zu treffen, die Grundgesamtheit. Das klingt erstmal logisch.

Hannah: Genau. Aber die spannende Frage ist: Wie kommen wir von einer kleinen Stichprobe zu einer möglichst guten Schätzung für die Gesamtheit? Dafür gibt es clevere Verfahren.

Niklas: Okay, ich bin gespannt. Welches Verfahren schauen wir uns an?

Hannah: Wir starten mit der Maximum-Likelihood-Methode. Klingt kompliziert, ist aber im Grunde wie Detektivarbeit.

Niklas: Detektivarbeit? Jetzt hast du meine Aufmerksamkeit. Muss ich einen Trenchcoat anziehen?

Hannah: Kannst du machen, ist aber nicht nötig. Stell dir vor, du hast ein Verbrechen – also unser Stichprobenergebnis – und mehrere Verdächtige. Die Verdächtigen sind die möglichen wahren Werte der Grundgesamtheit.

Niklas: Okay, und wie finde ich den Täter?

Hannah: Du fragst: Welcher Verdächtige macht mein beobachtetes Ergebnis am wahrscheinlichsten? Der „wahrscheinlichste“ Verdächtige ist dann unser Schätzwert. Das ist das Prinzip der „größten Wahrscheinlichkeit“ oder eben: Maximum Likelihood.

Niklas: Lass uns das mal am Mikrochip-Beispiel durchspielen. Sagen wir, wir ziehen 5 Chips und stellen fest, 2 davon sind defekt.

Hannah: Perfektes Beispiel. Unser Stichprobenergebnis ist also ein Fehleranteil von 2 aus 5, also 0,4. Jetzt fragen wir uns: Wenn der wahre Fehleranteil im gesamten Fertigungslos zum Beispiel nur 0,1 wäre, wie wahrscheinlich wäre es dann, genau unsere Stichprobe zu ziehen?

Niklas: Vermutlich nicht sehr wahrscheinlich.

Hannah: Richtig! Und was, wenn der wahre Fehleranteil 0,8 wäre? Auch unwahrscheinlich. Die Maximum-Likelihood-Methode rechnet das jetzt für alle möglichen wahren Fehleranteile durch – von 0 bis 1.

Niklas: Und wo ist dann das Maximum? Wo ist die Wahrscheinlichkeit am größten?

Hannah: Genau bei dem Wert, den wir in der Stichprobe beobachtet haben! Die Wahrscheinlichkeit, eine Stichprobe mit einem Fehleranteil von 0,4 zu ziehen, ist am allerhöchsten, wenn der wahre Fehleranteil in der Grundgesamtheit ebenfalls 0,4 beträgt.

Niklas: Ach, so einfach ist das? Der Schätzwert für den wahren Anteil ist also einfach der Anteil in meiner Stichprobe?

Hannah: Genau! In diesem Fall ja. Der Maximum-Likelihood-Schätzwert, den wir mit Theta-Dach bezeichnen, ist also p = 0,4. Das ist die eleganteste und gleichzeitig intuitivste Lösung, die uns dieses Verfahren liefert.

Niklas: Faszinierend. Von einem einfachen Test mit fünf Chips auf die Qualität von Millionen schließen. Das ist schon ziemlich mächtig.

Niklas: Okay, das Konzept der Schätzfunktion ist jetzt klarer. Aber es fühlt sich ein bisschen so an, als würden wir einfach raten. Gibt es eine Methode, um den *besten* Schätzer zu finden?

Hannah: Absolut! Und das führt uns direkt zur Maximum-Likelihood-Schätzung, oder kurz ML-Schätzung. Das ist eine der wichtigsten Ideen in der modernen Statistik.

Niklas: Maximum Likelihood... das klingt schon mal beeindruckend. Was steckt dahinter?

Hannah: Denk an unser Münzwurf-Beispiel. Bisher haben wir gefragt: Wenn die Wahrscheinlichkeit für Kopf, also unser Parameter Theta, 0.5 ist, wie wahrscheinlich ist es, 7 von 10 Mal Kopf zu bekommen?

Niklas: Richtig, das war die Binomialverteilung.

Hannah: Genau. Jetzt drehen wir die Frage um. Wir *haben* 7 von 10 Mal Kopf beobachtet. Und jetzt fragen wir: Welcher Wert für Theta macht dieses Ergebnis am wahrscheinlichsten?

Niklas: Ah, okay. Wir suchen also den Parameter, der am besten zu unseren Daten passt. Wie macht man das mathematisch?

Hannah: Wir stellen eine Funktion auf, die sogenannte Likelihood-Funktion, oft als L von Theta geschrieben. Für unser Beispiel sieht sie genauso aus wie die Formel für die Binomialverteilung, aber wir behandeln jetzt Theta als die Variable, die wir suchen.

Niklas: Und... wie finden wir dann den besten Wert für Theta? Suchen wir einfach den höchsten Punkt auf dem Graphen dieser Funktion?

Hannah: Exakt! Und wie findet man das Maximum einer Funktion? Ich hoffe, der Analysis-Unterricht ist nicht zu lange her.

Niklas: Oh nein... Ableitungen? Bitte sag mir nicht, wir müssen diese riesige Formel ableiten.

Hannah: Doch, genau das tun wir. Aber keine Sorge, es ist einfacher als es aussieht. Wir leiten die Likelihood-Funktion nach Theta ab und setzen das Ergebnis gleich Null.

Niklas: Puh, okay. Das klingt nach einem Haufen Algebra.

Hannah: Ist es auch, aber das Schöne ist, dass sich ganz viel wegkürzt. Wenn man das durchrechnet, kommt am Ende eine verblüffend einfache Lösung raus.

Niklas: Lass mich raten... x geteilt durch n?

Hannah: Genau! Der Maximum-Likelihood-Schätzwert, den wir Theta-Dach nennen, ist einfach x durch n. Also die Anzahl der Erfolge geteilt durch die Anzahl der Versuche. Das ist super intuitiv, oder?

Niklas: Total! All die komplizierte Mathematik führt uns zu dem, was wir uns sowieso schon gedacht hätten. Ziemlich cool.

Hannah: Absolut. Und es gibt noch einen cleveren Trick, der die Sache oft einfacher macht. Statt die Likelihood-Funktion selbst zu maximieren, maximieren wir ihren natürlichen Logarithmus.

Niklas: Moment, warum das? Ändert das nicht das Ergebnis?

Hannah: Gute Frage! Aber nein, tut es nicht. Da der Logarithmus eine streng monotone Funktion ist, hat er sein Maximum an genau derselben Stelle wie die ursprüngliche Funktion. Der riesige Vorteil ist, dass der Logarithmus Produkte in Summen umwandelt. Das ist viel, viel einfacher abzuleiten.

Niklas: Ein Mathe-Lifehack also! Ziemlich clever.

Hannah: Genau. Wenn man die Log-Likelihood-Funktion ableitet und null setzt, bekommt man... Überraschung... wieder Theta-Dach ist gleich x durch n.

Niklas: Funktioniert dieses Prinzip auch für andere Verteilungen, zum Beispiel die Poisson- oder Normalverteilung?

Hannah: Ja, das ist das Tolle daran. Die Methode ist universell. Ohne jetzt die ganze Herleitung zu machen: Bei der Poissonverteilung ist der ML-Schätzer für den Parameter mü einfach das arithmetische Mittel der Stichprobe, also x-quer.

Niklas: Und bei der Normalverteilung? Die hat ja zwei Parameter, mü und sigma quadrat.

Hannah: Richtig. Für mü, den Erwartungswert, ist der ML-Schätzer ebenfalls das arithmetische Mittel der Stichprobe. Für die Varianz, sigma quadrat, ergibt die ML-Methode die bekannte Formel für die Stichprobenvarianz, allerdings mit n im Nenner, nicht n-1.

Niklas: Ah, das ist die verzerrte, aber konsistente Version, die wir schon hatten. Verstehe. Das verknüpft ja einiges. Und genau diese Schätzer werden wir uns als Nächstes genauer ansehen.

Niklas: Okay, das ist alles gut und schön, wenn man die Ableitung einfach null setzen und nach Theta auflösen kann. Aber was, wenn die Gleichung einfach zu fies ist?

Hannah: Eine exzellente Frage und die perfekte Überleitung zu unserem letzten Thema für heute. Manchmal ist die Likelihood-Funktion so komplex, dass wir die Nullstelle der Ableitung nicht mehr algebraisch finden können.

Niklas: Und dann? Raten wir einfach?

Hannah: Fast! Wir nähern uns der Lösung schrittweise an. Dafür gibt es numerische Methoden, und eine der bekanntesten ist das Newton-Verfahren, benannt nach Isaac Newton.

Niklas: Newton... der mit dem Apfel? Was hat der damit zu tun?

Hannah: Genau der. Die Idee ist clever. Wir starten mit einem Schätzwert und benutzen die Tangente an diesem Punkt, um einen besseren Schätzwert zu finden. Man rutscht sozusagen die Tangente runter bis zur Nullstelle.

Niklas: Das klingt... visuell. Aber wie sieht das als Formel aus?

Hannah: Es ist eine rekursive Formel. Das heißt, der neue Schätzwert hängt vom alten ab. Die Formel ist: Der neue Schätzwert ist der alte Schätzwert minus die erste Ableitung geteilt durch die zweite Ableitung der Log-Likelihood-Funktion.

Niklas: Puh, erste UND zweite Ableitung. Klingt nach Arbeit.

Hannah: Ist es auch, aber der Computer übernimmt das für uns. Der springende Punkt ist: Jeder Schritt bringt uns der wahren Nullstelle, also unserem Maximum-Likelihood-Schätzer, normalerweise näher. Das wiederholen wir, bis sich der Wert kaum noch ändert.

Niklas: Okay, lass uns das mal an einem Beispiel durchgehen.

Hannah: Gerne. Stell dir eine Studie mit fast 1800 Kindergartenkindern vor. Davon haben 1378 kariesfreie Gebisse. Wir wollen den Anteil Theta der kariesfreien Kinder schätzen.

Niklas: Einfach, oder? 1378 geteilt durch 1738. Das sind... ungefähr 0,793.

Hannah: Exakt! Das ist der direkte ML-Schätzer. Aber jetzt tun wir mal so, als könnten wir das nicht und nutzen das Newton-Verfahren. Wir brauchen einen Startwert... sagen wir mal, willkürlich 0,5.

Niklas: Und jetzt die Magie?

Hannah: Jetzt die Mathematik! Wir berechnen die erste und zweite Ableitung an der Stelle 0,5. Die erste ist 2036 und die zweite ist minus 6952.

Niklas: Okay... und jetzt in die Formel einsetzen?

Hannah: Genau. Unser neuer Schätzwert ist 0,5 minus 2036 geteilt durch minus 6952. Das ergibt... 0,793.

Niklas: Wow! Nach nur einem einzigen Schritt sind wir schon beim exakten Ergebnis!

Hannah: In diesem Fall ja, das ist natürlich ein Glückstreffer. Aber es zeigt, wie unglaublich schnell und effizient dieses Verfahren sein kann. So, das war unser letzter Baustein für heute. Von der Definition der Likelihood bis zu den numerischen Tricks, um sie zu maximieren.

Niklas: Eine ganze Menge Stoff, aber super spannend. Das Wichtigste ist also: Die Maximum-Likelihood-Methode ist ein unglaublich mächtiges Werkzeug in der Statistik, um Parameter zu schätzen.

Hannah: Genau das ist der Punkt. Damit sind wir für heute am Ende. Danke fürs Zuhören bei Studyfi!

Niklas: Macht's gut und bis zum nächsten Mal!