Podcast über Annahmen der linearen Regression

Kapitoly

Die Vorhersage auf deiner Smartwatch

Prädiktor und Kriterium: Wer sagt was vorher?

Die wichtigste Annahme: Ein linearer Zusammenhang

Modellfehler: Wenn die Vorhersage daneben liegt

Fehler-Regel 1: Statistische Unabhängigkeit

Fehler-Regel 2: Normalverteilung und Erwartungswert Null

Fehler-Regel 3: Homoskedastizität

Das Problem bei mehreren Prädiktoren: Multikollinearität

Warum sind diese Regeln so wichtig?

Zusammenfassung und Ausblick

Přepis

Moritz: Du schaust nach einem langen Spaziergang auf deine Smartwatch und sie sagt dir: 300 Kalorien verbrannt. Hast du dich je gefragt, woher die Uhr das eigentlich weiß? Sie hat ja keinen Kalorien-Scanner in deinem Arm.

Emilia: Das wäre unheimlich praktisch, aber nein. Die Uhr schätzt das. Sie nimmt eine Sache, die sie messen kann – zum Beispiel deine Schritte oder deine Herzfrequenz – und sagt damit eine andere Sache vorher: die verbrannten Kalorien.

Moritz: Und genau diese Methode, etwas mit etwas anderem vorherzusagen, ist im Kern das, was wir heute besprechen. Dahinter steckt nämlich ein statistisches Verfahren, das überall im Einsatz ist. Herzlich willkommen zum Studyfi Podcast.

Emilia: Genau, Moritz. Und das Verfahren heißt lineare Regression. Das klingt erstmal kompliziert, aber die Grundidee ist super intuitiv. Wir haben immer zwei Hauptdarsteller.

Moritz: Okay, Bühne frei für unsere Stars. Wer sind die?

Emilia: Der erste ist der Prädiktor. Das ist die Information, die wir haben. Bei deiner Smartwatch wären das die Schritte. Man nennt ihn auch die unabhängige Variable. Er soll etwas vorhersagen.

Moritz: Logisch. Und der zweite ist dann das, was wir wissen wollen? Die Kalorien?

Emilia: Exakt. Das ist das Kriterium, auch abhängige Variable genannt. Es ist die Zielvariable, die wir erklären oder vorhersagen möchten. In der typischen Regressionsgleichung ist das Kriterium das Y und der Prädiktor das X.

Moritz: Also, Y (Kalorien) wird durch X (Schritte) vorhergesagt. Klingt einfach. Wo ist der Haken?

Emilia: Der Haken ist, dass das nur unter bestimmten Bedingungen gut funktioniert. Eine Regression kann man zwar immer berechnen, aber damit die Ergebnisse auch sinnvoll sind, müssen wir ein paar Spielregeln einhalten. Das sind die sogenannten Voraussetzungen.

Moritz: Okay, was ist die erste und vielleicht wichtigste Spielregel?

Emilia: Die wichtigste Annahme steckt schon im Namen: *lineare* Regression. Wir gehen davon aus, dass der Zusammenhang zwischen unserem Prädiktor und unserem Kriterium linear ist. Also eine gerade Linie.

Moritz: Wie eine gerade Linie? Was heißt das konkret?

Emilia: Stell dir ein Beispiel aus der Uni vor. Wir wollen vorhersagen, wie viele Punkte Studierende in einer Statistikprüfung erreichen. Unser Prädiktor ist die Lernzeit in Stunden.

Moritz: Okay, das Kriterium ist die Punktzahl, der Prädiktor die Lernzeit. Macht Sinn.

Emilia: Ein linearer Zusammenhang würde bedeuten: Je mehr Stunden du lernst, desto höher ist deine Punktzahl – und zwar in einem ziemlich gleichmäßigen Anstieg. Wenn wir die Daten in ein Diagramm eintragen würden, könnten wir eine Gerade durch die Punktewolke ziehen, die den Trend gut beschreibt.

Moritz: Aber was, wenn das nicht so ist? Ich meine, die erste Stunde lernen bringt vielleicht super viel, aber die zehnte Stunde am Stück bringt dann kaum noch was. Der Effekt flacht ab.

Emilia: Genau das ist der Punkt! Das wäre ein nichtlinearer, ein kurvenförmiger Zusammenhang. Zuerst ein steiler Anstieg, dann wird es flacher. In so einem Fall wäre eine einfache lineare Regression nicht das beste Modell. Sie würde den wahren Zusammenhang nicht gut erfassen.

Moritz: Verstehe. Die erste Voraussetzung ist also, dass eine Gerade überhaupt Sinn ergibt, um die Beziehung zu beschreiben. Man muss sich die Daten anschauen.

Emilia: Richtig. Und selbst bei einem perfekten linearen Zusammenhang liegen ja nicht alle echten Messwerte exakt auf dieser Geraden. Niemand ist perfekt, auch kein statistisches Modell.

Moritz: Das ist beruhigend zu hören! Also, es gibt immer eine Abweichung zwischen der Vorhersage des Modells – also dem Punkt auf der Geraden – und dem tatsächlichen Wert, den wir beobachtet haben.

Emilia: Genau. Und diese Abweichung nennen wir Modellfehler oder Residuum. Das ist quasi der Schätzfehler für jede einzelne Person. Die Formel ist ganz einfach: Der Fehler e ist der beobachtete Wert y minus der geschätzte Wert ŷ, also das y mit dem kleinen Dach drauf.

Moritz: e = y - ŷ. Das Residuum zeigt uns also, wie sehr das Modell für eine bestimmte Person danebenlag. Ein kleines Residuum bedeutet eine gute Schätzung, ein großes eine schlechte.

Emilia: Perfekt zusammengefasst. Und jetzt wird es spannend: Die nächsten Voraussetzungen der linearen Regression beziehen sich genau auf das Verhalten dieser Fehler. Wir haben nämlich ganz bestimmte Erwartungen an sie.

Moritz: Okay, die Fehler sollen sich also benehmen. Was ist ihre erste Benimmregel?

Emilia: Die Fehler müssen statistisch unabhängig voneinander sein. Das klingt technisch, bedeutet aber nur: Der Fehler bei einer Person darf nichts mit dem Fehler bei einer anderen Person zu tun haben.

Moritz: Kannst du das an einem Beispiel erklären? Wann wäre das denn nicht der Fall?

Emilia: Klar. Stell dir vor, wir machen eine Studie mit 100 zufällig ausgewählten Studierenden. Jeder wird genau einmal befragt. Dann können wir ziemlich sicher sein, dass die Fehler unabhängig sind. Der Messfehler bei Person A beeinflusst ja nicht den von Person B.

Moritz: Das leuchtet ein. Und was ist das Gegenbeispiel?

Emilia: Jetzt stell dir vor, wir messen den Stresslevel von 20 Personen, aber wir messen jede Person an fünf Tagen hintereinander. Jetzt haben wir zwar 100 Messpunkte, aber die Messungen derselben Person hängen wahrscheinlich zusammen. Wenn jemand am Montag schon einen schlechten Tag und damit einen hohen Messfehler hatte, ist die Chance groß, dass das am Dienstag ähnlich ist.

Moritz: Ah, verstehe. Die Fehler sind dann nicht mehr unabhängig. Der Fehler von gestern sagt den Fehler von heute vorher. Und das ist ein Problem?

Emilia: Ja, das ist ein Problem. Man nennt das auch Autokorrelation. Das Modell tut dann so, als hätte es 100 unabhängige Informationen, obwohl es in Wahrheit nur 20 unabhängige Personen sind. Das kann die Ergebnisse verzerren und die Genauigkeit des Modells falsch darstellen.

Moritz: Okay, die Fehler dürfen also keine Klüngel bilden. Was ist die nächste Regel für sie?

Emilia: Die Fehler sollten im Großen und Ganzen einer Normalverteilung folgen. Das bedeutet einfach, dass kleine Fehler häufig vorkommen und sehr große Fehler selten sind. Die meisten Vorhersagen sind also ziemlich nah dran, nur wenige liegen komplett daneben.

Moritz: Klingt vernünftig. Das ist doch meistens so im Leben. Extreme sind selten.

Emilia: Genau. Und damit verbunden ist die Annahme, dass der Erwartungswert der Fehler Null ist. Das heißt, die Fehler gleichen sich im Durchschnitt aus. Das Modell schätzt mal ein bisschen zu hoch und mal ein bisschen zu niedrig, aber es gibt keine systematische Tendenz, immer daneben zu liegen.

Moritz: Wenn der Erwartungswert nicht Null wäre, würde das ja bedeuten, das Modell überschätzt oder unterschätzt konsequent. Das wäre dann kein guter Schätzer.

Emilia: Richtig. Das wäre ein verzerrter, ein „biased“ Schätzer. Wir wollen aber ein faires Modell, das im Mittel richtig liegt. Formal sagt man, die Fehler sind normalverteilt mit Erwartungswert 0 und einer bestimmten Varianz. E ~ N(0, σ²).

Moritz: Okay, jetzt kommt bestimmt das Wort, bei dem alle abschalten. Ich versuch’s mal: Ho-mo-ske-das-ti-zi-tät.

Emilia: Perfekt! Und es ist gar nicht so schlimm, wie es klingt. Es bedeutet einfach nur „gleiche Streuung“. Die Varianz der Fehler – also wie stark sie streuen – soll über den gesamten Bereich des Prädiktors konstant sein.

Moritz: Puh, okay, gleiche Streuung der Fehler. Zurück zum Lernbeispiel. Was würde das da bedeuten?

Emilia: Es würde bedeuten, dass die Genauigkeit unserer Vorhersage für die Prüfungspunktzahl nicht davon abhängt, ob jemand wenig oder viel gelernt hat. Die Fehler sollten bei Leuten, die 2 Stunden gelernt haben, ungefähr genauso stark streuen wie bei Leuten, die 20 Stunden gelernt haben.

Moritz: Und was wäre das Gegenteil? Heteroskedastizität?

Emilia: Ja, super! Heteroskedastizität wäre es, wenn zum Beispiel die Vorhersage bei Leuten mit wenig Lernzeit sehr genau ist – die Fehler also klein sind – aber bei Leuten mit viel Lernzeit total streut. Vielleicht weil bei denen dann andere Faktoren wie Talent oder Tagesform eine viel größere Rolle spielen.

Moritz: Das würde heißen, unser Modell ist für einen Teil der Leute zuverlässig und für den anderen Teil ein reines Glücksspiel. Das ist natürlich nicht gut für die Bewertung des Gesamtmodells.

Emilia: Exakt. Heteroskedastizität kann dazu führen, dass wir die Signifikanz unserer Ergebnisse falsch einschätzen. Man kann das aber zum Glück gut in Diagrammen erkennen, indem man die Residuen gegen die geschätzten Werte aufträgt.

Moritz: Okay, fassen wir kurz zusammen: Wir brauchen einen linearen Zusammenhang, unabhängige Fehler, die normalverteilt sind, im Mittel null ergeben und eine konstante Streuung haben. Gilt das alles auch, wenn wir mehrere Prädiktoren haben?

Emilia: Ja, diese Annahmen gelten auch für die multiple Regression, bei der wir mehrere X-Variablen benutzen, um Y vorherzusagen. Aber bei der multiplen Regression kommt noch ein potenzielles Problem hinzu: die Multikollinearität.

Moritz: Schon wieder so ein Wort! Was ist das?

Emilia: Das passiert, wenn deine Prädiktoren – also deine X-Variablen – zu stark miteinander korrelieren. Stell dir vor, du willst die Prüfungspunktzahl (Y) durch die Lernzeit (X1) und die Anzahl der besuchten Tutorien (X2) vorhersagen.

Moritz: Klingt nach einem sinnvollen Modell.

Emilia: Ja, aber was ist, wenn die Leute, die viel lernen, auch fast immer die sind, die in alle Tutorien gehen? Dann korrelieren Lernzeit und Tutorienbesuch sehr stark miteinander. Das Modell kann dann nur noch schwer unterscheiden: Kam die gute Note jetzt von der Lernzeit oder vom Tutorium?

Moritz: Ah, die beiden Prädiktoren klauen sich gegenseitig die Erklärungskraft. Man kann ihren individuellen Beitrag nicht mehr sauber trennen.

Emilia: Genau das ist Multikollinearität. Es bläht die Standardfehler der Koeffizienten auf und macht die Interpretation der einzelnen Prädiktoren schwierig bis unmöglich. Das ist ein klassisches Problem, auf das man bei multiplen Regressionen immer achten muss.

Moritz: Emilia, eine Frage, die sich jetzt sicher einige stellen: Das klingt alles sehr technisch. Warum ist das so wichtig? Was passiert, wenn man diese Annahmen einfach ignoriert?

Emilia: Das ist eine super wichtige Frage. Eine Regression lässt sich mathematisch immer durchführen. Die Software spuckt dir immer ein Ergebnis aus. Aber diese Voraussetzungen sind wie die Qualitätskontrolle. Sie sagen dir, ob du diesem Ergebnis vertrauen kannst.

Moritz: Also ohne die Prüfung der Voraussetzungen ist das Ergebnis quasi wertlos?

Emilia: Es kann zumindest zu völlig falschen Schlussfolgerungen führen. Wenn der Zusammenhang gar nicht linear ist, beschreibt dein Modell die Realität schlecht. Wenn die Fehler abhängig sind, hältst du deine Ergebnisse vielleicht für genauer, als sie sind. Und bei Heteroskedastizität könntest du denken, ein Prädiktor sei signifikant, obwohl er es gar nicht ist.

Moritz: Man betrügt sich also selbst. Die Voraussetzungen sind keine Schikane, sondern eine Absicherung, um saubere und interpretierbare Wissenschaft zu machen.

Emilia: Genau. Wobei man auch sagen muss: Die lineare Regression ist ein relativ robustes Verfahren. Kleinere Verletzungen, besonders bei den Fehlerannahmen, führen nicht sofort zur Katastrophe. Aber man muss sie kennen, prüfen und in der Interpretation berücksichtigen.

Moritz: Das ist ein guter Punkt. Es geht nicht um Perfektion, sondern um ein bewusstes Reflektieren der Modellgüte.

Emilia: Absolut. Fassen wir die vier Kernvoraussetzungen für die einfache lineare Regression nochmal zusammen. Erstens: Die Rollen von Prädiktor und Kriterium müssen inhaltlich klar sein. Zweitens: Wir nehmen einen linearen Zusammenhang an.

Moritz: Drittens: Die Modellfehler müssen statistisch unabhängig sein. Und viertens: Die Fehler sollen normalverteilt sein, den Erwartungswert Null haben und homoskedastisch sein, also eine konstante Varianz aufweisen.

Emilia: Perfekt. Und bei der multiplen Regression kommt noch die Prüfung auf Multikollinearität hinzu.

Moritz: Das war eine ganze Menge, aber super verständlich erklärt. Der Kern ist also: Ein Regressionsmodell ist nur so gut wie die Erfüllung seiner Voraussetzungen. Man muss wissen, wann man dem Ergebnis vertrauen kann.

Emilia: Das ist der wichtigste Merksatz. Prüft eure Annahmen, bevor ihr eure Ergebnisse interpretiert.

Moritz: Ein weises Schlusswort. Vielen Dank, Emilia, für diese tolle Erklärung. Und danke an euch fürs Zuhören. Bis zum nächsten Mal beim Studyfi Podcast!

Emilia: Tschüss!