Zusammenfassung von Annahmen der linearen Regression

## Einführung Regressionen sind mächtige Werkzeuge zur Untersuchung von Zusammenhängen zwischen Variablen. Damit die Ergebnisse sinnvoll interpretiert werden können, müssen bestimmte Voraussetzungen geprüft und reflektiert werden. Dieses Material behandelt die wichtigen Regressionsvoraussetzungen (ohne die allgemeine Theorie der linearen Regression selbst zu wiederholen) und zeigt, wie man Verletzungen erkennt und handelt. ## Übersicht der vier zentralen Voraussetzungen 1. Festlegung von Prädiktor und Kriterium 2. Gültigkeit des linearen Modells 3. Statistische Unabhängigkeit der Modellfehler 4. Normalverteilung der Modellfehler und Homoskedastizität > **Definition:** Voraussetzung — Bedingung, die erfüllt oder reflektiert werden muss, damit ein statistisches Verfahren sinnvoll angewendet werden kann. ### I. Festlegung von Prädiktor und Kriterium - Vor der Analyse müssen Prädiktor (X) und Kriterium (Y) aus theoretischen oder forschungspraktischen Gründen festgelegt werden. - Diese Entscheidung entsteht nicht automatisch durch die Statistik. - Ohne klare Festlegung sind Interpretation und Schlussfolgerungen nicht sinnvoll. > **Definition:** Prädiktor — Variable, die zur Erklärung verwendet wird (bezeichnet als $X$). Kriterium — abhängige Variable, die erklärt werden soll (bezeichnet als $Y$). Praktisches Vorgehen: - Formuliere vor der Datenauswertung eine Hypothese, welche Variable Ursache und welche Wirkung ist. - Dokumentiere die Begründung (Theorie, Studiendesign). ### II. Gültigkeit des linearen Modells - Die Regression setzt voraus, dass der Zusammenhang zwischen $X$ und $Y$ annähernd linear ist. - Modellgleichung (allgemein verständlich): $$y_i = b_0 + b_1 \cdot x_i + e_i$$ - Die Regressionsgerade modelliert den systematischen Anteil; die Residuen $e_i$ sind die Abweichungen einzelner Messwerte. Wenn der Zusammenhang deutlich nichtlinear ist: - Transformationen der Variablen prüfen (z. B. Log-, Quadratwurzel-Transformation). - Alternativ andere Verfahren verwenden (nichtlineare Regression, Splines, GAM). > **Definition:** Linearität — Der Zusammenhang zwischen $X$ und $Y$ lässt sich sinnvoll durch eine Gerade beschreiben. Praktische Prüfungen: - Streudiagramm von $X$ gegen $Y$ erzeugen. - Visuelle Inspektion: systematische Krümmungen deuten auf Nichtlinearität hin. Fun fact: Wusstest du, dass eine einfache Scatterplot-Inspektion oft mehr Hinweise auf Modellprobleme liefert als eine Vielzahl automatischer Tests? ### III. Statistische Unabhängigkeit der Modellfehler - Die Modellfehler $e_i$ müssen statistisch unabhängig voneinander sein: der Fehler einer Beobachtung darf nicht systematisch mit dem Fehler einer anderen zusammenhängen. - Besonders gefährdet sind Datensätze mit wiederholten Messungen derselben Person oder zeitlich autoregressive Daten. > **Definition:** Autokorrelation — Form der Abhängigkeit, bei der aufeinanderfolgende Beobachtungen miteinander korrelieren. Praktische Hinweise: - Bei Messwiederholungen oder Panel-Daten spezielle Modellierung (z. B. gemischte Modelle, Zeitreihenverfahren) in Betracht ziehen. - Durbin-Watson-Test oder Residuenplots gegen Zeit/Index prüfen. ### IV. Normalverteilung der Modellfehler und Homoskedastizität - Formal wird angenommen: $$E \sim N(0,\;\sigma^2)$$ - Das heißt: - Die Fehler haben Erwartungswert $0$ (sind im Mittel ausgeglichen). - Die Fehler sind normalverteilt. - Die Fehler haben eine konstante Varianz $\sigma^2$ unabhängig vom Wert von $X$. > **Definition:** Homoskedastizität — Die Varianz der Modellfehler ist über die Werte des Prädiktors hinweg konstant. > **Definition:** Heteroskedastizität — Die Varianz der Modellfehler verändert sich systematisch mit dem Prädiktor. Was bedeutet das praktisch? - Wenn die Fehlervarianz bei niedrigen Werten von $X$ klein und bei hohen Werten groß ist, spricht das für Heteroskedastizität. - Heteroskedastizität kann Standardfehler, Tests und Konfidenzintervalle verzerren. Prüfung in der Praxis: - Residuen gegen g