Zusammenfassung von Wahrscheinlichkeitstheorie und Zufallsvariablen

## Einführung Die Wahrscheinlichkeitstheorie liefert Werkzeuge, um Unsicherheit systematisch zu beschreiben und Schlussfolgerungen aus unvollständigen Informationen zu ziehen. In diesem Material behandeln wir das **Theorem der totalen Wahrscheinlichkeit** und den **Satz von Bayes**, mit Definitionen, Beispielen und Anwendungen aus dem Alltag und der Industrie. ## Grundbegriffe und Partitionen > Eine *Partition* des Ereignisraums $S$ ist eine Menge von Ereignissen $A_1, A_2,\dots,A_n$, die sich paarweise ausschließen und deren Vereinigung ganz $S$ ergibt. - Voraussetzungen einer Partition: - $A_i \cap A_j = \emptyset$ für alle $i\neq j$. - $\bigcup_{i=1}^{n} A_i = S$. ## Theorem der totalen Wahrscheinlichkeit > Das Theorem der totalen Wahrscheinlichkeit drückt die Wahrscheinlichkeit eines Ereignisses $E$ als Summe der Wahrscheinlichkeiten seiner Schnittmengen mit den Partitionselementen aus. - Jede Menge $E$ lässt sich darstellen als $$E = (E \cap A_1) \cup \dots \cup (E \cap A_n).$$ - Da die Summanden paarweise disjunkt sind, gilt der Additionssatz: $$W(E) = \sum_{i=1}^{n} W(E \cap A_i).$$ - Mit dem Multiplikationssatz $W(E \cap A_i) = W(A_i) \cdot W(E/A_i)$ folgt: $$W(E) = \sum_{i=1}^{n} W(A_i) \cdot W(E/A_i).$$ ### Praktisches Beispiel: Produktionsfehler - In einer Produktion werden täglich 1000 Stück hergestellt: $M_1$ liefert 100 Stück mit 5\% Ausschuss, $M_2$ liefert 400 Stück mit 4\% Ausschuss, $M_3$ liefert 500 Stück mit 2\% Ausschuss. - Ereignisse: $A_i$ = "Stück wurde von Maschine $M_i$ gefertigt", $E$ = "Stück ist fehlerhaft". Berechnungen: $$W(A_1)=\frac{100}{1000}=0{,}1,\; W(E/A_1)=0{,}05$$ $$W(A_2)=0{,}4,\; W(E/A_2)=0{,}04$$ $$W(A_3)=0{,}5,\; W(E/A_3)=0{,}02$$ Anwendung des Theorems der totalen Wahrscheinlichkeit: $$W(E)=0{,}1\cdot0{,}05+0{,}4\cdot0{,}04+0{,}5\cdot0{,}02=0{,}031.$$ Fun fact: Die totale Wahrscheinlichkeit ist besonders hilfreich beim Kombinieren von Daten aus verschiedenen Quellen, zum Beispiel beim Ensemble-Learning in der Statistik. ## Satz von Bayes (Bayessche Regel) > Der Satz von Bayes erlaubt es, aus bedingten Wahrscheinlichkeiten $W(E/A_i)$ und a-priori-Wahrscheinlichkeiten $W(A_i)$ die a-posteriori-Wahrscheinlichkeit $W(A_j/E)$ zu berechnen. - Aus $W(A_j \cap E)=W(A_j)\cdot W(E/A_j)=W(E)\cdot W(A_j/E)$ folgt: $$W(A_j/E)=\frac{W(A_j)\cdot W(E/A_j)}{W(E)}.$$ - Kombiniert mit der totalen Wahrscheinlichkeit ergibt sich die explizite Formel: $$W(A_j/E)=\frac{W(A_j)\cdot W(E/A_j)}{\sum_{i=1}^{n} W(A_i)\cdot W(E/A_i)}.$$ ### Beispiel (Rückschluss auf Maschine) - Ausgangswerte wie oben; wir wollen wissen, wie wahrscheinlich es ist, dass ein fehlerhaftes Stück von $M_1$, $M_2$ bzw. $M_3$ stammt. Berechnung für $M_1$: $$W(A_1/E)=\frac{0{,}1\cdot0{,}05}{0{,}031}=\frac{0{,}005}{0{,}031}=0{,}16129\approx0{,}16.$$ Für $M_2$ und $M_3$: $$W(A_2/E)=\frac{0{,}4\cdot0{,}04}{0{,}031}=0{,}51613\approx0{,}52.$$ $$W(A_3/E)=\frac{0{,}5\cdot0{,}02}{0{,}031}=0{,}32258\approx0{,}32.$$ - Interpretation: Obwohl $M_1$ den höchsten Ausschussprozentsatz hat, stammen die meisten fehlerhaften Stücke wahrscheinlich von $M_2$, weil $M_2$ deutlich mehr produziert als $M_1$. ## Anwendung: Hypothesentesten (Münzenbeispiel) - Hypothese $A$: Münze hat zwei Wappenseiten, $W(A)=0{,}8$. Gegenhypothese $A^c$: echte Münze, $W(A^c)=0{,}2$. - Beobachtung $E$: ein Wappen fällt. Bedingte Wahrscheinlichkeiten: $W(E/A)=1$, $W(E/A^c)=0{,}5$. Mit Bayes: $$W(A/E)=\frac{0{,}8\cdot1}{0{,}8\cdot1+0{,}2\cdot0{,}5}=\frac{0{,}8}{0{,}9}=0{,}888\dots\approx0{,}889.$$ Wusstest du, dass Bayes' Theorem die Grundlage moderner maschineller Lernverfahren bildet, insbesondere bei probabilistischen Klassifikatoren wie dem naiven Bayes-Classifier? Dies verknüpft subjektive A-priori-Informationen mit beobachteten Daten. ## Vergleichstabelle: Totale Wahrscheinlichkeit vs. Bayes | Aspekt | Totale Wahrscheinlichkeit | Satz von Bayes | |---|---:|---:| | Zweck | Gesamtwahrscheinlichkeit eines Ereignisses berechnen | A-posteriori-Wahrsc