Zufallsvariablen

Bedingte Wahrscheinlichkeit

Gegeben zwei Ereignisse $A,B$. Das Ereignis $B$ ist bereits eingetreten (sicheres Ereignis). Dadurch muss die Eintrittswahrscheinlichkeit von $A$ neu bewertet werden:

• $A$ kann nur noch eintreten, wenn $A\subseteq B$
• vor Neubewertung: a priori
• nach Neubewertung: a posteriori

Für einen Wahrscheinlichkeitsraum $(\Omega ,\mathcal{F},P)$ bezeichnen wir für alle $A,B\in \mathcal{F}$ mit $P(B)>0$ die Wahrscheinlichkeit $P(A|B)$ als die bedingte Wahrscheinlichkeit von $A$ unter der Bedingung $B$, wobei:

$P(A|B)=\frac{P(A\cap B)}{P(B)}$

Zwei mögliche Interpretationen:

1. Wahrscheinlichkeit von $A$, nachdem $B$ eingetreten ist
2. Anteil der Fälle, in denen $A$ eingetreten ist, unter der Gesamtheit der Fälle, in denen $B$ eingetreten ist, bei einem (häufig) wiederholten Zufallsexperiment

Totale Wahrscheinlichkeit

Satz der Totalen Wahrscheinlichkeit: Sei $(\Omega ,\mathcal{F},P)$ ein Wahrscheinlichkeitsraum und $\Omega ={\cup }_{i\in I}{B}_i$ eine abzählbare Zerlegung von $\Omega$ in paarweise disjunkte Ereignisse $B_i$. Dann gilt für alle $A\in \mathcal{F}$:

$P(A)={\sum }_{i\in I}P(A\cap B_i)={\sum }_{i\in I}P(A|B_i)\cdot P(B_i)$

Beweis über Axiom 2 sowie Definition der bedingten Wahrscheinlichkeit

4-Felder-Tafel

Gegeben sind ein Wahrscheinlichkeitsraum $(\Omega ,\mathcal{F},P)$ sowie zwei Ereignisse $A,B\in \mathcal{F}$. Dann ist die 4-Felder-Tafel darstellbar als Tabelle von Häufigkeiten oder Wahrscheinlichkeiten.

	$A$	$\overline{A}$	Summe
$B$	$|A\cap B|$	$|\overline{A}\cap B|$	$|B|$
$\overline{B}$	$|A\cap \overline{B}|$	$|\overline{A}\cap \overline{B}|$	$|\overline{B}|$
Summe	$|A|$	$|\overline{A}|$	$|\Omega |$

Für Wahrscheinlichkeiten mit $P(\dots )$ für jeden Eintrag

Sensitivität: Anteil der positiven Fälle, der als solcher erkannt wird
Spezifität: Anteil der negativen Fälle, der als solcher erkannt wird

---

Satz von Bayes

Sei $(\Omega ,\mathcal{F},P)$ ein Wahrscheinlichkeitsraum. Dann gilt für alle $A,B\in \mathcal{F}$ mit $P(A)>0$ und $P(B)>0$, dass

$P(A|B)=\frac{P(A)\cdot P(B|A)}{P(B)}$

Herleitung über Definition der bedingten Wahrscheinlichkeit.

Gut zu wissen

Hiermit Berechnung von $P(A|B)$ aus $P(B|A)$ und umgekehrt.

---

Stochastische Unabhängigkeit

Zwei Ereignisse $A,B\in \mathcal{F}$ in einem Wahrscheinlichkeitsraum heißen stochastisch unabhängig, wenn $P(A|B)=P(A)$

• dann gilt auch $P(B|A)=P(B)$ | folgt aus der Definition der bedingten Wahrscheinlichkeit
• außerdem gilt dann $P(A\cap B)=P(A)\cdot P(B)$ | folgt analog oder über den Satz von Bayes

Stochastische Unabhängigkeit mehrerer Ereignisse: Eine Familie $F\subseteq \mathcal{F}$ von Ereignissen mit $F\ne \varnothing$ heißt stochastisch unabhängig, genau dann, wenn für jede endliche Teilfamilie $E\subseteq F$ mit $E\ne \varnothing$ gilt, dass:

$P({\bigcap }_{M\in E}M)={\prod }_{M\in E}P(M)$

• stochastische Unabhängigkeit bleibt in Teilmengen erhalten
• stochastische Unabhängigkeit ist symmetrisch
• zwei Ereignisse mit je positiver Wahrscheinlichkeit und leerer Schnittmenge sind stets stochastisch unabhängig

---

Mehrstufige Modelle

Mit $P_{k|{\omega }_1,\dots ,{\omega }_n-1}(\{{\omega }_n\})$ bezeichnen wir die Wahrscheinlichkeitsverteilung für das $k$-te Teilexperiment, wobei die Ergebnisse ${\omega }_1,\dots ,{\omega }_{k-1}$ bereits bekannt sind.

Gesamtwahrscheinlichkeit in mehrstufigen Modellen: Gegeben ein mehrstufiges Modell aus $n$ Teilexperimenten mit Ergebnismenge $\Omega$ und Ereignissystem $\mathcal{F}=\mathcal{P}(\Omega )$. Dann gilt, dass die Wahrscheinlichkeitsverteilung $P$ für das Gesamtexperiment eindeutig beschreiben werden kann, für alle $1\le k\le n$, für jedes Ergebnis $\omega =({\omega }_1,\dots ,{\omega }_n)$ mit:

$P(\{\omega \})={\prod }_{k=1}^n{P}_{k|w_1,\dots ,w_{k-1}}(\{{\omega }_k\})=P_1(\{{\omega }_1\})\cdot P_{2|{\omega }_1}(\{{\omega }_2\})\cdot \cdots \cdot P_{n|{\omega }_1,\dots ,{\omega }_{n-1}}(\{{\omega }_n\})$

Multiplikationsformel

Sei $(\Omega ,\mathcal{F},P)$ ein Wahrscheinlichkeitsraum und $A_1,\cdots ,A_n\in \mathcal{F}$ Ereignisse. Dann gilt:

$P({\bigcap }_{k=1}^n{A}_k)={\prod }_{k=1}^{n}P(A_k|{\cap }_{l=1}^{k-1}{A}_l)$

Zufallsvariablen

$X:{\Omega }_1\to {\Omega }_2$ z.B. $X:\omega =(n_1,n_2)\mapsto n_1+n_2$
$X^{-1}:\Omega \to \mathcal{P}({\Omega }_1)$ z.B. $X^{-1}:i\mapsto \{(n_1,n_2)|n_1+n_2=i\}$
$P(X=i)=P(X^{-1}(i))$

Definition

Wir nennen die Funktion $X:{\Omega }_1\to {\Omega }_2$ eine Zufallsvariable, wenn für jedes Ereignis $A\in {\mathcal{F}}_2$ gilt, dass $X^{-1}(A)\in {\mathcal{F}}_1$, das heißt wenn $X$ messbar ist.

Diskrete und reelle Zufallsvariablen

Wenn ${\Omega }_2$ endlich oder abzählbar unendlich ist, so bezeichnen wir $X$ als diskrete Zufallsvariable. Wenn ${\Omega }_2=\mathbb{R}$, so bezeichnen wir $X$ als stetige oder reelle Zufallsvariable.

Verteilung

Gegeben zwei Wahrscheinlichkeitsräume $(\Omega ,\mathcal{F},P)$ und $({\Omega }_X,{\mathcal{F}}_X,P_X)$ mit einer Zufallsvariable $X:\Omega \to {\Omega }_X$

Notationen nachtragen

Gilt für zwei Zufallsvariablen $X$ und $Y$, dass $P_X=P_Y$, so nennen wir $X$ und $Y$ identisch verteilt (Achtung: nicht gleichverteilt). Wir schreiben hierfür auch kurz $Y\sim Y$.

• bei $X=Y$ gilt stets $P_X=P_Y$, aber nicht umgekehrt

---

Dichte und Zähldichte

Eine Zähldichte / Gewichtung ist eine Funktion $p:\Omega \Rightarrow [0,1]$ mit ${\sum }_{\omega \in \Omega }p(\omega )=1$ ($p$ ist normiert).

Bei stetigen Zufallsvariablen verwendet man die Borelalgebra ($\{(a,b]|a,b\in \mathbb{R}\wedge a\ne b\}$) als Ereignissystem.

Dichte nachtragen

---

Verteilungsfunktion

Nachtragen

Verteilungsfunktion ist Stammfunktion der Dichte | Dichte ist Ableitung (Differentialfunktion) der Verteilungsfunktions (nur eine von vielen möglichen)

---

Transformation von Zufallsvariablen

Gegeben eine Zufallsvariable $X$ mit Verteilung $P_X$ sowie eine Funktion $g:\mathbb{R}\to \mathbb{R}$. Dann wird durch Anwendung von $g$ auf den Wert von $X$ eine neue Zufallsvariable $Y$. Wir nennen $Y$ die Transformation von $X$ mit $g$.

Sie $X$ eine Zufallsvariable in einem Raum $({\Omega }_X,{\mathcal{F}}_X,P_X)$. Gegeben die Transformation $Y$ von $X$ mit einer Funktion $g:\mathbb{R}\to \mathbb{R}$, wobei $g$ differenzierbar und strikt monoton wachsen oder fallend ist. Dann ist die Dichte $p_Y$ von $Y$ gegeben durch

$p_Y(y)=p_X(x)\cdot |\frac{dx}{dy}|=p_X(x)\cdot |\frac{d{g}^{-1}(y)}{dy}|$

wobei $y=g(x)$ und $x=g^{-1}(y)$ ist.

Beweis / Beispiele nachtragen

Erwartungswert nachtragen

---

Varianz

Sei $X$ eine Zufallsvariable mit Erwartungswert $E[X]$. Dann definieren wir die Varianz $V[X]$ dieser Zufallsvariable als

$V[X]=E[Y-E(X{)}^2]$

Ferner definieren wir $\sqrt{V[X]}$ als Standardabweichung von $X$.

Nach dem Varianzzerlegungssatz gilt:

$V[X]=E[X^2]-(E[X]{)}^2$

Sehr wichtig!

Rechenregeln nachtragen

---

Ungleichungen

Abschätzung einer Wahrscheinlichkeit oft mittels Erwartungswert und Varianz möglich.

Markov-Ungleichung

Sei $X$ eine Zufallsvariable, welche nur positive Werte annehmen kann ($P(X\ge 0)=1$). Dann gilt für alle $a>0$:

$P(X\ge a)\le \frac{E[X]}{a}$

Tschebyscheff-Ungleichung

Sei $X$ eine reelle Zufallsvariable mit Erwartungswert und Varianz. Dann gilt für alle $k>0$:

$P(|X-E[X]|\ge k)\le \frac{V[X]}{k^2}$

---

Mehrdimensionale Zufallsvariablen

Gemeinsame Verteilung: Seien $X$ und $Y$ Zufallsvariablen auf einem Raum $(\Omega ,\mathcal{F},P)$, wobei $X$ in den Raum $({\Omega }_X,{\mathcal{F}}_X,P_X)$ und $Y$ in den Raum $({\Omega }_Y,{\mathcal{F}}_Y,P_Y)$ abbildet. Dann ergibt sich eine eindeutige gemeinsame Verteilung $P_{X,Y}$ von $X$ und $Y$, wobei für beliebige $A_X\in {\mathcal{F}}_X$ und $A_Y\in {\mathcal{F}}_Y$ gilt:

$P_{Y,X}()$

Nachtragen

---

Randverteilung

Nachtragen

---

Unabhängigkeit von Zufallsvariablen

Seien $X$ und $Y$ Zufallsvariablen mit zugehörigen Bildräumen $({\Omega }_X,{\mathcal{F}}_X)$ und $({\Omega }_X,{\mathcal{F}}_X)$. Wir nennen $X$ und $Y$ unabhängig genau dann, wenn für alle $A_X\in {\mathcal{F}}_X$ und $A_Y\in {\mathcal{F}}_Y$ gilt, dass

$P(X\in A_X\wedge Y\in A_Y)=P(X\in A_X)\cdot P(Y\in A_Y)$

Kriterien:

• Für diskrete Räume sind $X$ und $Y$ genau dann unabhängig, wenn für alle ${\omega }_X\in {\Omega }_X$ und alle ${\omega }_Y\in {\Omega }_Y$ gilt. dass $P(X={\omega }_X\wedge Y={\omega }_Y)=P(X={\omega }_X)\cdot P(Y={\omega }_Y)$
• Für stetige reelle Räume sind $X$ und $Y$ genau dann unabhängig, wenn für alle $c_X,c_Y\in \mathbb{R}$ gilt, dass $P(X\le c_X\wedge Y\le c_Y)=P(X\le c_X)\cdot P(Y\le c_Y)$

---

Produktverteilung

Nachtragen

---

Nachtragen

---

Erwartungswert

Gegeben zwei reelle Zufallsvariablen $X$ und $Y$ und eine Funktion $g:{\mathbb{R}}^2\to \mathbb{R}$. Dann ist der Erwartungswert von $g$ definiert als

$E[g(X,Y)]={\sum }_{x\in {\Omega }_X}{\sum }_{y\in {\Omega }_Y}g(x,y)\cdot p_{X,Y}(x,y)\text{ im diskreten Fall}$

$E[g(X,Y)]={\int }_{\mathbb{R}}{\int }_{\mathbb{R}}g(x,y)\cdot p_{X,Y}(x,y)dxdy\text{ im stetigen Fall}$

Linearität des Erwartungswertes

Seien $X$ und $Y$ reelle Zufallsvariablen mit je einem existierenden Erwartungswert. Seien außerdem $a,b,c\in \mathbb{R}$. Dann gilt:

$E[a\cdot X+b\cdot Y+c]=a\cdot E[X]+b\cdot E[Y]+c$

Beweis über Definition des Erwartungswertes

Unabhängigkeit nicht benötigt!

Produktregel für Erwartungswert

Seien $X$ und $Y$ reelle Zufallsvariablen mit je einem existierenden Erwartungswert. Wenn $X$ und $Y$ unabhängig sind, dann gilt:

$E[X\cdot Y]=E[X]\cdot E[Y]$

Beweis über Definition des Erwartungswertes und Unabhängigkeit

---

Kovarianz

Gegeben seien zwei reelle Zufallsvariablen $X$ und $Y$ mit jeweils existierendem Erwartungswert und Varianz. Die Kovarianz $\mathrm{Cov}[X,Y]$ zwischen $X$ und $Y$ ist dann gegeben als

$\mathrm{Cov}[X,Y]=E[(X-E[X])\cdot (Y-E[Y])]$

Negatives Vorzeichen, genau dann wenn Abweichung in verschiedene Richtungen (Vorzeichen)

Interpretation

• positives Vorzeichen: mit höheren Werten von $X$ treten tendenziell höhere Werte für $Y$ auf (und umgekehrt)
• negatives Vorzeichen: mit höheren Werten von $X$ treten tendenziell niedrigere Werte für $Y$ auf (und umgekehrt)
• gleich bzw. ungefähr 0: keine erkennbare Tendenz für einen linearen Zusammenhang

Kovarianzzerlegung

Für zwei reelle Zufallsvariablen $X$ und $Y$ gilt:

$\mathrm{Cov}[X,Y]=E[X\cdot Y]-E[X]\cdot E[Y]$

Beweis über Definition der Kovarianz und Linearität des Erwartungswertes

Insbesondere ist damit:

$$\begin{array}{rl}\mathrm{Cov}[X,Y]& =\mathrm{Cov}[Y,X]\\ \mathrm{Cov}[X,X]& =\mathrm{Var}[X]\end{array}$$

Für unabhängige $X$ und $Y$ folgt außerdem:

$\mathrm{Cov}[X,Y]=0$

Die Umkehrung gilt im Allgemeinem nicht!

Wertebereich

Der Wertebereich der Kovarianz ist abhängig von $X$ und $Y$ und beschränkt auf

$[-\sqrt{V[X]\cdot V[Y]},+\sqrt{V[X]\cdot V[Y]}]$

Beweis über Varianzzerlegungssatz auf $Z=(X-E[X])\cdot (Y-E[Y])$

Rechenregeln

Seien $X$ und $Y$ zwei reelle Zufallsvariablen mit Erwartungswert und Varianz sowie $a,b,c,d\in \mathbb{R}$. Dann gilt:

$\mathrm{Cov}[a\cdot X+b,c\cdot Y+d]=a\cdot c\cdot \mathrm{Cov}[X,Y]$

Beweis über die Linearität des Erwartungswertes

Kovarianz einer Summe

Seien $X_1,X_2$ und $Y$ drei reelle Zufallsvariablen mit Erwartungswert und Varianz. Dann gilt:

$\mathrm{Cov}[X_1+X_2,Y]=\mathrm{Cov}[X_1,Y]+\mathrm{Cov}[X_1,Y]$

Beweis über Linearität des Erwartungswertes

Linearität der Kovarianz

Seien $X_1,\dots ,X_n$ und $Y_1,\dots ,Y_m$ reelle Zufallsvariablen mit Erwartungswert und Varianz. Dann gilt:

$\mathrm{Cov}[{\sum }_{i=1}^n{X}_i,{\sum }_{j=1}^m]={\sum }_{i=1}^n{\sum }_{j=1}^m\mathrm{Cov}[X_i,Y_j]$

Beweis über Kovarianz einer Summe

Varianz der Summe

Gegeben eine Folge von $n$ reellen Zufallsvariablen $X_i$ mit $1\le i\le n$ mit Erwartungswert und Varianz. Dann gilt:

$V[{\sum }_{i=1}^n{X}_i]={\sum }_{i=1}^{n}V[X_i]+{\sum }_{i=1}^n{\sum }_{j=1\wedge j\ne i}^n\mathrm{Cov}[X_i,X_j]$

Im Spezialfall zweier reeller Zufallsvariablen $X$ und $Y$ gilt:

$V[X+Y]=V[X]+V[Y]+2\cdot \mathrm{Cov}[X,Y]$

---

Korrelation

Gegeben zwei reelle Zufallsvariablen $X$ und $Y$ mit Erwartungswerten $E[X]$ und $E[Y]$ sowie Varianzen $V[X]$ und $V[Y]$ ist die Korrelation zwischen $X$ und $Y$ gegeben als

$\mathrm{Corr}[X,Y]=\frac{\mathrm{Cov}[X,Y]}{\sqrt{V[X]\cdot V[Y]}}$

Interpretation

• nahe an 1: stärkerer positiver linearer Zusammenhang zwischen $X$ und $Y$
• nahe an -1: stärkerer negativer linearer Zusammenhang zwischen $X$ und $Y$
• nahe an 0: kein erkennbarer linearer Zusammenhang zwischen $X$ und $Y$