Berechnung von Erwartungswerten und Varianzen mit Hilfe von Indikatorvariablen
Die Methode, den Erwartungswert einer Zufallsvariable X mit Hilfe von Indikatorvariablen zu berechnen, ist deshalb so wichtig, weil man dazu die Verteilung von X nicht kennen muss. Die eigentliche Schwierigkeit besteht oft darin, geeignete Indikatorvariablen zu finden. An mehreren Beispielen (Münzwurf, hypergeometrische Verteilung und einer Zufallsvariable mit unbekannter Verteilung) wird dieses Vorgehen demonstriert. Da man Varianzen auf Erwartungswerte zurückführen kann, lassen sich mit dieser Methode auch Varianzen und Standardabweichungen berechnen.
- Einordnung des Artikels
- Einführung
- Definition und Eigenschaften von Indikatorvariablen
- Einfaches Beispiel zur Einführung: zweimaliger Münzwurf
- Beispiel: Kunstwettbewerb
- Die Problemstellung
- Lösung des Problems mit geeigneten Indikatorvariablen
- Der Erwartungswert der hypergeometrischen Verteilung
- Die Berechnung der Varianz mit Hilfe von Indikatorvariablen
- Der N-malige Münzwurf
- Die hypergeometrische Verteilung
Einordnung des Artikels
- Ausgewählte Kapitel der Mathematik (für Programmierer, Informatiker, Ingenieure und Naturwissenschaftler)
- Wahrscheinlichkeitsrechnung
- Eigenschaften von Zufallsvariablen
- Eigenschaften von Zufallsvariablen: Der Erwartungswert von diskreten und stetigen Zufallsvariablen
- Eigenschaften von Zufallsvariablen: Die Varianz und die Standardabweichung
- Berechnung von Erwartungswerten und Varianzen mit Hilfe von Indikatorvariablen
- Eigenschaften von Zufallsvariablen
- Wahrscheinlichkeitsrechnung
Als Beispiel für die Berechnung von Erwartungswert und Varianz wird die hypergeometrische Verteilung besprochen. Diese wird hier nur kurz definiert, ausführlich diskutiert wurde sie in Spezielle Wahrscheinlichkeitsverteilungen: die hypergeometrische Verteilung. Das Verständnis der hypergeometrischen Verteilung wird erleichtert durch die Kenntnis der Abzählprobleme, die mit dem Ziehen ohne Zurücklegen verbunden sind; sie wurden in Spezielle Abzählprobleme: Ziehen ohne Zurücklegen besprochen.
Einführung
In Eigenschaften von Zufallsvariablen: Der Erwartungswert von diskreten und stetigen Zufallsvariablen wurden bereits mehrere Beispiele besprochen, bei denen unterschiedliche Methoden angewandt wurden, um einen Erwartungswert zu berechnen. Eine weitere Methode ist so wichtig, dass ihr ein eigener Artikel gewidmet wird: Eine Zufallsvariable X wird als Summe von Indikatorvariablen geschrieben:
X = I1 + I2 + ... + IN
Was genau unter einer Indikatorvariable (oder Indikatorfunktion) zu verstehen ist, wird weiter unten erklärt; aber die Idee hinter dieser Summenbildung lässt sich leicht verstehen.
Die Gleichheit
E (X) = E (I1) + E (I2) + ... + E (IN)
gilt immer – egal ob die Zufallsvariablen der Summanden unabhängig voneinander sind oder nicht. Wenn nun die Erwartungswerte E (Ii) sehr leicht zu berechnen sind, kann man auch den Erwartungswert E (X) berechnen – und das ohne die Verteilung von X zu kennen. Die Schwierigkeit der Methode, einen Erwartungswert mit Hilfe von Indikatorvariablen zu berechnen, besteht dann meist darin, geeignete Indikatorvariablen aufzuspüren – oft ist es nicht offensichtlich, wie sie zu definieren sind, damit sich die einzelnen Erwartungswerte E (Ii) tatsächlich ohne großen Aufwand berechnen lassen.
Im Folgenden wird:
- erklärt, was eine Indikatorvariable ist und welche Eigenschaften diese Zufallsvariablen haben.
- Am Beispiel des zweimaligen Münzwurfs wird erklärt, wie man bei der Berechnung des Erwartungswertes die Indikatorvariablen einsetzt. Das Beispiel ist so einfach gewählt, dass man den Erwartungswert leicht ohne Indikatorvariablen berechnen kann – gerade dadurch soll diese Methode transparenter werden. Die Verallgemeinerung zum N-fachen Münzwurf ist dann so einfach, dass sie hier nicht vorgeführt wird.
- Das Beispiel Kunstwettbewerb soll zwei Dinge verdeutlichen: Erstens soll es zeigen, wie man durch die Einführung der Indikatorvariablen einen Erwartungswert einer Zufallsvariable X auch berechnen kann, ohne die Verteilung von X zu kennen. Zweitens soll es zeigen, dass es nicht immer offensichtlich ist, wie die Indikatorvariablen geeignet zu definieren sind.
- Das Beispiel des Erwartungswertes der hypergeometrischen Verteilung soll nochmals zeigen, dass die Auswertung der Indikatorvariablen sehr viel einfacher ist als die Berechnung des Erwartungswertes mit Hilfe der Verteilung.
- Da man eine Varianz über Erwartungswerte definieren kann, lässt sich die Methode der Berechnung von Erwartungswerten auch auf die Berechnung von Varianzen übertragen; sie wird am N-maligen Münzwurf und an der hypergeometrischen Verteilung demonstriert.
Diese Aussagen suggerieren, dass Indikatorvariablen ein universelles Hilfsmittel sind, die für viele Aufgaben eingesetzt werden können. Wie im folgenden Abschnitt gezeigt wird (und wie alle besprochenen Beispiele bestätigen werden), sind Indikatorvariablen so einfach, dass sie für sich genommen meist irrelevant sind und ihre Bedeutung erst erlangen, wenn man sie zum Berechnen von Erwartungswerten einsetzt.
Definition und Eigenschaften von Indikatorvariablen
Als Indikatorvariable IA eines Ereignisses A wird eine Zufallsvariable bezeichnet, die angibt, ob das Ereignis A eintritt oder nicht; tritt A ein, ist der Wert der Zufallsvariable gleich 1, tritt A nicht ein, ist der Wert gleich 0. Die exakte Definition ist in Abbildung 1 zu sehen.
Bemerkungen:
- Anstelle der Bezeichnung Indikatorvariable verwendet man oft Indikatorfunktion; dies drückt besser aus, dass die Zufallsvariable IA ein Elementarereignis ω als Eingabewert hat und somit eine Funktion auf der Ergebnismenge Ω ist: IA (ω).
- Da die Zufallsvariable IA nur die beiden Werte 0 oder 1 annehmen kann, schreibt man anstelle von IA häufig 1A; diese Schreibweise drückt besser aus, dass – im relevanten Fall – der Wert der Zufallsvariable gleich 1 ist.
Zur Berechnung des Erwartungswertes einer Indikatorvariable IA muss man über alle Elementarereignisse ω ∈ Ω summieren; da die Zufallsvariable nur die Werte 0 und 1 annehmen kann, muss man nur über die ω ∈ A summieren und erhält die Wahrscheinlichkeit von A, also P(A), siehe Gleichung (2) in Abbildung 1.
Da die Indikatorvariable nur die Werte 0 und 1 annehmen kann und diese Zahlen mit ihrem Quadrat übereinstimmen, hat man mit dem Erwartungswert von IA zugleich den Erwartungswert von IA2 berechnet (siehe Gleichung (3) in Abbildung 1).
Als weitere Folgerung kann man jetzt die Varianz einer Indikatorvariable berechnen, siehe Gleichung (4) in Abbildung 1; man erhält das Produkt aus den Wahrscheinlichkeiten von A und des Gegenereignisses.
Einfaches Beispiel zur Einführung: zweimaliger Münzwurf
Eine Laplace-Münze wird zweimal nacheinander geworfen, die Würfe sind unabhängig voneinander. Anstelle von Kopf und Zahl werden die Ergebnisse mit 0 und 1 bezeichnet. Gesucht ist der Erwartungswert der Zufallsvariable X, die die Anzahl der geworfenen 1 angibt.
Die Ergebnismenge Ω besteht hier aus vier Elementen. Das Problem ist so einfach, dass man sämtliche Wahrscheinlichkeiten der Elementarereignisse sofort angeben und den Erwartungswert E (X) mühelos berechnen kann (die Rechnung ist in Gleichung (1) Abbildung 2 zu sehen). Es ist hier nicht nötig, eine neue Methode zur Berechnung des Erwartungswertes zu entwickeln. Um aber mit Indikatorvariablen vertraut zu werden, soll das Problem entsprechend formuliert werden.
Man definiert zwei Indikatorvariablen für die beiden Ereignisse "beim ersten Wurf tritt eine 1 ein" und "beim zweiten Wurf tritt eine 1 ein"; diese Indikatorvariablen werden mit I1 und I2 bezeichnet, siehe Gleichung (2) in Abbildung 2.
Die Erwartungswerte von I1 und I2 können sofort angegeben werden: wie oben gezeigt wurden, stimmen sie mit den Wahrscheinlichkeiten dafür überein, dass im ersten beziehungsweise zweiten Wurf eine 1 erscheint; aufgrund der Laplace-Annahme sind diese gleich 1/2 (siehe Gleichung (3) in Abbildung 2).
Der entscheidende Schritt in der Verwendung der Indikatorvariablen besteht darin, dass man die Zufallsvariable X als Summe der Indikatorvariablen schreiben kann, siehe Gleichung (4). Diese Gleichung muss tatsächlich als Gleichheit zweier Funktionen zu lesen, das heißt sie muss für jedes ω ∈ Ω erfüllt sein – was man hier aber schnell nachprüft. Im Allgemeinen ist es nicht naheliegend, wie die Indikatorvariablen geeignet zu definieren sind und ob gegebene Indikatorvariablen in der Summe tatsächlich die zu untersuchende Zufallsvariable ergeben. Der anspruchsvolle Teil der Anwendung der hier vorgestellten Methode besteht meist darin, geeignete Indikatorvariablen zu suchen und die Summe wie Gleichung (4) nachzuprüfen.
Hier ist Gleichung (4) nahezu selbstverständlich, so dass man sofort den Erwartungswert nach Gleichung (5) berechnen kann und zum selben Ergebnis wie in Gleichung (2) kommt.
Aufgabe:
Wie werden die Indikatorvariablen für den n-fachen Münzwurf definiert und wie berechnet sich dann der Erwartungswert?
Beispiel: Kunstwettbewerb
Die Problemstellung
An einem Wettbewerb nehmen K Künstler teil, die von J Juroren beurteilt werden. Jeder Juror kann genau einem Künstler seine Stimme geben. Sieger ist, wer die meisten Stimmen erhält. Es wird angenommen,
- dass K, J > 1,
- jeder Juror seine Entscheidung rein zufällig gemäß der Laplace-Annahme macht und
- keine Absprachen unter den Juroren möglich sind.
Gesucht ist der Erwartungswert der Anzahl der Künstler, für die keine Stimme abgegeben wird.
Weiter soll diskutiert werden, inwiefern die Lösung des Problems von folgender Fallunterscheidung abhängt:
- Fall: K > J,
- Fall: K = J,
- Fall: K < J.
Berechnen Sie die Erwartungswerte für K = 10 und J = 3, 4, ..., 10.
Lösung des Problems mit geeigneten Indikatorvariablen
Man beachte, dass durch die Fragestellung nur gefordert wird, den Erwartungswert einer Zufallsvariable X zu berechnen. Die Zufallsvariable X beschreibt hier die Anzahl der Künstler, für die sich kein Juror entscheidet. Der naheliegende Ansatz zur Berechnung von E (X) besteht darin, zuerst die Wahrscheinlichkeiten P(X = n) und dann den Erwartungswert E (X) = ∑ n · P (X = n) zu berechnen. Die detaillierte Information der P(X = n) ist vermutlich sehr schwierig zu berechnen und lässt sich durch die Definition geeigneter Indikatorvariablen vermeiden.
Der Kern des Problems besteht somit darin, die Zufallsvariable X als Summe von Indikatorvariablen zu schreiben, so dass deren Erwartungswert leichter zu berechnen ist als die Wahrscheinlichkeiten P(X = n) und die Summe ∑ n · P (X = n). Man versucht dazu, die Vorgehensweise beim n-fachen Münzwurf zu imitieren. Dort muss der Erwartungswert für n Würfe berechnet werden; als Indikatorvariable wählt man die Zufallsvariable, die einen einzigen Münzwurf beschreibt.
Und wenn hier X die Anzahl der Künstler beschreibt, die nicht ausgewählt werden, so wird man analog Zufallsvariablen definieren, die sich auf einen Künstler beziehen. Ein naheliegender Ansatz ist daher:
Die Zufallsvariable Ii ist gleich 1, wenn die i-te Künstler nicht ausgewählt wird, und gleich 0, wenn er ausgewählt wird; dabei kann i die Werte 1, 2, ..., K annehmen.
Dann kann die Zufallsvariable als Summe der Indikatorvariablen Ii ausgedrückt werden (linker Teil von (1) in Abbildung 3) und die Summe übertägt sich auf den Erwartungswert (rechter Teil von (1) in Abbildung 3).
Der Erwartungswert der Zufallsvariable Ii stimmt mit der Wahrscheinlichkeit dafür überein, dass der i-te Künstler von keinem Juror ausgewählt wird, also mit der Wahrscheinlichkeit dafür, dass sich alle J Juroren für einen der anderen K - 1 Künstler entscheiden. Da die Entscheidungen unabhängig voneinander getroffen werden, ergibt sich Gleichung (2) in Abbildung 3. Führt man jetzt die Summation in (1) aus, erhält man einen Ausdruck (3) für den Erwartungswert von X, der nur von den gegebenen Größen K und J abhängt. Und man erkennt sofort, dass die oben angegebene Fallunterscheidung (Beziehung von K und J) irrelevant ist.
Die Tabelle in Abbildung 3 unten gibt die mit Gleichung (3) berechneten Erwartungswerte für K = 10 und J = 3, 4, ..., 10 an (gerundet auf zwei Nachkommastellen). Man erkennt die Monotonie: je mehr Juroren es gibt, um so kleiner wird der Erwartungswert für die Anzahl der nicht ausgewählten Künstler.
Aufgabe: Wie groß ist E (X) / K für K = J im Grenzübergang K → ∞?
Der Erwartungswert der hypergeometrischen Verteilung
In Spezielle Wahrscheinlichkeitsverteilungen: die hypergeometrische Verteilung wurde der Erwartungswert der hypergeometrischen Verteilung zwar angegeben aber nicht hergeleitet. Dort wurde der Term gezeigt, den man eigentlich auswerten muss, um den Erwartungswert zu berechnen, siehe Abbildung 4, Gleichung (2). Mit elementaren Kenntnissen über die Binomialkoeffizienten kann man den Erwartungswert nicht berechnen, da jeder Summand (in der Summe über n) sowohl den Faktor n als auch zwei von n abhängige Binomialkoeffizienten enthält. Stattdessen lässt sich der Erwartungswert mit der hier vorgestellten Methode berechnen: Man definiert geeignete Indikatorvariablen und berechnet ihre Erwartungswerte.
Das Paradebeispiel für ein Zufallsexperiment, das sich mit Hilfe der hypergeometrischen Verteilung beschreiben lässt, ist das Ziehen ohne Zurücklegen, wobei sich in der Urne anfangs M = K + L Lose befinden, von denen K Nieten und L Treffer sind. Werden jetzt N Lose ohne Zurücklegen gezogen, so ist es naheliegend zu fragen, wie viele Treffer gezogen wurden. Die Zufallsvariable X soll die Anzahl der Treffer bei N Ziehungen beschreiben.
Die Wahrscheinlichkeiten P(X = n) werden als die hypergeometrische Verteilung mit den Parametern K, L und N bezeichnet. Wie in Spezielle Wahrscheinlichkeitsverteilungen: die hypergeometrische Verteilung hergeleitet wurde, berechnet sich P(X = n) durch Gleichung (1) in Abbildung 4.
Um geeignete Indikatorvariablen zu definieren, werden zuerst die Treffer mit 1, 2, ..., L durchnumeriert. Bei einer Ziehung wird dann nicht nur festgestellt, ob eine Niete oder ein Treffer gezogen wurde, sondern im Falle eines Treffers wird diese Nummer angegeben. Die Zufallsvariablen Xi nehmen dann jeweils den Wert 1 an, wenn der Treffer mit Nummer i gezogen wurde und 0, wenn der Treffer nicht gezogen wurde (siehe Gleichung (3) in Abbildung 4). Da es L Treffer gibt, läuft der Index i von 1 bis L.
Damit lässt sich die Zufallsvariable X (also die Anzahl der Treffer bei N Ziehungen) als Summe dieser Indikatorvariablen schreiben und zur Berechnung des Erwartungswertes von X verwendet man die Linearität des Erwartungswertes (siehe Gleichung (4) in Abbildung 4).
Um jetzt E (X) zu berechnen, benötigt man die Erwartungswerte E (Xi); da kein Treffer bevorzugt ist, sind alle Erwartungswerte identisch. Der Wert stimmt mit der Wahrscheinlichkeit dafür überein, dass der i-te Treffer gezogen wird. Und diese Wahrscheinlichkeit kann leicht durch Abzählen bestimmt werden: Werden N Lose aus dem Lostopf mit M Losen gezogen, so gibt es "N aus M" gleichwahrscheinliche Möglichkeiten. Darunter gibt es "(N-1) aus (M-1)" Möglichkeiten, bei denen der i-te Treffer gezogen wird, siehe Gleichung (5) in Abbildung 4. (Der Treffer i muss gezogen werden, aus den verbleibenden M-1 Losen werden N-1 Lose gezogen.) Vereinfacht man die Binomialkoeffizienten in (5), erhält man N/M, siehe Gleichung (6). Mit dieser Wahrscheinlichkeit, die zugleich der Erwartungswert der Indikatorvariablen ist, kann man den Erwartungswert von X berechnen, siehe Gleichung (7) und (8).
Diesen Erwartungswert (8) kann man mit einer "Trefferwahrscheinlichkeit" p = L / M schreiben. Den Begriff Trefferwahrscheinlichkeit darf man dabei nicht missverstehen, da er eigentlich nur die Ausgangssituation beschreibt, wenn sich im Lostopf noch L Treffer und insgesamt M Lose befinden. Da ohne Zurücklegen gezogen wird, ändert sich die die Trefferwahrscheinlichkeit bei jedem Zug – erstaunlich ist dann Gleichung (8), da sie eine konstante Trefferwahrscheinlichkeit während aller N Ziehungen suggeriert (wie beim Ziehen mit Zurücklegen).
Die Berechnung der Varianz mit Hilfe von Indikatorvariablen
Da man die Berechnung der Varianz einer Zufallsvariable X auf die Berechnung von Erwartungswerten zurückführen kann, gemäß der Formel (siehe auch Gleichung (6) in Abbildung 5)
Var(X) = E (X2) - (E (X))2,
kann man jetzt versuchen, die Indikatorvariablen zur Berechnung der Varianz einzusetzen. Vorgestellt wird die Methode für den N-fachen Münzwurf und die hypergeometrische Verteilung.
Der N-malige Münzwurf
Wie oben werden die Ergebnisse des Münzwurfes anstelle von Kopf und Zahl durch 0 (Niete) und 1 (Treffer) dargestellt. Anders als oben wird die Trefferwahrscheinlichkeit mit p (0 < p < 1, q = 1 - p) angesetzt. Die N Würfe erfolgen unabhängig voneinander.
Die Zufallsvariable X, die die Anzahl der Treffer bei N Würfen beschreibt, wird als Summe von N Indikatorvariablen geschrieben; die Indikatorvariable Ii beschreibt das Ergebnis des i-ten Münzwurfs, siehe Gleichung (1) links in Abbildung 5. Berechnet man jetzt die Zufallsvariable X2 und stellt sie mit Hilfe der Indikatorvariablen dar, so gibt es insgesamt N2 Summanden, siehe Gleichung (1) rechts und (2) in Abbildung 5:
- N mal treten Quadrate auf Ii2,
- (N2 - N) mal treten gemischte Produkte Ii Ij auf, in denen i und j verschieden sind.
Die Aufspaltung ist sinnvoll, weil es zwei unterschiedliche Erwartungswerte gibt (siehe Gleichungen (4) und (5)):
- Da Ii2 = Ii, ist E (Ii2) = p und
- E (Ii Ij) = p2 (dies ist gleich der Wahrscheinlichkeit dafür, dass sowohl im i-ten als auch im j-ten Wurf ein Treffer erscheint).
Mit all diesen Vorbereitungen kann die Varianz von X leicht berechnet werden, siehe Gleichung (6) und (7); die Varianz und die Standardabweichung sind in Gleichung (8) gezeigt.
Die hypergeometrische Verteilung
Die Rechenschritte zur Berechnung der Varianz beim N-maligen Münzwurf können jetzt – mit leichten Anpassungen – auf die Berechnung der Varianz der hypergeometrischen Verteilung übertragen werden. Die Indikatorvariablen werden dazu wie in Gleichung (3) in Abbildung 4 definiert. Aus Abbildung 5 können die Gleichungen (1) bis (3) und der Ansatz zur Berechnung der eigentlichen Varianz in (6) übernommen und auf die entsprechenden Zufallsvariablen übertragen werden. Abzuändern sind die Erwartungswerte in Gleichung (4) und (5) in Abbildung 5.
Der Erwartungswert E (Xi) wurde bereits in Gleichung (5) und (6) in Abbildung 4 berechnet und dort erläutert. Vergleicht man den Erwartungswert mit Gleichung (4) in Abbildung 5, so wird man hier vielleicht L/M anstelle von N/M erwarten. Dazu muss man aber bedenken: Die Zufallsvariable Xi beschreibt N Ziehungen aus der Urne, in der sich anfangs L Treffer und K Nieten befinden. Wird der Treffer mit der Nummer i gezogen, ist die Zufallsvariable Xi gleich 1. Wenn also die Anzahl der Ziehungen größer wird, wird auch die Wahrscheinlichkeit dafür größer, dass der Treffer i gezogen wird. Und für N = M wird diese Wahrscheinlichkeit sogar gleich 1, da ohne Zurücklegen gezogen wird und bei N = M alle Lose – also auch das Los i – gezogen werden.
Ähnlich kann man den Erwartungswert E (Xi · Xj) = P(Xi = 1, Xj = 1) in (4) und (5) interpretieren: Für N = 1 ist diese Wahrscheinlichkeit gleich 0, da nur ein Treffer gezogen werden kann. Wird N größer, wächst die Wahrscheinlichkeit und wird gleich 1, wenn N = M.
Sind die Erwartungswerte (3) und (5) bekannt, kann man wie in Abbildung 5 die gesuchte Varianz berechnen, siehe Gleichung (6) in Abbildung 6, wobei einige Zwischenschritte nicht gezeigt sind (siehe Aufgabe unten). In (7) ist dann die Varianz und die Standardabweichung gezeigt.
Aufgaben:
1. In Gleichung (6) in Abbildung 5 fehlen einige Zwischenschritte (Terme auf gemeinsamen Nenner bringen, die Variable q = 1 - p einführen, vereinfachen). Führen Sie die entsprechenden Rechenschritte aus.
2. Für M = N werden die Varianz und die Standardabweichung von X in (7) gleich 0. Wie kann man das auch ohne Rechnung begründen?
3. Für N = 1 ist Var(X) in (7) nicht definiert. Der Term ist dann aber so zu verstehen, dass sich der Bruch (M-N)/(M-1) kürzt und somit Var(X) = pq bleibt. Diskutieren Sie, ob dies ein sinnvolles Ergebnis für Var(X) ist.
4. Es ist kein Zufall, dass die Terme für die Varianz in Gleichung (8) in Abbildung 5 und Gleichung (7) in Abbildung 6 ähnliche Gestalt haben – um sie zu verdeutlichen wurde q eingeführt. Diskutieren Sie, warum die Berechnungen in Abbildung 5 auf das Zufallsexperiment Ziehen mit Zurücklegen übertragen werden können, wobei sich in der Urne ebenfalls zwei Arten von Losen befinden: Treffer und Nieten, die mit Wahrscheinlichkeit p beziehungsweise q = 1 - p gezogen werden.
Diskutieren Sie weiter, ob die Terme für die Varianz (beziehungsweise Standardabweichung) in dieser Interpretation plausibel sind.