Grundbegriffe der Wahrscheinlichkeitsrechnung: Zufallsexperiment und Wahrscheinlichkeit

Einordnung des Artikels

• Ausgewählte Kapitel der Mathematik (für Programmierer, Informatiker, Ingenieure und Naturwissenschaftler)
  • Wahrscheinlichkeitsrechnung
    • Grundbegriffe der Wahrscheinlichkeitsrechnung: Zufallsexperiment und Wahrscheinlichkeit

Einführung

Die grundlegenden Begriffe der Wahrscheinlichkeitsrechnung sollen hier ohne strenge, formale Definitionen besprochen werden:

Zufallsexperiment, Ergebnismenge, Elementarereignis, Ereignis, Ereignisalgebra, Wahrscheinlichkeit, Wahrscheinlichkeitsraum.

Mathematische Vorkenntnisse zum Verständnis dieses Kapitels beschränken sich auf Mengenoperationen (Vereinigung, Durchschnitt, Komplement).

Zufallsexperiment

Ihren Ausgangspunkt nahm die Wahrscheinlichkeitsrechnung in der Analyse von Zufallsexperimenten oder Glücksspielen wie dem Werfen eines Würfels. Die für eine mathematische Modellierung relevanten Eigenschaften eines Zufallsexperimentes sind:

• Das Experiment wird unter genau festgelegten Bedingungen durchgeführt (keine unsichtbare Steuerung des Würfels).
• Das Experiment kann im Prinzip unter diesen Bedingungen unendlich oft wiederholt werden.
• Es gibt eine vorher bekannte Menge von (zwei oder mehr) möglichen Ergebnissen des Experimentes.
• Es kann nicht mit Sicherheit vorhergesagt werden, welches Ergebnis als nächstes eintreten wird.

Ergebnismenge

Die möglichen Versuchsausgänge (Ergebnisse) werden als Elementarereignisse ω bezeichnet, sie werden zur Ergebnismenge Ω zusammengefasst.

Beispiel: Werfen eines Würfels

Klassiker eines Glücksspiels ist das Werfen eines Würfels, der mit den Zahlen von 1 bis 6 beschriftet ist. Jede dieser Zahlen bildet ein Elementarereignis ω, die Ergebnismenge Ω ist hier:

Ω = {1; 2; 3; 4; 5; 6}

Gegenbeispiel: Wettervorhersage

Bei der Frage: "Wie wird das Wetter morgen?" handelt es sich nicht um ein Zufallsexperiment, obwohl doch alle Voraussetzungen erfüllt zu sein scheinen. Denn die Frage ist zu unspezifisch, so dass es nicht möglich ist, eine geeignete Ergebnismenge anzugeben. (Versuchen Sie es!)

Ein Zufallsexperiment erhält man etwa durch die konkretere Fragestellung: "Wie groß sind morgen um 12 Uhr mittag Lufttemperatur, Luftdruck, relative Luftfeuchtigkeit und Bewölkungsgrad?"

Ein Elementarereignis ω besteht jetzt aus einem Tupel von 4 Zahlen, für die ein geeigneter Definitionsbereich festzulegen ist:

ω = (T; p; f; b)

Ereignisse und Ereignisalgebra

Mehrere Elementarereignisse können zu einem Ereignis A zusammengefasst werden; A ist also eine Teilmenge von Ω:

A ⊆ Ω.

Ein spezielles Ereignis ist das sichere Ereignis Ω, die Ergebnismenge selbst.

Ereignisse sind natürlich ebenfalls durch Glücksspiele motiviert: beim Eintritt eines bestimmten Ereignisses gewinnt man, tritt das Ereignis nicht ein, verliert man. Falls ω ∈ A, sagt man "Das Ereignis A tritt ein", falls ω ∈ A^C = Ω \ A, sagt man "das Ereignis A tritt nicht ein"; dabei ist A^C die Komplementmenge (oder kurz das Komplement) von A.

Das Ereignis, das dem Komplement von Ω entspricht, ist die leere Menge ∅, die als das unmögliche Ereignis bezeichnet wird.

Gilt die Beziehung G ∩ U = ∅, so werden zwei Ereignisse (hier G und U) als unvereinbar bezeichnet: wenn eines eintritt, kann nicht gleichzeitig das andere eintreten. G und U werden dann auch als disjunkte Ereignisse bezeichnet.

Beispiel: Werfen eines Würfels

Über Gewinn und Verlust bei Werfen eines Würfels soll entscheiden, ob eine gerade oder eine ungerade Zahl geworfen wird. Die relevanten Ereignisse sind jetzt:

G = {2; 4; 6}, U = {1; 3; 5}.

Es gelten folgende Mengenoperationen: G^C = U, U^C = G, G ∪ U = Ω, G ∩ U = {}.

Wie man am letzten Beispiel sieht, enthalten die vier Mengen ∅, Ω , G, U = G^C sämtliche relevanten Informationen für einen Spieler, der beim Würfeln auf eine gerade oder ungerade Zahl setzt — die tatsächlich geworfene Zahl ist unerheblich. In diesem Sinne bilden die vier Mengen eine vergröberte Sichtweise des Würfelspiels. Sie werden zur Ereignisalgebra A zusammengefasst:

A ={ ∅, G, U, Ω }.

Genauer ist eine Ereignisalgebra ein Mengensystem, das das sichere Ereignis Ω enthält und bezüglich der Mengenoperationen Komplementbildung und Durchschnittbildung abgeschlossen ist.

Enthält eine Ereignisalgebra alle Elementarereignisse, dann stimmt sie mit der Potenzmenge von Ω überein (also der Menge aller Teilmengen von Ω).

Beispiel: Ereignisalgebra beim Würfeln

Bei einem Würfelspiel sollen für die Spieler folgende Möglichkeiten bestehen zu setzen:

• Auf eine gerade oder ungerade Zahl.
• Ob die 6 eintritt oder nicht.

Die Ereignisalgebra, die alle für dieses Spiel relevanten Mengen enthält, ist jetzt:

A = {{}, {6}, {1; 2; 3; 4; 5}, {2; 4; 6}, {1; 3; 5}, {2; 4}, {1; 3; 5; 6}, {1; 2; 3; 4; 5; 6}}.

Die Bedeutung dieser Mengen macht man sich sofort klar, wenn man an zwei Spieler denkt, von denen einer auf die 6 setzt (Herr Forsch) und der andere (Herr Scheu) auf "gerade Zahl" — die Ereignisalgebra beschreibt dann die möglichen Ausgänge eines Würfelspiels:

• leere Menge (muss aus Konsistenzgründen in der Ereignisalgebra enthalten sein)
• "Herr Forsch gewinnt" (diese Menge stimmt überein mit "Herr Forsch gewinnt und zugleich gewinnt Herr Scheu")
• "Herr Forsch gewinnt nicht"
• "Herr Scheu gewinnt"
• "Herr Scheu gewinnt nicht"
• "Herr Forsch gewinnt nicht und zugleich gewinnt Herr Scheu"
• "Herr Forsch gewinnt oder Herr Scheu gewinnt nicht" (dies ist zugleich die Komplementmenge der letzten Menge)
• das sichere Ereignis (muss aus Konsistenzgründen in der Ereignisalgebra enthalten sein).

Weitere Teilmengen von Ω sind für dieses Spiel irrelevant und daher nicht in der Ereignisalgebra A enthalten. Man mache sich klar, dass das Mengensystem A bezüglich der Durchschnittbildung und Komplementbildung abgeschlossen ist!

Wahrscheinlichkeitsraum

Bisher war noch nicht von Wahrscheinlichkeiten die Rede, sondern nur davon, dass der Ausgang eines Zufallsexperimentes nicht vorhergesagt werden kann. Mit der Einführung der Ereignisalgebra ist aber der wichtigste vorbereitende Schritt vollzogen, um auch Wahrscheinlichkeiten einzuführen. Denn je nachdem, welches Zufallsexperiment durchgeführt wird und welche Ereignisse dann relevant sind, können über die Mengenoperationen (Komplement und Durchschnitt) alle Teilmengen von Ω gebildet werden, die mit Wahrscheinlichkeiten belegt werden müssen — eine verfeinerte Sichtweise ist nicht nötig. Mathematisch gesehen ist die Wahrscheinlichkeit eine Abbildung P, die jedem Ereignis A aus der relevanten Ereignisalgebra A eine Zahl zwischen 0 und 1 zuordnet.

Welche Forderungen sind an diese "Belegungen mit Wahrscheinlichkeiten" sinnvoll?

1. Alle Wahrscheinlichkeiten liegen zwischen 0 und 1: 0 ≤ P(A) ≤ 1.
2. Das sichere Ereignis erhält die Wahrscheinlichkeit 1: P (Ω) = 1.
3. Das unmögliche Ereignis erhält die Wahrscheinlichkeit 0: P (∅ ) = 0.
4. Für disjunkte Ereignisse A und B gilt: A ∩ B = ∅ ⇒ P (A ∪ B) = P (A) + P (B).

Aus der letzten Bedingung folgt speziell: P(A) + P(A^C) = 1 .

Beispiele

Man beachte, dass die Forderungen an die Wahrscheinlichkeit P keine Regeln enthalten, wie man zu einem gegebenen Zufallsexperiment die numerischen Werte der Wahrscheinlichkeiten findet. Vielmehr handelt es sich um Forderungen, die eine mit den Regeln der Mengenlehre und unserem intuitiven Begriff von Wahrscheinlichkeit konsistente Belegung von Ereignissen mit Wahrscheinlichkeiten erfüllen muss. In einigen einfachen Fällen sind numerische Werte der Wahrscheinlichkeit aus "Symmetrieüberlegungen" plausibel.

Beispiel: Würfeln als Laplace–Experiment

Nimmt man an, das ein Würfel perfekt symmetrisch geformt ist, so ist keine Zahl bevorzugt und jedes der 6 Elementarereignisse besitzt die gleiche Wahrscheinlichkeit:

P({1}) = P({2}) = P({3}) = P({4}) = P({5}) = P({6}) = 1/6.

Und da die Elementarereignisse unvereinbar sind, gilt zum Beispiel:

P(G) = P({2; 4; 6}) = 1/2 und P(U) = P({1; 3; 5}) = 1/2.

Zufallsexperimente mit gleichwahrscheinlichen Elementarereignissen werden als Laplace–Experimente bezeichnet.

Beispiel: Gezinkter Würfel

Ein Würfel besitze für die Elementarereignisse die Wahrscheinlichkeiten

P({1}) = 1/12, P({2}) = P({3}) = P({4}) = P({5}) = 1/6, P({6}) = 3/12 = 1/4.

Für den gezinkten Würfel gilt:

P(G) = P({2; 4; 6}) = 7/12 und P(U) = P({1; 3; 5}) = 5/ 12.

Man beachte, dass die Ereignisalgebren, die durch die Ereignisse G und U erzeugt werden für den Laplace–Würfel und für den gezinkten Würfel identisch sind, nur die Belegung der Ereignisse mit Wahrscheinlichkeiten ist unterschiedlich.

Ausblick: Zusammenhang zwischen Wahrscheinlichkeitsrechnung, Wahrscheinlichkeitstheorie und Statistik

Die Wahrscheinlichkeitsrechnung macht es sich leicht, indem sie immer von einer gegebenen Wahrscheinlichkeit P auf einer Ereignisalgebra ausgeht und dann Fragen untersucht wie:

• Wie groß sind die Wahrscheinlichkeiten von komplizierten Ereignissen, wenn die Wahrscheinlichkeiten der Elementarereignisse bekannt sind?
• Wie groß ist der zu erwartende Gewinn oder Verlust bei einem Glücksspiel?
• Gibt es für ein bestimmtes Glücksspiel eine Gewinnstrategie?

Die Statistik dagegen möchte — etwa zu einem gegebenen Würfel — herausfinden, welche Wahrscheinlichkeiten die Elementarereignisse besitzen. Eine exakte Antwort kann man hier nie erwarten, aber man kann Schätzungen angeben, indem man — geeignete — Stichproben nimmt. Oder man kann Hypothesen aufstellen (wie "Der Würfel ist kein Laplace–Würfel") und sich überlegen, durch welche Tests man die Hypothesen bestätigen oder widerlegen kann.

Die Statistik nimmt dabei die Ergebnisse der Wahrscheinlichkeitsrechnung zu Hilfe, um ihre Aussagen zu präzisieren, etwa:

• Wie lang muss man eine Stichprobe wählen, um zu einem (einigermaßen) verlässlichen Ergebnis zu gelangen?
• Wie groß ist die Wahrscheinlichkeit, dass ein Würfel gezinkt ist, obwohl das Ergebnis der Stichprobe auf einen Laplace–Würfel hindeutet?

All die bisher gestellten Fragen wirken sehr praktisch und anwendungsorientiert. Der Einstieg in dieses Kapitel mit den Ausführungen etwa zur Ereignisalgebra hat schon gezeigt, dass man sich nicht aus dem Nichts auf diese praktischen Fragen stürzen sollte – eine gewisse Systematik in der Vorgehensweise kann sicher nicht schaden. Und dazu gibt es die Wahrscheinlichkeitstheorie, die man von der Wahrscheinlichkeitsrechnung unterscheiden sollte.

Die Wahrscheinlichkeitstheorie untersucht dann Fragestellungen wie:

• Welche Eigenschaften haben Konstrukte wie eine Ereignisalgebra, die Wahrscheinlichkeit oder ein Wahrscheinlichkeitsraum?
• Wie kann man sie axiomatisch festlegen?
• Bisher wurden nur endliche Ereignisalgebren betrachtet; kann man die Eigenschaften der Ereignisalgebra auf unendliche Mengensysteme übertragen?

Wenn Sie ein Buch über Wahrscheinlichkeit zur Hand nehmen, sollten Sie darauf achten, ob es die Vorgehensweise der Wahrscheinlichkeitsrechnung, der Wahrscheinlichkeitstheorie oder der Statistik betont und was Sie eigentlich erwarten.

Wahrscheinlichkeit und relative Häufigkeit

Die in dem letzten Ausblick gegebene Einschätzung von Wahrscheinlichkeit mag etwas ernüchternd klingen: die Wahrscheinlichkeitstheorie hat die Aufgabe, den formalem Rahmen bereitzustellen, in dem widerspruchsfrei mit Wahrscheinlichkeiten gerechnet werden kann — welche Bedeutung Wahrscheinlichkeit hat, kann aus diesem Formalismus nicht abgelesen werden.

Eine intuitive Interpretation von Wahrscheinlichkeit ist allerdings bekannt: Die Bedeutung von P ({ 6 }) = 1/6 beim Würfeln ist, dass jeder sechste Wurf eine 6 ergibt — was genau mit gemeint ist, muss aber noch erklärt werden. Und wenn dies nicht der Fall ist, gehen wir davon aus, dass der Würfel gezinkt ist.

Zumindest kann man an dieser Interpretation ablesen, wie die numerischen Werte der Wahrscheinlichkeiten gewonnen werden: man wiederholt ein Zufallsexperiment sehr oft und stellt fest, ob ein bestimmtes Ereignis eintritt oder nicht (hier wäre das fragliche Ereignis die { 6 } beim Würfeln). Ist die Anzahl der Wiederholungen groß genug, erwartet man, das sich die relative Häufigkeit, mit der das Ereignis eintritt, nicht mehr sehr stark verändert und sich so etwas wie ein Grenzwert ablesen lässt. Dieser Grenzwert wird dann als die Wahrscheinlichkeit des Ereignisses bezeichnet:

N₆ / N → P ({ 6 }) für N → ∞,

wobei N angibt, wie oft der Würfel geworfen wurde, und N₆ die Anzahl der (hier: Eintreten des Ereignisses { 6 }) in der Messreihe beschreibt. (Ob der Limes tatsächlich wie in der Analysis definiert werden kann, oder ein geeigneter Grenzübergang erst noch definiert werden muss, soll hier noch nicht untersucht werden.)

Beispiel: N–maliges Werfen eines Würfels

Ein Wurfel wird N-mal geworfen, wobei N = 6¹, 6², 6³, 6⁴, 6⁵, . . .. Gezählt wird wie oft die 6 vorkommt (N₆) und wie oft eine gerade Zahl vorkommt (N_G). Die Zahlen N₆ und N_G werden als absolute Häufigkeiten der Ereignisse {6} und G = {2; 4; 6} bezeichnet. Berechnet werden die relativen Häufigkeiten

r₆ = N₆ / N

r_G = N / N_G.

Die Ergebnisse dieses Zufallsexperimentes sind in der Tabelle in Abbildung 1 zu sehen. Man beachte, dass nur bei N = 6 die relative Häufigkeit exakt mit der Wahrscheinlichkeit übereinstimmt – für größere N ist dann aber so etwas wie eine Konvergenz gegen den Grenzwert zu erkennen.

Abbildung 1: Berechnung der relativen Häufigkeiten eines Ereignisses in einer Zufallsfolge.

Unabhängigkeit von Zufallsexperimenten: "Der Zufall hat kein Gedächtnis"

Unter den Forderungen an ein Zufallsexperiment war, dass ein Zufallsexperiment beliebig oft unter gleichen Bedingungen wiederholt werden kann. Dies soll nun konkretisiert (mancher Leser wird sagen: verschärft) werden:

Bei der Wiederholung eines Zufallsexperimentes ist das Ergebnis vom vorausgegangenen Ergebnis unabhängig.

Die Konsequenz dieser Unabhängigkeit ist, dass die Wahrscheinlichkeiten der aufeinanderfolgenden Ergebnisse multipliziert werden dürfen. Wird beispielsweise ein Laplace–Würfel zweimal nacheinander geworfen, so ist die Wahrscheinlichkeit dafür, dass beim ersten Wurf eine 6 erscheint gleich 1/6. Die Unabhängigkeit der Zufallsexperimente besagt dann, dass für den zweiten Wurf dieselben Bedingungen gelten, also die Wahrscheinlichkeit dafür, dass eine 6 erscheint wieder 1/6 ist. Und die Wahrscheinlichkeit dafür, dass zwei aufeinanderfolgende 6 erscheinen, beträgt

P(66) = 1/6 · 1/6 = 1/36.

Die Unabhängigkeit von Zufallsexperimenten kann man sich etwa wie folgt plausibel machen: Ein Würfel wird einmal geworfen. Anschließend wird er aufgenommen und nicht geworfen sondern festgehalten und auf die Unterlage gestürzt. Führt man diese Bewegung sauber aus, erscheint dieselbe Zahl wie beim ersten Wurf. Das ist kein Zufallsexperiment sondern ein determinierter Vorgang. Wird der Würfel nach dem Aufnehmen nicht nur gestürzt sondern andeutungsweise geworfen, so ist vielleicht die Wahrscheinlichkeit dafür erhöht, dass dieselbe Zahl wie beim ersten Wurf erscheint. Wird er dagegen in hohem Bogen in die Luft geworfen, gibt es viele nicht-kontrollierbare (oder soll man sagen: "zufällige") Einflüsse auf den Würfel, so dass "er die Erinnerung an das erste Ergebnis verliert" und das Ergebnis ist tatsächlich unvorhersehbar - – und jedes Elementarereignis besitzt wieder die Wahrscheinlichkeit 1/6.

In den folgenden Kapiteln wird die Unabhängigkeit von Zufallsexperimenten verwendet. Das weiter reichende Konzept der Unabhängigkeit von Ereignissen wird erst später eingeführt, wenn die Eigenschaften von Zufallsvariablen besprochen wurden.

R-Skripte

Simulation des Würfelns: Erzeugen einer Zufallsfolge

Mit Hilfe der Funktion sample() können Zufallsfolgen zu gegebenen Elementarereignissen und den zugehörigen Wahrscheinlichkeiten gebildet werden. Im folgenden Skript wird – um das Würfeln zu simulieren – die Menge (1:6) als Ergebnismenge gewählt (Zeile 1) und die Wahrscheinlichkeiten der Elementarereignisse werden gleich 1/6 gesetzt (Zeile 2):

omega <- (1:6)
probs <- rep(x = 1/6, times = 6)

n <- 100
rs <- vector(mode = "integer", length =  n)

rs <- sample(x = omega, size = n, replace = TRUE, prob = probs)
rs
# [1] 5 4 3 2 1 3 4 2 1 6 5 4 6 5 6 4 4 2 4 6 5 5 4 5 6 6 1 2 3 1 3 5 1 2 6 6 6 5 1 1 4 1 5 4 4 6 5 1 3 2 3 4 2 1 4 3 6 1 3 6 2 2 6 1 5 6 2 6 2 4 4 1 3 6 2 4 5
# [78] 6 1 6 4 1 5 1 6 2 1 2 6 1 2 1 1 5 5 3 1 5 5 2

Zeile 4: Es soll 100 mal gewürfelt werden.

Zeile 5: Die Funktion sample() wird mit der Menge der Elementarereignisse omega, der Anzahl der Würfe n und den Wahrscheinlichkeiten probs aufgerufen. Die Zufallsfolge wird als rs (steht für random sequence) abgespeichert.

Die Ausgabe der Zufallsfolge ist natürlich nicht reproduzierbar.

Auswertung der Zufallsfolge

Wie im letzten Abschnitt soll wieder eine Zufallsfolge erzeugt werden, die anschließend im Sinne der Tabelle in Abbildung 1 ausgewertet wird: Es soll für zunehmende Längen der Zufallsfolge die relative Häufigkeit berechnet werden, um zu sehen, ob so etwas wie eine Konvergenz der relativen Häufigkeit gegen die Wahrscheinlichkeit stattfindet.

Dazu wird eine Länge N der Zufallsfolge vorgegeben und nach √N, 2 · √N, 3 · √N, ..., N Würfen wird die relative Häufigkeit eines Ereignisses berechnet.

rel.frequencies <- function(k, N){
  omega <- (1:6)
  probs <- rep(x = 1/6, times = 6)
  rs <- sample(x = omega, size = N, replace = TRUE, prob = probs)
  
  rs.k <- (rs == k)   # TRUE für Komponenten, die gleich k sind, FALSE sonst
  cat(rs.k)
  # Abstand zwischen den Stützstellen, gleichzeitig ihre Anzahl:
  delta <- floor(sqrt(N))
  cat("delta: ", delta, "\n")
  # Vektor der Stützstellen
  x <- delta * (1:delta)
  
  # zugehörige relative Häufigkeiten
  y <- vector(mode = "integer", length =  delta)
  
  # Setzen der y-Werte
  for(i in (1:delta)){
    # erste i*delta Komponenten von rs.k
    v <- head(x = rs.k, n = i * delta)
    # relative Häufigkeit von k:
    y[i] <- sum(v) / (i * delta)
    cat("y: ", y[i], "\n")
  }
  plot(x = x, y = y)
  lines(x = c(0, N), y = c(1/6, 1/6))
}

Zeile 1: definiert die Funktion zum Erzeugen und Auswerten der Zufallsfolge beim Würfeln.

Zeile 2 bis 4: sind aus dem vorherigen Abschnitt bekannt.

Zeile 6: Es wird ein logischer Vektor erzeugt, der für jede Komponente der Zufallsfolge angibt, ob sie mit dem Wert k übereinstimmt.

Zeile 9 und 12: Wird für die Länge der Zufallsfolge eine Quadratzahl eingegeben, stimmen die Anzahl der Stützstellen und ihre Abstände überein. Für N = 100 werden etwa 10 Stützstellen bei 10, 20, ..., 100 erzeugt.

In der Schleife ab Zeile 18 werden jetzt die relativen Häufigkeiten für den Wert k berechnet.

Zeile 22 und 23: Nach der Schleife werden die relativen Häufigkeiten gezeichnet, wobei eine zusätzliche Linie für den Grenzwert gezogen wird.

Aufgerufen wird die Funktion rel.frequencies() mit geeigneten Zahlen, etwa N = 100 oder N = 10000:

rel.frequencies(k = 6, N = 100)
rel.frequencies(k = 6, N = 10000)

Die folgenden Abbildungen 2 und 3 zeigen die Plots:

Abbildung 2: Relative Häufigkeiten für die 6 beim 100-maligen Würfeln.

Abbildung 3: Relative Häufigkeiten für die 6 beim 10000-maligen Würfeln.

In Abbildung 2 ist schwer von einer Konvergenz gegen einen Grenzwert zu sprechen. Dagegen ist in Abbildung 3 zu sehen: Je mehr Würfe ausgewertet werden, umso näher liegt die relative Häufigkeit beim Grenzwert von 1/6. Ein Beweis für die Konvergenz – in welchem Sinne auch immer – ist dies natürlich nicht.

Aufgabe:

Wiederholen Sie das Computer-Experiment einige Male und entscheiden Sie: Ist in Abbildung 3 das "typische" Verhalten der relativen Häufigkeit zu sehen?

Führen Sie das Computer-Experiment mit größeren Anzahlen N durch (die Ausgaben in den cat()-Befehlen sollten Sie dann besser abschalten).