Die bedingte Wahrscheinlichkeit ist ein wichtiges Konzept in der Wahrscheinlichkeitstheorie und beschreibt die Wahrscheinlichkeit eines Ereignisses unter der Bedingung, dass ein anderes Ereignis bereits eingetreten ist. Sie ermöglicht es, die Wahrscheinlichkeit eines Ereignisses unter bestimmten Voraussetzungen genauer zu bestimmen.
Um die bedingte Wahrscheinlichkeit zu berechnen, teilt man die Wahrscheinlichkeit des gemeinsamen Eintretens beider Ereignisse durch die Wahrscheinlichkeit des bereits eingetretenen Ereignisses. Formal ausgedrückt bedeutet dies:
P(A|B) = P(A und B) / P(B)
Dabei steht P(A|B) für die bedingte Wahrscheinlichkeit von A unter der Bedingung B, P(A und B) für die Wahrscheinlichkeit des gemeinsamen Eintretens von A und B und P(B) für die Wahrscheinlichkeit von B. Die Formel kann nur verwendet werden, wenn die Wahrscheinlichkeit P(B) ungleich null ist.
Ein einfaches Beispiel zur Verdeutlichung: Angenommen, wir werfen zwei Münzen. Das Ereignis A könnte dabei das Eintreten von Kopf bei der ersten Münze sein und das Ereignis B das Eintreten von Kopf bei der zweiten Münze. Die bedingte Wahrscheinlichkeit P(A|B) beschreibt nun die Wahrscheinlichkeit, dass die erste Münze Kopf zeigt, unter der Bedingung, dass die zweite Münze Kopf zeigt.
Als Anwendung der bedingten Wahrscheinlichkeit empfehlen wir den Artikel "Die bedingte Entropie einer diskreten Wahrscheinlichkeitsverteilung: Definition und einfache Beispiele". Die Entropie ist ein Maß für die Unsicherheit des Ausgangs eines Zufallsexperimentes; sie ordnet einer Wahrscheinlichkeitsverteilung eine nichtnegative Zahl zu. Der Artikel diskutiert die bedingte Entropie als Verallgemeinerung der Entropie, wenn eine bedingte Wahrscheinlichkeitsverteilung zugrunde liegt.
Ein weiterer Artikel, der sich mit diesem Thema befasst, ist "Die gegenseitige Information". Dieser Artikel erklärt, wie die gegenseitige Information zwischen zwei Ereignissen berechnet wird und wie sie genutzt werden kann, um Zusammenhänge und Abhängigkeiten zwischen Ereignissen zu analysieren.
Die Entropie einer Zufallsvariable, die gemeinsame Entropie zweier Zufallsvariablen und die gegenseitige Information werden am Beispiel der Wartezeitprobleme beim Ziehen ohne Zurücklegen veranschaulicht. Dazu werden als Zufallsvariablen die Wartezeit bis zum ersten Treffer und die Wartezeit vom ersten bis zum zweiten Treffer verwendet.
Überträgt man den Begriff der Entropie einer Zufallsvariable auf die Wahrscheinlichkeitsverteilungen von zwei Zufallsvariablen, so ist es naheliegend die gemeinsame Entropie und die bedingte Entropie einzuführen, die über die Kettenregel miteinander verknüpft sind. Diese wiederum motiviert die Einführung einer neuen Größe, der gegenseitigen Information zweier Zufallsvariablen. Sie ist symmetrisch in den beiden Zufallsvariablen und beschreibt die Information, die in einer Zufallsvariable über die andere Zufallsvariable enthalten ist. An einfachen Beispielen wird die Definition der gegenseitigen Information motiviert und veranschaulicht.
Die Entropie wurde eingeführt als ein Maß für die Ungewissheit über den Ausgang eines Zufallsexperimentes. Entsprechend kann man eine bedingte Entropie definieren, wenn man die bedingten Wahrscheinlichkeiten verwendet, wobei man als Bedingung entweder ein Ereignis oder eine Zufallsvariable zulässt. Die Definition der bedingten Entropie und ihr Zusammenhang mit der gemeinsamen Entropie zweier Zufallsvariablen (Kettenregel) wird an einfachen Beispielen erläutert.
