Konvexität

Die Entropie einer diskreten Wahrscheinlichkeitsverteilung: Definition und einfache Beispiele

Die Definition der Entropie eines Wahrscheinlichkeitsmaßes oder einer Zufallsvariable wird an einfachen Beispielen erläutert. Es wird diskutiert, dass die Entropie kein Streuungsmaß ist (wie die Standardabweichung), sondern die Ungewissheit (oder Unbestimmtheit) des Ausgangs eines Zufallsexperimentes beschreibt.

Die Entropie einer diskreten Wahrscheinlichkeitsverteilung: Definition und einfache Beispiele