Log-Summen-Ungleichung

Die Entropie einer Faltung von Wahrscheinlichkeitsverteilungen

Am Beispiel der geometrischen Verteilung wird gezeigt, wie man die Entropie einer Faltung berechnet und wie sie mit den Entropien der Ausgangsverteilungen zusammenhängt. Mit Hilfe der Log-Summen-Ungleichung (einer Folgerung aus der Jensenschen Ungleichung) lässt sich das Ergebnis für beliebige Verteilungen verallgemeinern.

Die Entropie einer Faltung von Wahrscheinlichkeitsverteilungen