Die Motivation der Entropiefunktion durch die Boltzmann-Entropie

Einordnung des Artikels

• Ausgewählte Kapitel der Mathematik (für Programmierer, Informatiker, Ingenieure und Naturwissenschaftler)
  • Wahrscheinlichkeitsrechnung
    • Die Entropie
      • Die Entropie einer diskreten Wahrscheinlichkeitsverteilung: Definition und einfache Beispiele
      • Die Additivität der Entropie bei unabhängigen Zufallsvariablen
      • Die Motivation der Entropiefunktion durch die Boltzmann-Entropie

Einführung

In der Thermodynamik wird die Zustandsgröße Entropie definiert, die eng mit den Größen Energie und Temperatur verbunden ist und die nach dem zweiten Hauptsatz niemals abnehmen kann. Die Arbeiten von Ludwig Boltzmann hatten (unter anderem) zum Ziel, eine mikroskopische Erklärung für die Entropie zu liefern. Speziell sollte das Problem gelöst werden, warum die mikroskopische Dynamik (die Bewegung der Moleküle gemäß den Newtonschen Gesetzen) reversibel ist, dagegen alle Vorgänge auf makroskopischer Ebene irreversibel sind. Mit reversibel und irreversibel ist hier das zeitliche Verhalten gemeint:

• Betrachtet man die Bewegung eines Planeten um die Sonne oder die Bewegung eines einzelnen Gasmoleküls in einem rückwärts ablaufenden Film, so ist auch diese Bewegung mit den Newtonschen Gesetzen vereinbar. Derartige Vorgänge sind reversibel.
• Dagegen wird ein Vorgang wie ein Temperatur- oder Druckausgleich immer nur in einer Richtung beobachtet, als Übergang vom Nichtgleichgewicht zum Gleichgewicht. Hier scheint der rückwärts ablaufende Film im Widerspruch zu den Naturgesetzen zu stehen. Derartige Vorgänge werden als irreversibel bezeichnet und es ist zu klären, warum der umgekehrte Vorgang nicht auftreten kann.

Man erkennt an dieser Beschreibung, dass es nicht Boltzmanns Ziel war, eine Begründung dafür zu liefern, warum die Entropiefunktion (definiert für eine Zufallsvariable X mit Wahrscheinlichkeiten p(x) = P(X = x))

H(X) = -∑ p(x) ln p(x)

eine geeignete Größe ist, um die Ungewissheit über den Ausgang eines Zufallsexperimentes zu beschreiben. Dennoch wird sich zeigen, dass Boltzmanns Überlegungen hilfreich sind, um die Bedeutung der Entropiefunktion besser zu verstehen.

Die eigentlichen Fragen Boltzmanns, also nach der mikroskopischen Erklärung der Entropie und der Entropiezunahme werden hier nur angedeutet, um den größeren Zusammenhang aufzuzeigen, in dem sich die Fragestellungen befinden.

Die Untersuchungen werden zeigen, dass Boltzmanns Überlegungen sehr wohl geeignet sind, eine Motivation für die Einführung der Entropiefunktion H(X) zu liefern. Dennoch hat sie eine andere Bedeutung als die Boltzmann-Entropie, die hier als S_B bezeichnet wird. Man sollte es daher vermeiden, die Entropiefunktion H(X) und die Boltzmann-Entropie S_B salopp als "Entropie" zu bezeichnen – dies verführt dazu, ihre Bedeutungen zu vermengen.

Die Definition der Boltzmann-Entropie

Um die Überlegungen Boltzmanns besser zu verstehen, wird die Binomialverteilung unter einem anderen als in der Mathematik üblichen Aspekt betrachtet. Dazu geht man von einer fairen Münze aus, die N-mal unabhängig voneinander geworfen wird. Bezeichnet man die Ergebnisse eines Münzwurfs mit 0 (Niete) oder 1 (Treffer), so entstehen 01-Folgen der Länge N. Eine derartige 01-Folge wird als Mikrozustand bezeichnet. Da die Münze als fair angenommen wurde, besitzt jede dieser 01-Folgen die Wahrscheinlichkeit 1/2^N.

Die Menge aller 01-Folgen mit k Treffern wird als Makrozustand bezeichnet. Die Anzahl Ω(k) der Mikrozustände, durch die ein Makrozustand k realisiert werden kann, wird durch den Binomialkoeffizienten "k aus N" berechnet (siehe Abbildung 1).

(Die Unterscheidung zwischen Mikro- und Makrozustand entstammt der physikalischen Fragestellung Boltzmanns: Kontrollierbar und messbar sind makroskopische Größen wie Temperatur, Druck und so weiter. Dagegen müsste der mikroskopische Zustand eines Systems durch die Angabe der Orte und Geschwindigkeiten von etwa 10²⁵ Teilchen beschrieben werden.)

Abbildung 1: Definition von Mikrozuständen und Makrozustände bei der Binomialverteilung.

Die Boltzmann-Entropie ist jetzt eine neue Größe, die dem Makrozustand k zugeordnet wird: Man bildet den Logarithmus der Anzahl Ω(k) der Mikrozustände, siehe Abbildung 1 unten.

(In der Physik wird hier die rechte Seite mit der Boltzmann-Konstante multipliziert, die die Einheit J/K besitzt. Für mathematische Überlegungen ist sie irrelevant und wird hier weggelassen. Könnte man die gesamte Thermodynamik noch einmal von Anfang an formulieren, würde man vermutlich die Temperatur, die in K gemessen wird, mit der Boltzmann-Konstante multiplizieren, so dass die Temperatur auch die Einheit einer Energie besitzt. Die Entropie wäre dann eine dimensionslose Größe. Aus historischen Gründen wird natürlich die Definition der Temperatur nicht mehr geändert.)

Abbildung 2 zeigt jeweils links die Binomialverteilung und rechts die Boltzmann-Entropie der möglichen Makrozustände; oben wurde N = 100, unten N = 1000 gewählt (Skalierung der y-Achsen beachten!).

Abbildung 2: Links: Binomialverteilung zur Trefferwahrscheinlichkeit p = 1/2. Rechts: Die Boltzmann-Entropie, also der Logarithmus der Anzahl der Mikrozustände, die den Makrozustand k realisieren. Oben für N = 100, unten für N = 1000.

Kennt man das Beispiel mit der neuen Sichtweise auf die Binomialverteilung sowie die Definition der Boltzmann-Entropie, so ist es leichter den Gedankengang Boltzmanns nachzuvollziehen, den man grob etwa folgendermaßen skizzieren kann:

1. Man nimmt an, dass alle Mikrozustände eines thermodynamischen Systems die gleiche Wahrscheinlichkeit besitzen (dies entspricht den 01-Folgen im Beispiel oben, die alle die Wahrscheinlichkeit 1/2^N besitzen).
2. In der zeitlichen Entwicklung des thermodynamischen Systems wird eine Folge von Mikrozuständen durchlaufen. Als einfachste Näherung für diese Dynamik wählt man eine zufällige Auswahl des nächsten Mikrozustandes aus der Menge aller Mikrozustände. (Diese Dynamik des thermodynamischen Systems wurde im Beispiel oben nicht diskutiert; einige Bemerkungen und Veranschaulichungen folgen weiter unten.)
3. Jedem Mikrozustand kann eindeutig ein Makrozustand k zugeordnet werden; das thermodynamische System durchläuft somit eine Folge von Makrozuständen.
4. Da die Anzahlen Ω(k), mit denen ein Makrozustand k realisiert wird, unterschiedlich sind, werden die Makrozustände mit unterschiedlichen Wahrscheinlichkeiten angenommen. (Im Beispiel oben werden die Makrozustände in der Nähe von k = N/2 am häufigsten angenommen.)
5. Sowohl die Anzahl Ω(k) als auch die Boltzmann-Entropie S_B = ln Ω(k) sind ein Maß für die Ungewissheit, mit der der Makrozustand k angenommen wird.
6. Betrachtet man zwei Systemen, die unabhängig voneinander sind und die sich in den Makrozuständen k₁ und k₂ befinden, multiplizieren sich die Anzahlen der möglichen Mikrozustände Ω(k₁)·Ω(k₂). Die Boltzmann-Entropien addieren sich dann aufgrund der Rechenregeln für den Logarithmus: ln (Ω(k₁)·Ω(k₂)) = ln Ω(k₁) + ln Ω(k₂). Und dies ist genau eine Forderung, die man in der Physik an die Entropie stellt – dort werden derartige Größen als extensiv bezeichnet.
7. Die große Leistung Boltzmanns bestand insbesondere darin zu zeigen, dass die Boltzmann-Entropie tatsächlich mit der in der Thermodynamik verwendeten Entropie übereinstimmt.

Die statistische Interpretation des zweiten Hauptsatzes der Thermodynamik

Die statistische Erklärung des zweiten Hauptsatzes der Thermodynamik, die Boltzmann gegeben hat, kann man leicht am Beispiel der Binomialverteilung nachvollziehen. Dazu wird auf der Menge der 01-Folgen (Mikrozustände) eine einfache, zufällige Dynamik eingeführt:

1. Ist ein Mikrozustand ω = (ω₁, ω₂, ..., ω_N) als 01-Folge gegeben, so wird eine Stelle n der 01-Folge (n = 1, 2, ..., N) zufällig ausgewählt.
2. Für die ausgewählte Stelle n wird die faire Münze geworfen und das Ergebnis ersetzt ω_n. Es entsteht ein neuer Mikrozustand ω'. Ist das Ereignis des Münzwurfs gleich ω_n, so gilt natürlich ω' = ω.

Ob diese Dynamik damit vereinbar ist, dass alle Mikrozustände gleichwahrscheinlich sind, ist eine Frage, die man natürlich stellen muss, die hier aber nicht diskutiert werden soll. Wichtiger ist hier die Erklärung der "Entropiezunahme", die allerdings nur für große N überzeugend ist.

Wählt man einen Mikrozustand ω, in dem Nullen und Einsen nahezu gleich häufig vorkommen, so gilt dies auch für ω'. Dass man sich im Lauf der Zeitentwicklung weit von diesem "Gleichgewichtszustand" entfernt, ist sehr unwahrscheinlich. Das heißt aber, dass der Übergang von einem Makrozustand mit hoher Boltzmann-Entropie zu einem Makrozustand mit niedriger Boltzmann-Entropie zwar möglich ist, aber nur sehr selten eintreten wird.

Wählt man dagegen anfangs einen Mikrozustand ω, in dem die Nullen oder Einsen deutlich überwiegen, so ist es sehr wahrscheinlich, dass sich in den folgenden Schritten die Anzahlen der 0 und 1 im Mikrozustand immer mehr annähern.

Insgesamt gilt somit: Die Entropie verharrt auf einem hohen Niveau, wenn dieses einmal erreicht wurde oder nähert sich dem hohen Niveau, wenn man mit einer kleinen Entropie startet.

Das folgende Listing zeigt die Simulation, die mit folgenden Werten durchgeführt wurde:

• Die Länge der 01-Folgen ist N = 10,
• es wurden N_sim = 10 Zeitschritte betrachtet,
• der Mikrozustand zu Beginn wurde mit 0000000000 (10 mal die Null) gewählt.

Gezeigt werden jeweils der Mikrozustand und seine Boltzmann-Entropie S.B.

[1] 0 0 0 0 0 0 0 0 0 0
S.B =  0 
 [1] 0 0 0 0 1 0 0 0 0 0
S.B =  2.302585 
 [1] 0 0 0 0 1 0 0 0 0 0
S.B =  2.302585 
 [1] 0 0 0 0 1 0 0 0 0 0
S.B =  2.302585 
 [1] 0 0 0 0 1 0 0 0 0 0
S.B =  2.302585 
 [1] 1 0 0 0 1 0 0 0 0 0
S.B =  3.806662 
 [1] 1 0 0 0 1 0 0 1 0 0
S.B =  4.787492 
 [1] 1 0 0 0 1 0 0 1 0 0
S.B =  4.787492 
 [1] 1 0 0 0 1 0 0 1 1 0
S.B =  5.347108 
 [1] 1 0 0 0 0 0 0 1 1 0
S.B =  4.787492

Man erkennt, dass manchmal ein Bit im Mikrozustand verändert wird. Die oben gegebenen Argumente für die Zunahme der Entropie sind bei der kleinen Länge der Mikrozustände wenig überzeugend. Die folgenden Abbildungen sollen die Zunahme der Entropie veranschaulichen, wenn man größere N und N_sim wählt und mit dem unwahrscheinlichen Makrozustand k = 0 startet.

Gezeigt wird jeweils der Verlauf der Boltzmann-Entropie S_B = ln Ω(k) (rot) sowie die maximal mögliche Boltzmann-Entropie, die für k = N/2 angenommen wird (blau).

In Abbildung 3 ist:

• N = 100,
• N_sim = 400.

Abbildung 3: Simulation der Dynamik auf den 01-Folgen der Länge N = 100, wobei 400 Zeitschritte betrachtet wurden. Aufgetragen ist die Boltzmann-Entropie (rot) sowie ihr Maximalwert (blau).

Man erkennt in Abbildung 3 den Übergang vom extrem unwahrscheinlichen Makrozustand zu Beginn zu Makrouständen nahe dem Entropiemaximum. Der Makrozustand verharrt natürlich nicht im Zustand maximaler Boltzmann-Entropie, sondern es gibt weiterhin Fluktuationen. Um die Größe dieser Fluktuationen besser sichtbar zu machen, wird in Abbildung 4 ein längerer Zeitraum betrachtet, man verwendet:

• N = 100,
• N_sim = 10000.

Abbildung 4: Simulation wie in Abbildung 3, aber mit N_sim = 10000.

Man erkennt, dass im Lauf der Zeit immer wieder Schwankungen in der Entropie auftreten; aber es ist sehr unwahrscheinlich, dass diese Schwankungen sehr groß sind.

Einen besseren Eindruck über die Größe der Schwankungen in der Entropie erhält man, wenn man die Länge N der Mikrozustände vergrößert. Abbildung 5 zeigt dazu die Simulation mit:

• N = 1000,
• N_sim = 10000.

Abbildung 5: Simulation wie in Abbildung 4, aber mit N = 1000.

Jetzt sind die Fluktuationen der Boltzmann-Entropie nahezu unsichtbar geworden. Dies ist leicht verständlich, wenn man zu Abbildung 2 zurückgeht: Dort erkennt, man dass diejenigen k-Werte, die nahezu die gesamt Wahrscheinlichkeit der Binomialverteilung tragen, sehr nahe am Maximum der Entropie liegen. Dass durch die hier verwendete Dynamik ein Mikrozustand erzeugt wird, der zu einer deutlich vom Maximum abweichenden Boltzmann-Entropie führt, ist so unwahrscheinlich, dass man die Anzahl der Zeitschritte N_sim um mehrere Größenordnungen erhöhen müsste, um sie sichtbar zu machen.

Der Zusammenhang zwischen der Boltzmann-Entropie und der Entropiefunktion

Die Simulationen zum zweiten Hauptsatz der Thermodynamik haben gezeigt, dass Boltzmanns statistische Interpretation der Entropiezunahme nur für thermodynamische Systeme mit großer Teilchenzahl überzeugend ist. Bezogen auf obiges Beispiel zur Binomialverteilung bedeutet dies, dass man die Länge N der 01-Folgen sehr groß wählen muss. Daher wird jetzt die Boltzmann-Entropie

S_B(k) = ln Ω(k)

mit Hilfe der Stirling-Näherung approximiert. Die verwendete Stirling-Näherung (Gleichung (1)) und die Berechnung der Näherung für die Boltzmann-Entropie S_B(k) (Gleichung (2) bis (9)) sind in Abbildung 6 gezeigt.

Abbildung 6: Die Stirling-Näherung und ihre Anwendung auf die Boltzmann-Entropie. Es wird ein Term hergeleitet, der die relativen Häufigkeiten der Treffer und Nieten im Makrozustand enthält.

Zur Erklärung der Rechenschritte:

• Der Binomialkoeffizient wird durch Fakultäten ausgedrückt; der entstehende Bruch wird mit Hilfe der Rechenregeln für den Logarithmus in 3 Summanden aufgespaltet (Gleichung (2)).
• Auf jeden der drei Summanden wird die Stirling-Näherung angewendet (Gleichung (3)).
• Die Terme werden geeignet zusammengefasst (Gleichung (4)) und wieder erweitert (Gleichung (5) und (6)).
• Anschließend werden die Terme so zusammengefasst, dass die relativen Häufigkeiten k/N und (N-k)/N vorkommen (Gleichung (7) und (8)).
• Insgesamt entsteht ein Zusammenhang zwischen der Boltzmann-Entropie und der Entropiefunktion. Die Wahrscheinlichkeiten, die dabei in die Entropiefunktion eingesetzt werden müssen, sind die relativen Häufigkeiten der Treffer und Nieten des Makrozustandes (Gleichung (9)).

Interpretation des Ergebnisses:

Mit Gleichung (9) wird offensichtlich ein Zusammenhang zwischen der Boltzmann-Entropie

S_B(k) = ln Ω(k)

und der Entropiefunktion H aus der Wahrscheinlichkeitstheorie hergestellt,

H(X) = -∑_x p(x) ln p(x).

Um diesen Zusammenhang besser zu verstehen, muss man sich die Voraussetzungen und das Ziel Boltzmanns vergegenwärtigen:

• Ausgangspunkt für Boltzmann war eine deterministische Mechanik, in der keine zufälligen Prozesse stattfinden.
• Makroskopische thermodynamische Systeme können auf mikroskopischer Ebene nicht vollständig beschrieben werden.
• Aber das exakte Verhalten kann mit Methoden der Statistik in guter Näherung wiedergegeben werden.
• Die entscheidenden Annahmen hierzu sind: Zum Einen dass im Lauf der Zeit die Mikrozustände wie in einem Zufallsprozess wahllos durchlaufen werden. Zum Anderen, dass alle Mikrozustände mit gleicher Wahrscheinlichkeit realisiert werden.
• Durch Abzählen der Mikrozustände pro Makrozustand erhält man dann folgende Aussage: Der Gleichgewichtszustand eines thermodynamischen Systems wird mit überwältigender Wahrscheinlichkeit angenommen und je weiter man sich vom Gleichgewichtszustand entfernt, umso kleiner werden die Wahrscheinlichkeiten der entsprechenden Makrozustände.
• Dass sich thermodynamische Systeme zum Gleichgewicht hin bewegen, ist somit kein Gesetz, das allein aus der zugrunde liegenden deterministische Mechanik abgeleitet werden kann, sondern ist aus statistischen Gründen plausibel.

Damit lässt sich besser beschreiben, welche Rolle die Entropiefunktion H auf der rechten Seite von Gleichung (9) in Abbildung 6 in den Überlegungen Boltzmanns spielt:

• Die Boltzmann-Entropie S_B(k) stellt die Verbindung zwischen der mikroskopischen und der makroskopischen Beschreibung her, indem sie quantifiziert, wie viele Mikrozustände es zu einem Makrozuständen k gibt.
• Allerdings ist die relevante Größe für diese "Verbindung" nicht die Anzahl Ω(k) der Mikrozustände sondern ihr Logarithmus: ln Ω(k). Denn nur der Logarithmus garantiert die Additivität der Entropie bei zusammengesetzten Systemen.
• Somit ist die Boltzmann-Entropie eine extensive Größe, die die Ungewissheit über den Mikrozustand bei bekanntem Makrozustand k beschreibt.
• An Gleichung (9) sieht man sogar explizit, dass die Boltzmann-Entropie eine extensive Größe ist: Denn sie ist das Produkt aus N und einer intensiven Größe, nämlich der Entropiefunktion H. Dass N in die Eingabewerte von H eingeht ist hier irrelevant, da H nur Werte zwischen 0 und ln 2 annehmen kann, aber nicht zu einer Potenz (oder einer anderen Funktion) von N proportional ist.

(Man könnte hier einwenden, dass die rechte Seite von Gleichung (9) durch die Stirling-Näherung entstanden ist. Ohne diese Näherung hätte man hier vielleicht eine N-Abhängigkeit. Dieses Argument lässt sich sofort entkräften. Denn untersucht man die Stirling-Näherung genauer, so stellt man fest, dass die Terme, die in der Näherung vernachlässigt wurden, lediglich in der Größenordnung von 1/N sind, also für große N irrelevant sind.)

• Somit ist die extensive Boltzmann-Entropie S_B(k) mit der Entropiefunktion H der Wahrscheinlichkeitstheorie verknüpft; Letztere ist in der Physik eine intensive Größe.
• Aber die Entropiefunktion wird hier nicht wie in der Wahrscheinlichkeitstheorie eingesetzt: Dort sind die Wahrscheinlichkeiten der Werte einer Zufallsvariable die Eingabewerte. In Gleichung (9) werden die relativen Häufigkeiten k/N und (N-k)/N in H eingesetzt. (Genauer die relativen Häufigkeiten von Treffern und Nieten eines gegebenen Makrozustandes.) Das heißt man geht von einer speziellen Realisierung des N-fachen Münzwurfs (allgemeiner: einer speziellen Realisierung des makroskopischen Systems) aus und schließt über die (makroskopisch zugänglichen) relativen Häufigkeiten auf die Anzahl der möglichen Mikrozustände und kann dann entscheiden, ob sich das System nahe dem Gleichgewicht befindet oder in einem unwahrscheinlichen Zustand.

Wie man diese Entropiefunktion H in der Wahrscheinlichkeitstheorie einsetzt, ist ein für die Mathematik typischer Prozess der Abstraktion, der in den Überlegungen Boltzmanns nicht enthalten ist. "Prozess der Abstraktion" heißt hier, dass man

1. nicht mehr eine Situation betrachtet, in der ein Zufallsexperiment N-mal durchgeführt wurde. Stattdessen zieht man die Zufallsvariable X heran, die zur Beschreibung des Zufallsexperimentes dient.
2. Man geht nicht mehr von einer speziellen N-fachen Realisierung des Zufallsexperimentes aus, woraus die relativen Häufigkeiten gewonnen werden. Sondern man verwendet die Wahrscheinlichkeiten, mit denen die Werte von X angenommen werden: p(x) = P(X = x).

Und auf dieser Ebene der Zufallsvariable X wird jetzt die Entropiefunktion H definiert:

H(X) = -∑_x p(x) ln p(x).

Oder anders formuliert: Der Zusammenhang nach Gleichung (9) liefert die Motivation, wie eine Größe beschaffen sein kann, die als Eingabewerte die theoretischen Wahrscheinlichkeiten eines Zufallsprozesses erhält und welche die Ungewissheit über den Ausgang eines Zufallsexperimentes beschreibt. Und es sollte klar sein, dass man damit der Entropiefunktion eine allgemeinere Bedeutung zugewiesen wird als in den Überlegungen Boltzmanns und Gleichung (9) in Abbildung 6.

Es muss hier noch eine Bemerkung zu extensiven und inensiven Größen erfolgen: In der Physik wird die Boltzmann-Entropie als extensive Größe bezeichnet, da sie zu N (was in thermodynamischen Systemen dann die Teilchenzahl ist) proportional ist. Dagegen ist H eine intensive Größe, da sie nicht zu einer Potenz von N proportional und sich nicht ändert, wenn das System verdoppelt oder halbiert wird. Dies ist nicht im Widerspruch zur Additivität der Entropiefunktion H, die in Die Additivität der Entropie bei unabhängigen Zufallsvariablen diskutiert wurde. Denn die Additivität in diesem Sinn ist über die gemeinsame Entropie von zwei Zufallsvariablen definiert.