Einfache Simulationen zur Boltzmann-Entropie und zur statistischen Interpretation des zweiten Hauptsatzes der Thermodynamik

Einordnung des Artikels

• Ausgewählte Kapitel der Mathematik (für Programmierer, Informatiker, Ingenieure und Naturwissenschaftler)
  • Anwendungen in Physik und Technik
    • Statistische Mechanik
      • Konzepte der Statistischen Mechanik: Mikrozustände und Makrozustände
      • Konzepte der Statistischen Mechanik: Die Abschätzung der Anzahl der Mikrozustände pro Makrozustand
      • Konzepte der Statistischen Mechanik: Die Gleichwahrscheinlichkeit der Mikrozustände und die Definition der Boltzmann-Entropie
      • Berechnung der thermodynamischen und statistischen Größen für das Modellsystem mit äquidistanten Energieniveaus
    • Simulationen zur statistischen Mechanik
      • Entwicklung eines Zufallsgenerators für gleichverteilte Mikrozustände (Implementierung in R)
      • Einfache Simulationen zur Boltzmann-Entropie und zur statistischen Interpretation des zweiten Hauptsatzes der Thermodynamik

Sämtliche hier vorgestellten Simulationen beziehen sich auf das Modellsystem, dessen Eigenschaften in Berechnung der thermodynamischen und statistischen Größen für das Modellsystem mit äquidistanten Energieniveaus zusammengefasst sind; die Ergebnisse und Bezeichnungen werden von dort übernommen und hier nicht erklärt.

Bei den Simulationen wird auf den Zufallsgenerator zurückgegriffen, der in Entwicklung eines Zufallsgenerators für gleichverteilte Mikrozustände (Implementierung in R) erläutert wurde.

Einführung

Die hier vorgestellten Simulationen haben weniger die Absicht, physikalisch relevante Eigenschaften von speziellen Systemen herzuleiten, vielmehr sollen die Begriffe, Formeln und Aussagen aus Konzepte der Statistischen Mechanik: Die Gleichwahrscheinlichkeit der Mikrozustände und die Definition der Boltzmann-Entropie veranschaulicht werden und helfen den Einstieg in die Denkweise der statistischen Mechanik zu finden.

Daher ähnelt auch die Vorgehensweise dem Theorieteil:

1. Wie dort werden zunächst kleine Teilchenzahlen betrachtet, womit gemeint ist, dass man die mit der Definition der Mikro- und Makrozustände verbundenen Abzählprobleme noch exakt lösen kann (insbesondere die Fakultäten und Multinomialkoeffizienten ohne Näherungen berechnen kann).
2. Dann werden Simulationen mit großen Teilchenzahlen durchgeführt, wobei Näherungen (insbesondere die Stirling-Approximation) für die Lösung der Abzählprobleme und zur Berechnung der Boltzmann-Entropie verwendet werden.

Die Simulationen werden jeweils aus physikalischer Sichtweise beschrieben; die Implementierungen (in der Programmiersprache R) werden in einem eigenen Kapitel erklärt. (Man muss die Implementierungen nicht kennen, um die Ergebnisse der Simulationen zu verstehen.)

Simulationen für kleine Teilchenzahlen

Was sind hier "kleine Teilchenzahlen"?

Mit "kleine Teilchenzahlen" soll im Folgenden gemeint sein, dass die Anzahl der Moleküle N und die Gesamtenergie E = K · E₀ des Modellsystems so klein sind, dass man die Multinomialkoeffizienten noch exakt berechnen kann. Später werden dann Simulationen mit "großen Teilchenzahlen" durchgeführt, bei denen nur noch die Stirling-Approximation der Multinomialkoeffizienten verwendet werden kann.

Mit "kleinen Teilchenzahlen" ist hier also keine physikalisch interpretierbare Aussage gemeint in dem Sinn, dass ein System bei kleinen Teilchenzahlen ein anderes Verhalten zeigt als bei großen Teilchenzahlen. Vielmehr ist hier die Laufzeit der Algorithmen gemeint: Je nachdem wie detailliert die zu gewinnenden Informationen sind, muss man die Teilchenzahlen kleiner machen, um noch zumutbare Laufzeiten zu erhalten.

Die Berechnung sämtlicher Makrozustände zu gegebener Teilchenzahl N und Gesamtenergie K · E0

1. Beispiel: Die Makrozustände zu N = 5, K = 3.

Jedes Molekül besitzt 4 Zustände, den Grundzustand (mit Energie 0) und drei angeregte Zustände (mit den Energien E₀, 2 · E₀, 3 · E₀), siehe Abbildung 1 links oben.

Ein Mikrozustand gibt für jedes der 5 Moleküle an, welche Energie es besitzt (hier wird der Faktor vor E₀ angegeben). Hier gibt es 35 Mikrozustände, die in Abbildung 1 nicht aufgeführt werden. Sortiert man die Mikrozustände (hier absteigend), so sind einige der Mikrozustände nicht mehr unterscheidbar und es entstehen die Energiezustände, von denen es hier 3 gibt (siehe Abbildung 1 unten links). Im Energiezustand ist somit nicht mehr erkennbar, welches Molekül ein bestimmtes Energieniveau einnimmt.

Der Makrozustand beschreibt die Besetzungszahlen der K+1 = 4 Energieniveaus, siehe Abbildung 1 unten mitte. Zu jedem Energiezustand gibt es genau einen Makrozustand und umgekehrt. Die Anzahl der Mikrozustände, die einen Makrozustand (oder Energiezustand) realisieren, wird durch die Multinomialkoeffizienten berechnet, siehe unten rechts.

Abbildung 1: Die Energie E = 3 · E₀ wird auf 5 Moleküle verteilt. Verzichtet man auf die Unterscheidbarkeit der Moleküle, kann das Gesamtsystem entweder durch den Energiezustand oder den Makrozustand beschrieben werden. Es gibt 3 verschiedene Energie- beziehungsweise Makrozustände, die durch unterschiedliche Anzahlen von Mikrozuständen realisiert werden; diese Anzahlen werden durch die Multinomialkoeffizienten berechnet. Werden die Moleküle als unterscheidbar angenommen, gibt es 35 Mikrozustände, die die Energieverteilung realisieren; die Mikrozustände entstehen zum Beispiel indem man alle möglichen Umordnungen der Energiezustände vornimmt.

2. Beispiel: N = 8, K = 8

Mit N = 8 und K = 8 sind die Teilchenzahl und die Anzahl der Energiequanten so klein, dass man noch keine Übereinstimmung zwischen den statistischen Größen, die mit den Multinomialkoeffizienten berechnet werden, und den in Stirling-Näherung berechneten Größen erwarten kann. Die folgenden Berechnungen zeigen aber schon erstaunliche Ähnlichkeiten.

Für N = 8 und K = 8 gibt es 6435 Mikrozustände und 22 Makrozustände. Die Mikrozustände aufzuführen ist wenig erhellend. Bevor die Makrozustände aufgelistet werden, werden in Abbildung 2 die relevanten statistischen Größen berechnet:

• der Boltzmann-Faktor q,
• die Zustandssumme Z,
• die theoretischen Besetzungszahlen n_i für denjenigen Makrozustand, der durch die meisten Mikrozustände realisiert wird,
• die Boltzmann-Entropie S_B berechnet durch den Multinomialkoeffizienten,
• die Boltzmann-Entropie S_A berechnet in Stirling-Näherung mit den theoretischen Besetzungszahlen.

Man erkennt, dass sich für die theoretischen Besetzungszahlen keine ganzen Zahlen ergeben; dieses Verhalten wurde schon öfters diskutiert: die Methode, mit der der wahrscheinlichste Makrozustand bestimmt wurde, behandelt die Besetzungszahlen wie kontinuierliche Größen.

Abbildung 2: Die Berechnung der relevanten statistischen Größen für N = 8 und K = 8: Boltzmann-Faktor, Zustandssumme, Besetzungszahlen der Energieniveaus und Boltzmann-Entropie.

In Abbildung 3 werden die 22 Makrozustände aufgelistet. Sortiert sind sie durch den Multinomialkoeffizienten, der die Größe der Boltzmann-Entropie S_B bestimmt (und hier nach Gleichung (2) aus Abbildung 2 berechnet wurde, vorletzte Spalte in der Tabelle in Abbildung 3). Die Entropie S_A (A steht hier für Approximation) wurde mit Hilfe von Gleichung (3) aus Abbildung 2 berechnet, das heißt es wurde die vereinfachte Stirling-Approximation für den Multinomialkoeffizienten verwendet.

Abbildung 3: Die möglichen Makrozustände, wenn K = 8 Energiequanten auf N = 8 Moleküle aufgeteilt werden. In den rechten drei Spalten die Anzahl der Mikrozustände pro Makrozustand, die Boltzmann-Entropie, einmal mit dem Multinomialkoeffizienten und einmal mit Formel (3) aus Abbildung 2 berechnet.

Man erkennt insbesondere, dass der Entropie-Wert S_A / k_B ≈ 11.09 von keinem Makrozustand erreicht wird – der theoretische Gleichgewichtszustand enthält Besetzungszahlen, die nicht ganzzahlig sind und es gibt keinen "tatsächlichen" Makrozustand mit dessen Entropie.

Der 22. (und letzte) Makrozustand kann nur einmal realisiert werden, da sich alle Moleküle im ersten angeregten Zustand befinden. Daher ist die Entropie gleich null.

Um die Größenverhältnisse der Multinomialkoeffizienten besser zu beurteilen, werden in Abbildung 4 für die 22 Makrozustände die Multinomialkoeffizienten (links) sowie der Logarithmus des Multinomialkoeffizienten (rechts) in einem Diagramm aufgetragen. Hier sind die Zustände nicht wie oben sortiert, sondern gemäß ihrer lexikographischen Anordnung aufgetragen.

Abbildung 4: Die Makrozustände aus Abbildung 3 sind gemäß ihrer lexikographischen Anordnung numeriert und ihre Anzahlen der zugehörigen Mikrozustände auf der y-Achse aufgetragen (links mit linearer Skala, rechts mit logarithmischer Skala).

3. Beispiel: N = 16, K = 16

Obwohl die Molekülzahl und die Anzahl der Energiequanten im Vergleich zum letzten Beispiel lediglich verdoppelt ist, gibt es jetzt deutlich mehr Zustände:

• Anzahl der Mikrozustände: 300 540 195 ≈ 3.0 · 10⁸,
• Anzahl der Makrozustände: 231.

Da wie im letzten Beispiel N = K ist, erhält man wieder für den Boltzmann-Faktor q = 1/2 und für die Zustandssumme Z = 2. Und der Gleichgewichtszustand ist wieder eine geometrische Folge:

(8, 4, 2, 1, 1/2, ...).

Die zu Abbildung 3 analoge Tabelle wird hier natürlich nicht gezeigt, lediglich ihre ersten 20 Zeilen. Dabei ist zu beachten, dass der Makrozustand eigentlich aus 17 Besetzungszahlen besteht, allerdings wurde nach n₈ abgeschnitten, da alle weiteren Besetzungszahlen gleich null sind.

Abbildung 5: Analog zu Abbildung 3. Aber nur die 20 Makrozustände mit den höchsten Anzahlen an Mikrozuständen. Die möglichen Makrozustände, wenn K = 8 Energiequanten auf N = 8 Moleküle aufgeteilt werden. In den rechten drei Spalten die Anzahl der Mikrozustände pro Makrozustand, die Boltzmann-Entropie, einmal mit dem Multinomialkoeffizienten und einmal mit Formel (3) aus Abbildung 2 berechnet.

Aussagekräftiger als die vollständige Tabelle ist wieder die Abbildung 6, die völlig analog zu Abbildung 4 zu lesen ist.

Abbildung 6: Analog zu Abbildung 4. Die Makrozustände aus Abbildung 3 sind gemäß ihrer lexikographischen Anordnung numeriert und ihre Anzahlen der zugehörigen Mikrozustände auf der y-Achse aufgetragen (links mit linearer Skala, rechts mit logarithmischer Skala).

Um besser zu erkennen, wie viele Makrozustände für welchen Anteil der Mikrozustände verantwortlich sind, werden in Abbildung 7 kumulierte Summen gebildet: Die Makrozustände sind wie in der Tabelle in Abbildung 5 nach der Größe des Multinomialkoeffizienten sortiert; es werden die kumulierten Summen der Multinomialkoeffizienten gebildet und gegen den Index der Makrozustände aufgetragen.

Man erkennt zum Beispiel, dass die 20 wahrscheinlichsten Makrozustände (der 231) etwa von der Hälfte der möglichen Mikrozustände erzeugt wird; oder dass die 100 unwahrscheinlichsten Makrozustände von lediglich etwa 3 Prozent der Mikrozustände erzeugt werden.

Abbildung 7: Um das Diagramm zu erzeugen, werden die Makrozustände wie in Abbildung 5 zunächst nach der Anzahl der Mikrozustände sortiert. Auf der x-Achse ist der entsprechende Index aufgetragen. Auf der y-Achse werden die kumulierten Summen der Anzahlen der Mikrozustände aufgetragen.

Simulationen für große Teilchenzahlen

Die bisher gezeigten Simulationen sind deshalb so aufwendig, weil alle Makrozustände berechnet und ausgewertet werden müssen. Die Anzahl der Makrozustände wächst überproportional mit N und K und die Auswertung erfordert die Berechnung von Fakultäten, so dass die Algorithmen für N und K in der Größenordnung von 100 schon nicht mehr ausgeführt werden können. Im Folgenden wird daher versucht relevante Informationen zu erlangen, indem man

1. lediglich "Zufallsexperimente" durchführt und versucht aus diesen physikalische Ergebnisse abzulesen und
2. die Stirling-Approximation zur Berechnung von Multinomialkoeffizienten einsetzt.

Um mit den Simulationen besser vertraut zu werden, werden sie zunächst mit "kleinen" und dann mit "großen" N und K durchgeführt.

Das Gleichverteilungs-Postulat und der Zufallsgenerator für gleichverteilte Mikrozustände

Bei der Einführung der Boltzmann-Entropie wurde diskutiert, dass die Aussagen der statistischen Mechanik auf der Annahme beruhen, wonach alle Mikrozustände mit gleicher Wahrscheinlichkeit angenommen werden (Gleichverteilungs-Postulat).

Es ist hier noch nicht der Ort zu diskutieren, welche Dynamik man für das Modellsystem voraussetzen muss, damit das Gleichverteilungs-Postulat erfüllt ist. Daher wählt man für die folgenden Simulationen die einfachste Dynamik, die das Gleichverteilungs-Postulat sicherstellt: Soll der zeitliche Ablauf des Modellsystems betrachtet werden, so wählt man aus der Menge der möglichen Mikrozustände zufällig einen Mikrozustand aus, wobei die Auswahl keinen Mikrozustand bevorzugt, also das Gleichverteilungs-Postulat erfüllt.

Die Simulation des zeitlichen Ablaufs des Modellsystems erfolgt, indem man mit dem Zufallsgenerator aus Entwicklung eines Zufallsgenerators für gleichverteilte Mikrozustände (Implementierung in R) eine Folge von Mikrozuständen erzeugt, die dann ausgewertet werden kann.

Es ist klar, dass diese "Dynamik" keinerlei Erklärungen für das zeitliche Verhalten des Modellsystems besitzt, sie wird hier nur eingesetzt, um

• zu zeigen, wie eine Auswertung aussehen kann und
• sie soll eine Illustration der Formeln und Aussagen aus Berechnung der thermodynamischen und statistischen Größen für das Modellsystem mit äquidistanten Energieniveaus liefern

Später – wenn es gelingt eine geeignete Dynamik für das Modellsystem zu definieren – wird der Zufallsgenerator nur noch eingesetzt, um einen zufälligen Anfangszustand zu erzeugen.

Erzeugen von zufälligen Mikrozuständen zu gegebener Teilchenzahl N und Gesamtenergie K · E0

1. Beispiel: Auswertung einer Folge von zufällig erzeugten Mikrozuständen mit 16 Teilchen und 16 Energiequanten

Mit Hilfe des Zufallsgenerators, der gleichverteilte Mikrozustände zu gegebenem N und K erzeugt, werden 20 Makrozustände erzeugt und ihre Boltzmann-Entropie berechnet. Sie wird in der vereinfachten Stirling-Approximation des Multinomialkoeffizienten berechnet, obwohl man hier die Multinomialkoeffizienten noch exakt berechnen kann (siehe Formeln in Abbildung 8 oben). Wie weit die exakt berechnete Entropien S_B und die Stirling-Approximation S_A voneinander abweichen, kann man in Abbildung 5 ablesen. Diese Simulation soll später mit größeren N und K durchführt werden, daher wurde sie hier für diese Fälle vorbereitet.

Abbildung 8 zeigt dann die Ergebnisse der Simulation, wobei die Makrozustände nicht vollständig aufgeführt werden, sondern nur die ersten acht Einträge. Ein Vergleich mit Abbildung 5 zeigt, dass der Makrozustand, der in der Simulation die maximale Entropie besitzt, nicht der wahrscheinlichste Zustand ist: Der Makrozustand (7, 5, 2, 1, 1, 0, ...) wird von mehr Mikrozuständen realisiert, kommt aber in dieser Simulation nicht vor.

Abbildung 8: Mit N = 16 und K = 16 werden zufällig 20 Mikro- und die zugehörigen Makrozustände erzeugt; die Makrozustände sind in der Tabelle gezeigt (in der Reihenfolge, in der sie vom Zufallsgenerator erzeugt wurden). Die Boltzmann-Entropie S_B kann man jetzt zwar noch exakt berechne, da diese Simulation für große N und K durchgeführt werden soll, wird sie approximiert durch die vereinfachte Stirling-Näherung. Der 18. erzeugte Makrozustand besitzt in der Folge die höchste Entropie.

Abbildung 9 zeigt den Verlauf der Boltzmann-Entropie bei der Simulation. Dabei ist:

• Die Entropie des Gleichgewichtszustandes blau eingetragen (der zugehörige Makrozustand beschreibt eine geometrische Folge). Wie oben diskutiert wurde, gibt es keinen Makrozustand mit ganzen Zahlen, der diesen Gleichgewichtszustand realisiert.
• Das Maximum der Entropie im Verlauf der Simulation grün eingetragen.

Um die Größenordnungen der Entropie besser beurteilen zu können, wird das Diagramm zweimal erstellt:

• links mit einer Skala, die an die enthaltenen Entropie-Werte angepasst ist,
• rechts mit einer Entropie-Skala, die von 0 bis zur Entropie des Gleichgewichtszustandes reicht.

Abbildung 9: Zu den Makrozuständen aus Abbildung 8 wird jeweils die Boltzmann-Entropie berechnet (in Stirling-Approximation) und in einem Diagramm aufgetragen. Links ist die Skala der y-Achse an die tatsächlichen Entropie-Werte und der Gleichgewichtsentropie angepasst, rechts reicht die Skala von 0 bis zur Entropie des Gleichgewichtszustandes (blau).

2. Beispiel: Auswertung einer Folge von zufällig erzeugten Mikrozuständen mit 256 Teilchen und 256 Energiequanten

Die Vorgehensweise aus dem ersten Beispiel wird jetzt für N = 256 und K = 256 wiederholt; statt nur 20 Mikrozustände zu erzeugen, werden jetzt 500 erzeugt. Abbildung 10 zeigt die zu Abbildung 9 analoge Darstellung der Simulation.

Abbildung 10: Darstellung der Simulation mit 500 erzeugten Makrozuständen für N = 256 und K = 256, ansonsten wie in Abbildung 9.

Der Makrozustand aus der Simulation mit der größten Boltzmann-Entropie lautet:

126 65 33 17 8 3 2 1 1 0 ...

und es besitzt die Boltzmann-Entropie (grün im Diagramm eingetragen)

S_A / k _B = 354.0.

Zum Vergleich: Der Gleichgewichtszustand (geometrische Verteilung mit nicht-ganzzahligen Besetzungszahlen, blau im Diagramm) hat die Boltzmann-Entropie

S_GW / k _B = 354.9.

Um besser beurteilen zu können, welche Entropie-Werte in der Simulation mit welchen Häufigkeiten angenommen werden, wird die Folge der erzeugten Makrozustände umgeordnet nach der Größe der Boltzmann-Entropie. Abbildung 11 zeigt die Darstellung von Abbildung 10 mit den sortierten Entropie-Werten. Dass jetzt die Entropie zunimmt, hat also nichts mit dem Entropiesatz zu tun, sondern liegt nur an der Sortierung.

Abbildung 11: Darstellung der Simulation mit 500 erzeugten Makrozuständen für N = 256 und K = 256, aber mit Sortierung nach den Entropie-Werten. Dadurch lässt sich qualitativ ablesen, wie häufig die unterschiedlichen Entropie-Werte in der Simulation vorkommen.

Die folgende Tabelle zeigt diejenigen 12 Makrozustände aus dem Verlauf der Simulation, die die höchsten Entropie-Werte besitzen (wird ein Makrozustand mehrfach angenommen, wird er in der Tabelle auch mehrfach aufgeführt):

3. Beispiel: Auswertung einer Folge von zufällig erzeugten Mikrozuständen mit 1024 Teilchen und 1024 Energiequanten

Man kann leicht zu noch größeren N und K übergehen: Wiederholt man obige Vorgehensweise mit N = 1024 und K = 1024 erhält man einen Verlauf der Entropie wie in Abbildung 12.

Abbildung 12: Darstellung der Simulation mit 500 erzeugten Makrozuständen für N = 1024 und K = 1024, ansonsten wie in Abbildung 10.

Der Makrozustand aus der Simulation mit der größten Boltzmann-Entropie lautet:

520 245 126 69 32 16 7 5 2 1 1 0 ...

und es besitzt die Boltzmann-Entropie

S_A / k _B = 1418.

Zum Vergleich: Der Gleichgewichtszustand (geometrische Verteilung mit nicht-ganzzahligen Besetzungszahlen) hat die Boltzmann-Entropie

S_GW / k _B = 1420.

Abbildung 13 zeigt die Simulation aus Abbildung 12 wieder mit Sortierung.

Abbildung 13: Darstellung der Simulation mit 500 erzeugten Makrozuständen für N = 1024 und K = 1024, wieder mit Sortierung nach den Entropie-Werten.

Die folgende Tabelle zeigt diejenigen 12 Makrozustände aus dem Verlauf der Simulation, die die höchsten Entropie-Werte besitzen:

In Abbildung 14 wird lediglich die Anzahl der erzeugten Makrozustände von 500 auf 2000 erhöht. Man erkennt, dass der Kurvenverlauf qualitativ identisch ist, er ist aber deutlich geglättet.

Abbildung 14: Wie Abbildung 13, aber mit 2000 erzeugten Makrozuständen.

Der Makrozustand mit höchster Entropie lautet auch hier:

520 245 126 69 32 16 7 5 2 1 1 0 ...

4. Beispiel: Auswertung einer Folge von zufällig erzeugten Mikrozuständen mit 1024 Teilchen und 512 Energiequanten

Im Vergleich zum dritten Beispiel wird die Gesamtenergie halbiert: N = 1024 und K = 512. Abbildung 15 zeigt das Ergebnis der Simulation mit der zufälligen Abfolge der Makrozustände.

Abbildung 15: Darstellung der Simulation mit 500 erzeugten Makrozuständen für N = 1024 und K = 512, also mit halbierter Energie im Vergleich zu 12.

Der Makrozustand aus der Simulation mit der größten Boltzmann-Entropie lautet:

682 228 75 27 8 3 1 0 0 ...

und es besitzt die Boltzmann-Entropie

S_A / k _B = 977.1.

Zum Vergleich: Der Gleichgewichtszustand (geometrische Verteilung mit nicht-ganzzahligen Besetzungszahlen) hat die Boltzmann-Entropie

S_GW / k _B = 977.7.

Mit Sortierung:

Abbildung 16: Darstellung wie in Abbildung 15, aber mit Sortierung nach den Entropie-Werten.

Die folgende Tabelle zeigt diejenigen 12 Makrozustände aus dem Verlauf der Simulation, die die höchsten Entropie-Werte besitzen:

Aufgabe:

Versuchen Sie zu beschreiben, welcher Unterschiede zwischen den physikalischen Eigenschaften des Modellsystems mit

N = 1024, K = 1024 und

N = 1024, K = 512

bestehen! Welche dieser Unterschiede lassen sich in den Abbildungen und Tabellen erkennen?