Der Einfluss des Physikers Ludwig Boltzmann auf die Informationstheorie bei Shannon

Inhalt

1 Einleitung

2 Ludwig Boltzmann

3 Grundlagen der Thermodynamik
3.1 Die Entropie
3.2 Das H-Theorem

4 Boltzmanns Schriften
4.1 Der Umkehreinwand
4.2 Antwort auf den Umkehreinwand

5 Die Entropie in der Informationstheorie

6 Fazit

Literaturliste
Internet

1 Einleitung

Die Entropie ist ein besonders geeignetes Beispiel dafür, wie ein Begriff seiner ursprünglichen Bedeutung entlehnt wird und für andere Felder der Sprache und menschlichen Kultur nutzbar gemacht wird. Als ein rein physikalischer Begriff, der um die Jahrhundertwende vom 18. auf das 19. Jahrhundert unter Physikern in Gebrauch kam, wurde er später auch in der Biologie, unter Ökonomen und, im Kontext dieser Arbeit besonders wichtig, in der Informationstheorie benutzt. Die Entropie gilt, in ihrem Ursprung, als ein universales Prinzip, das geschlossene Systeme von einem Zustand der Ordnung in den der Unordnung übergehen lässt.

In dieser Arbeit möchte ich kurz die Anfänge der Entropie skizzieren. Im Mittelpunkt der Betrachtungen wird Ludwig Boltzmann stehen, dessen Arbeiten von zentraler Bedeutung sind in der Weiterentwicklung der Entropie im zweiten Satz der Thermodynamik. Die spannenden Auseinandersetzungen Boltzmanns mit Kritikern an seinem Ansatz sollen ebenso ihren Platz finden wie die Weiterentwicklung des Entropiebegriffes selbst.

In einem zweiten Teil der Arbeit wird die Entropie in den Kontext der Medienwissenschaft, genauer der Informationstheorie, eingeordnet. Claude E. Shannon bezieht sich ausdrücklich auf die Arbeiten Boltzmanns bei der Entwicklung einer Einheit, die den Informationsgehalt von Nachrichten angeben soll – der Entropie. Zum Begriff in der Informationstheorie wurde viel geschrieben, er ist Medienwissenschaftlern vertraut. Deswegen soll der Schwerpunkt dieser Arbeit auf der physikalischen Seite liegen. Die Informationstheorie wird erst am Ende der Arbeit eingebracht, um direkte Bezüge und Gemeinsamkeiten aufzuzeigen.

2 Ludwig Boltzmann

Ludwig Boltzmann’s Lebenswerk bestand darin, die Thermodynamik neu aufzustellen. Bis hin in seinen Tod begleitete ihn dieses Streben. Noch auf seinem Grabstein steht die berühmte Gleichung, mit der er den Zweiten Hauptsatz der Thermodynamik erklärte: S = k * logW.

Durch diese und weitere Arbeiten wurde der Österreicher zu einem der bedeutendsten Physiker seiner Zeit.

Geboren wurde Boltzmann im Jahre 1844 in Wien. Auch für sein Studium blieb er in seiner Geburtsstadt und lernte unter Josef Stefan. Der Einfluss seines Mentors hat sich unmittelbar auf die Physikgeschichte ausgewirkt. Aus der Arbeit der beiden resultieren die Stefan-Boltzmann-Konstante und das Stefan-Boltzmann-Gesetz. Letzteres gibt die Wärmestrahlung eines idealisierten Körpers in Abhängigkeit von dessen Temperatur an. Die Stefan-Boltzmann-Konstante wiederum ist eine Naturkonstante, die in die Gleichung eingesetzt wird und mit dem griechischen Buchstaben Sigma (s) beschrieben wird. Für unsere weitere Betrachtung in Hinblick auf die Entropie sollen aber weder diese Konstante noch das Gesetz eine Rolle spielen.

Bereits 1869, im Alter von gerade einmal 25 Jahren also, übernahm Boltzmann die Professur für Theoretische Physik an der Universität Graz. Den rastlosen Physiker hielt es allerdings nicht lange dort. München, Wien und Leipzig folgten als Stationen seiner Lehrtätigkeit, bevor er 1895 wieder in Wien landete und dort den Lehrstuhl seines Mentors Stefan übernahm. Boltzmann selbst begründete einmal scherzhaft seine Rastlosigkeit damit, dass er während eines Faschingballes zur Welt gekommen sei. Bis zu seinem Tod durch Selbstmord 1906 in Duino bei Triest blieb er Wien treu und vertrat dort seine Thesen leidenschaftlich. Als Anhänger der Atomistik legte er sich beispielsweise mit Max Planck an. Boltzmann zeigte sich aber vielfältig interessiert. Während seiner Studienzeit belegte er Philosophiekurse, deren Einfluss noch in einigen seiner Schriften zu erkennen ist. Auch nach seiner Studienzeit blickte er über den disziplinären Tellerrand und interessierte sich beispielsweise für Darwins Evolutionstheorie.

Er zeigte sich sehr umtriebig und schrieb 139 wissenschaftliche Arbeiten, die oft in Auseinandersetzungen als Antwort auf andere Physiker konzipiert waren. 1909 wurden alle Arbeiten als Gesamtausgabe in drei Bänden veröffentlicht.

3 Grundlagen der Thermodynamik

Die Thermodynamik ist die Lehre der Energie, ihrer Erscheinungsform und ihrer Art, Arbeit zu verrichten. Sie wurde im 19. Jahrhundert entscheidend vorangetrieben, auch wenn wichtige Vorüberlegungen schon zuvor geschehen waren. Untrennbar mir der Entwicklung verbunden sind Namen wie James Prescott Joule, Hermann Ludwig Ferdinand von Helmholtz, Rudolf Clausius und eben Ludwig Boltzmann.

Es gibt vier Gesetze der Thermodynamik. Das vierte wurde nach den ersten dreien aufgestellt, ist aber so fundamental, dass es vielfach vor ihnen als das Nullte Theorem genannt wird. Es besagt: Wenn ein System A sich mit einem System B sowie B sich mit einem System C im thermischen Gleichgewicht befinden, so befindet sich auch A mit C im thermischen Gleichgewicht. Als Beispiel aus der Praxis soll das Thermometer dienen, dessen Funktionswiese auf diese Weise erklärt werden kann.

Der Erste Hauptsatz der Thermodynamik beschreibt die Energieerhaltung in geschlossenen Systemen. Energie kann weder aus dem Nichts erzeugt werden noch verloren gehen, sondern höchstens in andere Energieformeln umgewandelt werden.

Der Zweite Hauptsatz besitzt für diese Arbeit die größte Bedeutung, hat er doch Boltzmann Zeit seines Lebens beschäftigt. Er beschreibt eine wichtige Eigenschaft der Entropie. Hier sei nur schnell die Grundaussage erwähnt, weiter hinten wird er noch ausführlicher behandelt. Die Formel lautet:

Dq = T * DS ,

wobei Dq die thermale Energie darstellt, die durch einen Koeffizienten mit der Entropie DS verbunden ist. Dieser Koeffizient ist die Temperatur T. In Worte gebracht, besagt die Formel: In geschlossenen Systemen steigt die Entropie an. Um den physikalischen Wert der Temperatur hier noch einmal deutlich zu machen, weise ich darauf hin, dass die Temperatur auf makrokopischer Ebene die Bewegung der Moleküle in einem System anzeigt. Damit ist sie, physikalisch gesehen, ein Maß für die Energie der (ungeordneten) Bewegung der Teilchen.

Nach dem Dritten Hauptsatz, der auch Nernst’sches Theorem genannt wird, erreicht die Entropie den Wert Null, wenn auch die Temperatur den Wert Null einnimmt.

Wir wollen diese vier Hauptsätze an einem Beispiel erläutern. Gegeben seien die zwei Systeme A + B, die miteinander in Kontakt stehen, aber von ihrer Umgebung isoliert sind.

Abbildung in dieser Leseprobe nicht enthalten

Nach dem ersten Gesetz gilt: WA – qA + WB – qB = 0 (Erhalt der Energie). Nach dem zweiten Gesetz wiederum steigt die Entropie immer an: DSA + DSB ³ 0. Der Transfer ist irreversibel, weil die totale Entropie des Systems ansteigt.

Das Beobachten von Phänomenen auf makroskopischer Ebene birgt ein Problem. Sie sind nicht abzählbar und damit wenig genau und kaum nachvollziehbar. Boltzmann wollte das ändern. Durch seine Arbeit wurde die Statistik in die Thermodynamik einbezogen und die Systeme in kleinere mikroskopische Zellen unterteilt. Vor allem das H-Theorem ist in diesem Zusammenhang wichtig, das Boltzmann als Hilfsinstrument zur Berechnung einführte und das in dieser Arbeit weiter unten genauer erläutert wird.

[...]