Einige Bemerkungen zum Zusammenhang zwischen Entropie und Information in Prozessen der Selbstorganisation und Evolution

Einleitung

1.1.Wie wir wissen, ist Selbstorganisation ein Prozeß, der durch das Zusammenwirken von Teilsystemen von selbst zu komplexeren Strukturen eines Gesamtsystems führt. Evolution ist eine unbegrenzte Folge von solchen Prozessen der Selbstorganisation und führt zum Aufbau qualitativ neuartiger, komplexerer Strukturen und Systeme. Die Struktur eines Systems ist durch die Art der Anordnung und durch die Beziehungen seiner Elemente untereinander gegeben. Ein heterogen strukturiertes System enthält deshalb im Vergleich mit einem homogenen System gleichartiger Zusammensetzung mehr Information und weniger Entropie. Oberflächlich entsteht damit der Eindruck, als würden die Prozesse der Selbstorganisation und Evolution Entropie vernichten und damit im Widerspruch zum 2.Hauptsatz der Thermodynamik stehen. Bei einer genaueren Analyse zeigt sich aber, daß auch Evolutionsprozesse zu einem Wachstum der thermodynamischen Entropie beitragen. Das ist nur möglich, wenn das System, indem die Selbstorganisation vor sich geht, freie Energie verbraucht und Entropie exportiert, also ein offenes System ist. Andererseits ist die Entropieproduktion aber nicht immer mit der Entstehung von Information verbunden. Ein isoliertes System entwickelt sich nämlich irreversibel in Richtung des thermodynamischen Gleichgewichtes, die Entropie nimmt ständig zu, was gleichbedeutend mit dem Zerfall aller Strukturen und einer Vernichtung von Information ist. Nur offene Systeme sind evolutionsfähig. (s.Abb.1)

1.2. Der Entropiesatz ist ein universelles physikalisches Gesetz, das die Bewegung jeder Form von Materie beschreibt. Ein ähnlich universelles Gesetz scheint die Evolution zu sein. Sie ist eine der Materie immanente Eigenschaft, die auf allen Stufen der Entwicklung analogen Grundprinzipien unterworfen ist. Die Evolution vollzieht sich auf der Grundlage der physikalischen Gesetze. Während die Eigenschaften typisch physikalischer Systeme aber nur durch ihren aktuellen Zustand determiniert sind, sind die typischen Produkte der Evolution durch den aktuellen Zustand und ihre Vorgeschichte bestimmt. Sie enthalten Informationen nicht nur über ihren Zustand, sondern auch über ihre Entstehung und über ihre Umgebung.

Die fundamentalen physikalischen Gesetze gelten uneingeschränkt auch für alle komplexen Systeme, die in der Evolution entstanden sind. Für diese komplexen Systeme gelten jedoch noch zusätzliche Gesetzmäßigkeiten, die deren Bewegungsmöglichkeiten bestimmen und immer mehr sowohl einschränken als auch erweitern, je komplexer diese Systeme sind und je mehr Information sie enthalten.

Quantitative Eigenschaften von Informationen

2.1. Entstehung, Speicherung und Verarbeitung von Informationen sind Voraussetzungen für die der Evolution zugundeliegende Reproduktion der Individuen. Dabei ist zwischen freier und gebundener Information zu unterscheiden.

Gebundene Information bestimmt die Struktur und die Funktion eines Systems, ist eine Systemeigenschaft und beeinflußt die Gesamtentropie des betrachteten Systems. Sie entsteht im Zuge der Selbstorganisation. Durch die gebundene Information wird die Entropie des Systems gegenüber der des thermodynamischen Gleichgewichtszustands abgesenkt.

Freie Information kann in symbolischer Form aus gebundener Information extrahiert werden, ist nicht Bestandteil oder Eigenschaft eines physikalischen Systems, sondern existiert davon unabhängig als Teil einer Beziehung zwischen dem Sender und dem Empfänger der Information, kann aber wieder in gebundene Form überführt werden.

Reproduktion eines Systems ist vor allem Übertragung der in ihm gebundenen Information auf das neue System der nachfolgenden Generation.

2.2. Mit den Eigenschaften freier Information befaßt sich die Informationstheorie. Bereits in der Evolution wird gebundene Information symbolisiert und in freie Information verwandelt. Das Entstehen freier Information ist das Resultat der Evolution. Freie Information bedarf eines Informationsträgers mit einer ausreichenden Informationskapazität.

Auch wissenschaftliche Forschung hat vielfach das Ziel, aus gebundener Information freie Information zu extrahieren und trägt in dieser Hinsicht zur Evolution bei.

Speicherung und Transport von freien Informationen (auch Nachrichten genannt) erfolgen am einfachsten in Form von linearer Aneinanderreihung von Symbolen, Elementen oder Buchstaben. Die Eigenschaften der Informationen können deshalb anhand der Eigenschaften von Symbolsequenzen dargestellt werden.

Die Informationskapazität IK eines Informationsspeichers oder einer Sequenz der Länge L hängt von der Anzahl der möglichen Zustände N bzw. der Anordnungsmöglichkeiten der LA verfügbaren Symbole ab

IK=ln(N)/ln(2) bit

N=LA^L

IK=L*ln(LA)/ln(2) bit

Die Informationskapazität ist eine obere Grenze für den möglichen Informationsgehalt einer Sequenz von vorgebener Länge L, die auf einem Alphabet der Länge LA aufbaut. (s. Abb.2)

2.3. Während die Informationskapazität relativ einfach und eindeutig bestimmt werden kann, bereitet die quantitative Ermittlung des Informationsgehaltes einer konkreten Information erhebliche Schwierigkeiten, weil der Begriff des Informationsgehaltes nicht eindeutig definiert ist.

Ein mögliches Maß für den Informationsgehalt ist die grammatische Komplexität einer Sequenz. Sie ist gegeben durch die Länge des kürzesten Algorithmus, der die Sequenz generiert (Kolmogorowsche Definition der Komplexität). Eine Sequenz vorgegebener Länge mit festem Alphabet hat dann immer eine maximal mögliche Komplexität, die ihrer Informationskapazität entspricht. Eine Sequenz mit maximal möglicher Komplexität ist ohne Informationsverlust nicht weiter komprimierbar. Die relative Abweichung der Komplexität einer gegebenen Sequenz von der maximal möglichen Komplexität einer Sequenz der gleichen Länge heißt dann grammatische Redundanz.

Die Kolmogorowsche Definition der Komplexität hat den Nachteil, daß der zufälligen Anordnung der Elemente die höchste Komplexität zugewiesen wird, damit wird Komplexität aber zu einem Maß der Unordnung und unterscheidet sich bei gleicher Häufigkeit der Symbole nicht von der Shannonschen Definition der Informationsentropie. Ein vollkommen zufälliges, chaotisches System ist aber nicht komplex. Komplexität liegt zwischen Ordnung und Chaos. Ausgehend von vollständiger Unordnung sinkt die Entropie mit steigendem Ordnungsgrad, während die Komplexität zunächst ansteigt, ein Maximum erreicht und bei weiter zunehmender Ordnung wieder absinkt. Z.B. ist ein lebender Organismus zweifelos komplexer als die höchst geordnete Ablage seiner einzelnen Bestandteile auf dem Ladentisch des Fleischers.

Ein eindeutiges quantitatives Maß für diese Art von Komplexität, die Willke organisierte Komplexität nennt, gibt es (noch) nicht und Ebeling behauptet, daß es dieses Maß nie geben wird. Die qualitativ so definierte Komplexität ist aber ein besseres Maß für den Informationsgehalt eines Systems oder einer Sequenz, als die nach Kolmogorow definierte, denn eine zufällig erzeugte Sequenz ist eben ungeordnet und hat weder Komplexität noch Informationsgehalt. Das heißt auch, daß man nicht oder nur in speziellen Ausnahmefällen feststellen oder beweisen kann, ob eine zufällig ausssehende Sequequenz wirklich zufällig ist oder nicht. Erst wenn eine gewisse Redundanz vorliegt, zeigt sich, das die Sequenz nicht zufällig ist. Aus dem gleichen Grunde ist die Berechnung der grammatischen Komplexität einer vorgegebenen Sequenz nicht exakt möglich, denn man kann i.A. nicht beweisen, daß es keinen kürzeren Algorithmus gibt, der die Sequenz erzeugt.

2.4. Ein anderes Maß für den Informationsgehalt einer Sequenz beruht auf der Teilwortkomplexität. Die Teilwortkomplexität ist definiert als die Anzahl aller voneinander verschiedenen Teilwörter aller möglichen Längen, die in einer konkreten Sequenz enthalten sind. Die Teilwortkomplexität wird dann so normiert, daß sie zwischen dem Informationsgehalt eines einzelnen Symbols und der Informationskapazität der Sequenz IK liegt, und dann als Teilwortinformationsgehalt bezeichnet. Berechnet man den Teilwortinformationsgehalt sehr langer, zufällig erzeugter Sequenzen, so findet man einen Wert, der mit großer Wahrscheinlichkeit dicht unterhalb der Informationskapazität liegt und es gibt Sequenzen, die einen größeren Informationsgehalt haben als die zufällig erzeugten. Der Zusammenhang zwischen Informationsgehalt und Teilwortkomplexität ist aber wegen der verbleibenden Willkur in der Normierung nicht eindeutig und noch nicht vollständig geklärt, obwohl der Teilwortinformationsgehalt die oben beschriebene Einordnung der Komplexität zwischen Ordnung und Chaos qualitativ besser beschreibt als die grammatische Komplexität.

Unabhängig von der gewählten Definition darf der Informationsgehalt aber nicht mit der semantischen Bedeutung der Information verwechselt werden. Der Informationsgehalt ist nur ein Maß für die Menge, nicht für die Qualität der Information.

Information und Evolution

3.1. Evolution eines Systems bedeutet Wachstum seines Komplexitätsgrades und seines (gebundenen) Informationsgehaltes und damit Abnahme der (inneren) Informationsentropie bei gleichzeitigem Export thermodynamischer Entropie. Der Maximalwert der Informationsentropie eines Systems ist durch seine Informationskapazität bestimmt und wird erreicht, wenn der Informationsträger ungeordnet ist und keine Information enthält. (s.Abb.3)

Der Komplexitätsgrad liefert unter diesen Bedingungen einen positiven Beitrag zur Gesamtentropie eines Systems und trägt somit zum Wachstum der Entropie bei. Nur in Systemen, in denen die Gesamtenergie die Bindungsenergie übersteigt, ist die thermodynamische Entropie das alleinige Maß für die Unordnung. Insofern ist es kein Widerspruch, daß der Zufall sowohl zum Wachstum der Unordnung (in isolierten Systemen) als auch zum Wachstum der Komplexität (in offenen Systemen) führt.

Mit der Evolution eines Systems, was gleichbedeutend ist mit Strukturbildung und Abnahme seiner thermodynamischen Entropie, ist auch das Wachstum seiner Informationskapazität verbunden. Die Einspeicherung von Informationen in die entstehende Informationskapazität reduziert die Informationsentropie des Systems, was nur unter Export von Entropie möglich ist, da die Gesamtentropie nicht abnehmen kann. Je mehr Informationskapazität vorhanden ist, um so mehr Information kann das System aufnehmen. Je mehr Information das System enthält, um so mehr Entropie muß exportiert worden sein.

Die Absenkung der Entropie gegenüber dem thermodynamischen Gleichgewichtszustand eines System mit gleichem Energieinhalt ist ein quantitatives Maß seiner Strukturiertheit und seines Informationsgehaltes. Komplexere Strukturen haben eine höhere Informationskapazität als einfachere Strukturen, können also ihre Informationsentropie (die Negentropie) stärker absenken. Insofern bedeuted die Zunahme der Komplexität gleichzeitig auch eine Zunahme der exportierten thermodynamischen Entropie. (siehe Abb.4)

Informationserzeugung ist eine spezielle Form der Selbstorganisation. Die Informationsentropie ist bestimmt durch die Wahrscheinlichkeitsverteilung der Ordnungsparameter in einem System und stellt einen Bruchteil der gesamten statistischen Entropie dar. Dieser Bruchteil ist aber für die Strukturbildung gerade der entscheidente und das Maß für die Strukturiertheit des Systems.

3.3. Der amerikanische Wissenschaftler Doyne Farmer stellte folgende These auf:

Es gibt ein Pendant zum 2. Hauptsatz der Thermodynamik, ein Gesetz, das die allgemeine Tendenz der Materie beschreibt, sich selbst zu organisieren. Dieses hypothetische Gesetz muß die allgemeinen Eigenschaften der Systeme und Prozesse vorhersagen, die wir im Universum beobachten und muß folgende Begriffe enthalten und erklären:

- Die Tendenz zur Bildung komplexer adaptiver Systeme mit emergenten Eigenschaften

- Das Gleichgewicht zwischen Ordnung und Chaos und die Dynamik der Komplexität am Rande des Chaos.

- Die Tendenz eines komplexen adaptiven Systems sich durch Lernen und Evolution an den Rand des Chaos zu begeben und seine Komplexität ständig zu erhöhen.

Während der II.Hauptsatz der Thermodynamik das beständige Wachstum der Entropie postuliert, würde ein solcher Hauptsatz der Evolutionstheorie das ständige Wachsen des Anteils der Informationsentropie an der Gesamtentropie fordern. Das damit verbundene Wachstum der Informationskapazität ermöglicht einerseits die Aufnahme der gebundenen Information, die die Struktur der Systeme beschreibt, übersteigt aber die dafür mindestens erforderliche Informationskapazität. Damit entsteht freie Informationskapazität, die die Grundlage für Entstehung und Wachstum von freier Information bildet. Ein solcher Hauptsatz der Evolutionstheorie würde damit gleichzeitig den Prozeß des ständigen Anwachsen von Information beinhalten.

 

3.4. Betrachtet man die Evolution in Natur und Gesellschaft als einen einheitlichen Prozeß, so wird deutlich, daß die erkennbare Herausbildung einer Informationsgesellschaft nicht nur ein politisches Schlagwort, sondern ein typisches Ergebnis dieses Prozesses ist, das den heute erreichten Stand der Evolution charakterisiert.

(vorgetragen am 15.4.2000 auf dem Kolloquium "Information in Natur und Gesellschaft" in Dresden)

Literatur

Beckenbach, Frank / Diefenbacher, Hans, Zwischen Entropie und Selbstorganisation - Perspektiven einer ökologischen Ökonomie, Metropolisverlag Marburg 1994

Ebeling und Feistel,Physik der Selbstorganisation und Evolution, Akademie-Verlag 1982

Ebeling,W.,Feistel,R.,Chaos und Kosmos,Prinzipien der Evolution,Spektrum Akademischer Verlag 1994

Weizsäcker, C.F.,"Zeit und Wissen"

Willke, Helmut,Systemtheorie (Soziale Systeme) Bd 1-3, Gustav-Fischer-Verlag 1993/94/95

Waldrop, M. Mitchell,Inseln im Chaos-Die Erforschung komplexer Systeme,Rowohlt Hamburg 1996

Köhler, B., Evolutionstheorie

Sequenz der Länge L = 8

Informationskapazität IK = L * ln(LA)/ln(2)

Anzahl unterschiedlicher Symbole LA = Länge des Alphabets

0 , 1 LA = 2 IK = 8

a , b , c , d LA = 4 IK = 16

Informationsgehalt der Sequenz

auf Basis Teilwortkomplexität Grammat. Komplexität

aaaaaaaa 2,3 3,1

abababab 6,3 8

aaabaaaa 11,4 12

abababcc 12 10

abacadbc 16 16

Abb.2