Speicherung und Verarbeitung von Informationen (Ebeling)

1. Speicherung und Verarbeitung von Informationen sind Voraussetzungen für die Evolution. Systeme können Informationen speichern, wenn

Gebundene Information ist in einem bestimmten physikalischen System gebunden, ist eine Systemeigenschaft und beeinflußt die Gesamtentropie des betrachteten Systems. Durch die gebundene Information wird die Entropie des Systems gegenüber dem thermodynamischen Gleichgewichtszustand abgesenkt.

Freie Information kann in symbolischer Form aus gebundener Information extrahiert werden, ist nicht Bestandteil oder Eigenschaft eines physikalischen Systems, sondern existiert davon unabhängig als Teil einer Beziehung zwischen dem Sender und dem Empfänger, kann aber wieder in gebundene Information überführt werden.

Reproduktion eines Systems heißt Übertragung der in ihm gebundenen Information auf das neue System.

Die Informationstheorie befaßt sich mit den Eigenschaften freier Information. In der Evolution wird gebundene Information symbolisiert (ritualisiert) und in freie Information verwandelt. Das Entstehen freier Information ist das Resultat der Evolution.

Wissenschaftliche Forschung hat vielfach das Ziel, aus gebundener Information freie Information zu extrahieren und trägt damit zur Evolution bei. (Siehe hierzu auch Köhler)

2 .Speicherung und Transport von umfangreichen Informationen (Nachrichten) erfolgen am einfachsten in Form von linearer Aneinanderreihung (Sequenzen) von Symbolen (Elementen, Buchstaben).

3. Der metrische Abstand zwischen zwei Sequenzen entspricht der minimalen Zahl der nicht übereinstimmenden Positionen bei allen möglichen Übereinanderlegungen.

4. Die Häufigkeitsverteilung aller möglichen Buchstabenkombinationen (Worte), die eine Nachrichtenquelle erzeugt, wird durch die Informationsentropie der Nachrichtenquelle charakterisiert. Eine stochastische Nachrichtenquelle, die zufällig Buchstaben aus einem Alphabet von insgesamt L Buchstaben sendet, erzeugt die maximal mögliche Informationsentropie von 1 L-digit oder ln(L)/ln(2) Bit pro Buchstabe. Bei Abweichungen von der Gleichverteilung ist die Informationsentropie um so kleiner, je größer der Informationsgehalt pro Buchstabe ist. Eine stochastische Nachrichtenquelle liefert keine Information.

5. Die Informationskapazität IK eines Informationsspeichers oder einer Sequenz der Länge L hängt von der Anzahl der möglichen Zustände N bzw. der Anordnungsmöglichkeiten der LA verfügbaren Symbole ab (IK=ln(N)/ln(2) Bit bzw. IK=L*ln(LA)/ln(2) Bit). Die Informationskapazität ist eine obere Grenze für den möglichen Informationsgehalt einer Sequenz von vorgegebener Länge L.

6. Ein Maß für den Informationsgehalt einer Sequenz ist die Teilwortkomplexität. Die Teilwortkomplexität ist die Anzahl aller voneinander verschiedenen Teilwörter aller möglichen Längen, die in einer Sequenz enthalten sind. Der Informationsgehalt liegt zwischen ln(LA)/ln(2) Bit und der Informationskapazität IK und kann aus der Teilwortkomplexität bestimmt werden. Aus der Teilwortkomplexität kann weiterhin die Teilwortstruktur berechnet werden, die ein Maß für die Regularität ist. Die Teilwortstruktur (TWS) von zufällig erzeugten Sequenzen liegt im Bereich von 0<TWS<2*L. Sequenzen mit TWS>2*L haben erhebliche Abweichungen von einer zufälligen Verteilung. Die Teilwortkomplexität sehr langer, zufällig erzeugter Sequenzen liegt dicht unterhalb der Informationskapazität. Der Zusammenhang zwischen Informationsgehalt und Teilwortkomplexität ist daher nicht eindeutig und noch nicht vollständig geklärt. Außerdem ist der Informationsgehalt nicht mit der (semantischen) Bedeutung der Information zu verwechseln. Der Informationsgehalt ist nur ein Maß für die Menge, nicht für die Qualität der Information.

7. Die Redundanz ist der prozentuale Anteil der nicht genutzten Informationskapazität und charakterisiert ebenfalls die Regularität der Sequenz. Aber: Eine stochastische Sequenz hat keine Redundanz und trägt trotzdem keine (sinnvolle) Information.

8. Die (grammatische) Komplexität einer Sequenz ist gegeben durch die Länge des kürzesten Algorithmus ,der die Sequenz generiert (Kolmogorowsche Definition der Komplexität). Eine Sequenz kann über ein Hilfsalphabet und eine Anzahl von Regeln erzeugt werden. Die Komplexität dieser Grammatik bestimmt sich dann als Summe der Längen aller Regeln. Die Komplexität der Sequenz ist die kleinste Komplexität, die sich bei Anwendung aller möglichen Grammatiken ergibt. Eine Sequenz vorgegebener Länge mit festem Alphabet hat dann immer eine maximal mögliche Komplexität. Die relative Abweichung der Komplexität einer gegebenen Sequenz von der maximal möglichen Komplexität einer Sequenz der gleichen Länge heißt grammatische Redundanz.

9. Die Anzahl der für die Konstruktion einer Sequenz erforderlichen Regeln unter Berücksichtigung ihrer ev. mehrmaligen Verwendung heißt Regellänge der Sequenz.

10. In der biologischen Evolution wird zunächst die Tendenz einer Maximierung der gespeicherten Information und damit eine Maximierung der Komplexität der Erbinformation verfolgt. Da mit zunehmendem Informationsgehalt die Anzahl der Elemente wächst und damit die Fehlerquote der Reproduktion ansteigt, kommt es später zur Ausbildung grammatischer Strukturen, einem Anwachsen der Regellänge, einer Reduzierung der Komplexität unter die maximal mögliche und einem Anwachsen der Redundanz, was dem Wachstum der Fehlerquote entgegenwirkt. Die Bildung grammatischer Strukturen schränkt die Anzahl der Anordnungsmöglichkeiten stark ein, bewirkt eine "Standardisierung" der Bauelemente und reduziert die Fehlermöglichkeiten.

11. Die Kolmogorowsche Definition der Komplexität hat den Nachteil, daß der zufälligen Anordnung der Elemente die höchste Komplexität zugewiesen wird, damit wird Komplexität aber zu einem Maß der Unordnung und unterscheidet sich nicht von der Entropie. Ein vollkommen chaotisches System ist aber nicht komplex. Dieser Sachverhalt wird bei Gell-Mann ausführlich diskutiert. Gell-Mann bezeichnet die Kolmogorowsche Definition jedoch als "algorithmischen Informationsgehalt" (AIC).

Nach Ebeling (siehe Uraniavortrag am 25.10.96) liegt Komplexität zwischen Ordnung und Chaos. Mit steigendem Ordnungsgrad sinkt die Entropie, während die Komplexität zunächst ansteigt, ein Maximum erreicht und bei zunehmender, vollständiger Ordnung wieder absinkt. Ein quantitatives Maß für die Komplexität, die Willke im sozialen Bereich organisierte Komplexität nennt, gibt es (noch) nicht und nach Ebeling wird es dieses Maß nie geben. Die so nur qualitativ definierte Komplexität ist aber ein besseres Maß für den Informationsgehalt eines Systems oder einer Sequenz als die Kolmogorowsche und eine zufällig erzeugte Sequenz hat weder Komplexität noch Informationsgehalt. Vollmer verwendet aber den Begriff Komplexität im Kolmogoroffschen Sinne.

12. Evolution eines Systems bedeutet Wachstum seines Komplexitätsgrades und seines (gebundenen) Informationsgehaltes und damit Abnahme der Informationsentropie auf Kosten der thermodynamischen Entropie. Der Komplexitätsgrad ist unter diesen Bedingungen ein positiver Term im Ausdruck der Gesamtentropie eines Systems und trägt somit zum Wachstum der Entropie bei. Nur in Systemen, in denen die Gesamtenergie positiv ist, die kinetische Energie also die Bindungsenergie übersteigt, ist die thermodynamische Entropie wirklich ein Maß für Unordnung. Insofern ist es kein Widerspruch, daß Zufall sowohl zum Wachstum der Unordnung als auch zum Wachstum der Komplexität führt. Mit der Evolution eines Systems ist auch das Wachstum seiner Informationskapazität verbunden, was gleichbedeutend ist mit Strukturbildung und mit der Transformation eines Teils seiner thermodynamischen Entropie in Informationsentropie. Die Einspeicherung von Information in die neuentstandene Informationskapazität reduziert dann die Informationsentropie des Systems, was nur unter Export von thermodynamischer Entropie möglich ist, da die Gesamtentropie des Systems nicht abnehmen kann, ohne daß Entropie exportiert wird. Je mehr Informationskapazität vorhanden ist, um so mehr Information kann das System aufnehmen und je mehr Information das System enthält, um so mehr Entropie muß exportiert werden. Die Absenkung der Entropie gegenüber dem thermodynamischen Gleichgewichtszustand eines System gleicher Energie ist ein quantitatives Maß seiner Strukturiertheit. Komplexe Strukturen haben aber eine höhere Informationskapazität als einfache Strukturen, können also ihre Informationsentropie (die Negentropie) stärker absenken. Insofern bedeutet die Zunahme der Komplexität gleichzeitig auch eine Zunahme der Gesamtentropie.(s.a.Informationserzeugung)  (siehe hierzu auch Komplexe Strukturen )

13. Nach Binswanger (Buch von Beckenbach/Diefenbacher) ist die Komplexität eines Systems durch ihren potentiellen Informationsgehalt bestimmt, d. h. durch die Information, die zur Identifizierung seiner Struktur erforderlich ist. Sofern man diese Information nicht kennt, wäre dies identisch mit der Shannonschen Definition der Informationsentropie. Die Entstehung des Systems bedeutet dann die Herstellung der Struktur und die Fixierung der aktuellen (gebundenen) Information, d.h. die Senkung seines Entropiegehaltes um den Wert der Informationsentropie.

14. Ein allgemeines Prinzip der Evolution ist die maximale Standardisierung, d.h. der Aufbau eines komplexen Systems oder einer langen Sequenz erfolgt aus möglichst einfachen Teilsystemen oder möglichst kurzen Teilsequenzen und deren ineinandergeschachtelten Wiederholungen. Die Fehlerquote bei der Reproduktion wird insbesondere dann reduziert, wenn die Teilsysteme selbst der Selektion unterliegen, da dann fehlerhafte Teilsysteme "von selbst" eliminiert werden. Die das übergeordnete System bildenden Teilsysteme haben dann eine kleinere Fehlerquote als der Anzahl ihrer Elemente entspricht. Unterliegen die Teilsysteme nicht der Selektion, so muß das übergeordnete System einen Mechanismus zur Qualitätsprüfung (Prüfbit) entwickeln, um seine Fehlerquote zu reduzieren.

15. Sequenzen von Buchstaben über einem Alphabet können immer auch als Abbildung eines dynamischen Prozesses in einem Zustandsraum interpretiert werden. Zwischen dem Charakter des Prozesses und dem Ordnungs- bzw. Korrelationszustand der zugeordneten Sequenzen bestehen dann enge Beziehungen. Statistische Prozesse entsprechen einer unkorrelierten Buchstabenfolge, periodische Prozesse erzeugen geordnete (periodische) Buchstabenfolgen und Markow-Prozesse erzeugen Sequenzen mit einer kurzreichweitigen Teilordnung. Sequenzen mit hohem Informationsgehalt liegen auf der Grenze zwischen Chaos und Ordnung und zeigen langreichweitige Korrelationen.

16. Den Charakter der Sequenzen erkennt man aus der Analyse der Shannon-Entropien von Blöcken mit jeweils n aufeinanderfolgenden Buchstaben. Die Shannon-Entropien der Blöcke pro Buchstabe konvergieren mit wachsender Blocklänge n gegen die Informationsentropie der Nachrichtenquelle. Biologische Nukleotidsequenzen, Musikstücke und sprachliche Texte zeigen langreichweitige Korrelationen und eine in dieser Reihenfolge zunehmend niedrigere Informationsentropie der Quelle.

[weiterlesen]