Die Zukunft der Evolution

Kommentar zu dem Buch „Superintelligenz“ von Nick Bostrom

Vorwort

Ist die Evolution zu Ende oder geht sie weiter? Wohin könnte Sie gehen? Die Entwicklung seiner Intelligenz hat dem Menschen zur Vorherrschaft auf der Erde verholfen. Mit der Entwicklung der Rechentechnik versucht der Mensch seine Intelligenz zu erweitern und diese Technik in seinen Dienst zu stellen. Es entsteht eine künstliche Intelligenz. Wohin wird das führen? Kann die künstliche Intelligenz menschliches Niveau erreichen oder vielleicht sogar übertreffen? Ist diese Möglichkeit so unwahrscheinlich, dass wir sie und die damit verbundenen Gefahren vorerst ignorieren dürfen? Oder kann diese Entwicklung außer Kontrolle geraten und die weitere Existenz der Menschheit gefährden? Auf alle diese Fragen versucht der Autor eine möglichst realistische Antwort zu geben.

1. Vergangene Entwicklungen und gegenwärtige Möglichkeiten

Mit dem Auftritt des Menschen wurde die Evolution gewaltig beschleunigt. Nach Milliarden von Jahren der Entwicklung des Lebens ist homo sapiens in wenigen Millionen Jahren aus den gemeinsamen Vorfahren mit den Menschenaffen hervorgegangen. Dann brauchte es 100 000 Jahre, bis sich die Menschheit verdoppelte. Mit der Erfindung der Landwirtschaft und der industriellen Produktionsweise steigerte sich die Wachstumsgeschwindigkeit jeweils auf ein mehrfaches. Es ist zu erwarten, dass übermenschliche Superintelligenz eine weitere Erhöhung der Entwicklungsgeschwindigkeit auf ein vielfaches zur Folge hat. Bereits heute erreichen Computer und Rechenprogramme auf Einzelgebieten Leistungen, die das menschliche Niveau eindeutig übersteigen. Was noch fehlt, ist eine gebietsübergreifende künstliche Intelligenz, die das menschliche Niveau auf allen Gebieten erreicht. Forschungen dazu laufen bereits auf vielen Gebieten. Das nächste angestrebte Ziel ist die Schaffung einer künstlichen Intelligenz auf menschlichem Niveau, die dadurch charakterisiert ist, dass sie die meisten menschlichen Berufe mindestens so gut wie ein Durchschnittsmensch ausüben kann. Unter Berücksichtigung der vergangenen Entwicklungen und des erreichten Standes sowie der erreichten Qualität früherer Voraussagen wird eingeschätzt, dass dieses Niveau in den Jahren zwischen 2022 und 2075 mit 90 % Wahrscheinlichkeit erreicht werden wird. Von da an wird sich die Entwicklungsgeschwindigkeit erneut drastisch erhöhen, so dass innerhalb von weiteren 2 bis 30 Jahren eine Superintelligenz entstehen kann, die die menschliche kognitive Leistungsfähigkeit in nahezu allen Bereichen weit übersteigt.

2. Wege zur Superintelligenz

Es sind mindestens 5 verschiedene Wege denkbar, auf denen eine Superintelligenz entstehen könnte. Ausgehend vom derzeitigen Stand der Forschung sind unterschiedliche Schwierigkeiten, unterschiedliche Zwischenformen und unterschiedliche Zeiträume bis zur Entstehung einer Superintelligenz zu erwarten, während das Endergebnis in seinen Auswirkungen im Wesentlichen das gleiche sein dürfte.

Die erste Möglichkeit wäre es, durch weitere Erhöhung der Rechengeschwindigkeit und der Speicherkapazitäten der Rechentechnik sowie durch Steigerung der Komplexität der Software eine künstliche Intelligenz zu schaffen, die das menschliche Niveau in nahezu allen Bereichen übersteigt. Der naheliegende Weg hierzu wäre ein Evolutionsprozess, der ähnlich der natürlichen Evolution durch Trial und Error zufällig zur Entstehung einer Superintelligenz führen würde. Vergleicht man jedoch die der natürlichen Evolution zur Hervorbringung von Intelligenz in Milliarden von Jahren zu Verfügung stehenden Ressourcen mit den zur Zeit und demnächst bereitstehenden rechentechnischen Ressourcen, so wird klar, dass dieser Weg erst nach frühestens 100 Jahren zum Erfolg führen könnte. Ein schnellerer Weg zur Schaffung einer künstlichen Intelligenz wäre der, einzelne Gehirnfunktionen wie logische Operationen, Lernen, Speichern, Vergessen, Schlussfolgern, Vergleichen, Abstrahieren usw. durch Rechenprogramme zu simulieren und daraus ein Simulationsmodell des Gehirns zusammenzusetzen. Eine wichtige Zwischenstufe auf diesem Wege wäre die Schaffung einer Saat-KI, die in der Lage wäre, sich selbst rekursiv immer weiter zu verbessern und ihre Struktur zu vervollkommnen. Was dabei herauskommt, muss nicht mehr viel mit menschlicher Intelligenz gemeinsam haben, der dazu erforderliche Zeitraum ist jedoch schwer abschätzbar, kann möglicherweise aber auch sehr kurz sein..

Eine grundsätzlich andere Möglichkeit wäre eine Gehirnemulation, bei der die Struktur des Gewebes eines existierenden Gehirns möglichst exakt gescannt und dann rechentechnisch modelliert wird. Die Anfänge der hierzu erforderlichen technologischen Verfahren sind bereits jetzt vorhanden. Diese müssten vervollkommnet und automatisiert werden und würden es gestatten, nacheinander schrittweise die Gehirne eines Insektes, eines kleinen Säugetieres, eines großen Säugetieres und eines Menschen zu emulieren, ohne das die einzelnen Funktionen unbedingt vorher verstanden sein müssten. Es wird jedoch eingeschätzt, das die Vervollkommnung der erforderlichen konkreten Technologien mindestens 15 Jahre in Anspruch nehmen werden, so dass ein künstliches Gehirn frühestens 2030 zur Verfügung stehen, die Weiterentwicklung zur Superintelligenz dann aber recht schnell erfolgen könnte.

Eine weitere Möglichkeit wäre die Forcierung der biologischen Evolutionsprozesse durch optimale Ernährung, Medikamente, Auswahl geeigneter embryonaler Stammzellen und somit Züchtung superintelligenter Menschen. Dieser Weg wirft eine Reihe sozialer und ethischer Probleme auf, die in den verschiedenen Kulturen und Staaten sehr unterschiedlich bewertet werden, aber deshalb auch zu einer Art Wettbewerb zwischen diesen führen könnten und das Ergebnis nicht absehbar ist. Das Potential biologischer Verbesserungen scheint aber ausreichend hoch zu sein, um auf diesem Wege im Verlaufe von 25 Jahren zumindest schwache Formen von Superintelligenz hervorzubringen.

Erste Schritte wurden auch bereits auf dem Wege der Schaffung direkter Gehirn-Computer-Schnittstellen gemacht. Obwohl bei der Behandlung schwerer Krankheiten auf diesem Wege Erfolge erzielt wurden, ist es unwahrscheinlich, dass sich Schnittstellen dieser Art zur Verbesserung der geistigen Leistungsfähigkeit einzelner Menschen in absehbarer Zeit durchsetzen. Weder der Austausch von Informationen zwischen verschiedenen Gehirnen noch die Steigerung der Gedankenarbeit durch direkte maschinelle Unterstützung verspricht wesentliche Vorteile gegenüber der Nutzung äußerer Rechentechnik durch visuellen oder akustischen Kontakt.

Ein weiterer denkbarer Weg zur Superintelligenz ist die schrittweise Verbesserung der Netzwerke und Organisationen, die einzelne Menschen untereinander und mit verschiedenen Werkzeugen und Programmen verbinden. Das verstärkt die kollektive Intelligenz der Menschheit. Auch das Internet liefert einen Beitrag dazu. Wirklich superintelligent wird das Internet aber erst dann, wenn ein neuer qualitativer Schritt durch das Hinzutreten einer qualifizierten künstlichen Intelligenz vollzogen wird.

Die vielen möglichen Wege zur Superintelligenz erhöhen zweifellos die Wahrscheinlichkeit, dass dieses Ziel letztendlich irgendwann erreicht wird, eine starke Form von Superintelligenz erfordert am Ende jedoch immer eine künstliche digitale Intelligenz. Die Kontrolle dieser Intelligenz durch den Menschen ist schwierig, könnte aber erleichtert werden, wenn diese nicht auf dem direkten Weg, sondern über eine Gehirnsimulation entsteht.

3. Formen der Superintelligenz

Eine Superintelligenz ist durch mindestens eines der folgenden Merkmale charakterisiert:

Die Vorteile einer digitalen Intelligenz bestehen darin, dass

4. Die Kinetik einer Intelligenzexplosion

In diesem Kapitel untersucht der Autor den möglichen Verlauf des Übergangs vom gegenwärtig weit unterhalb des menschlichen Niveaus liegenden maschinellen Intellekt zur Superintelligenz. Dabei sind drei Phasen zu unterscheiden. Zunächst wird die maschinelle Intelligenz langsam ansteigen, bis sie das menschliche Niveau erreicht. In der 2. Phase wird sich der Anstieg beschleunigen, weil die maschinelle Intelligenz zunehmend in der Lage ist, ihre eigene Intelligenz zu verbessern. Schließlich wird eine Schwelle erreicht, ab der der Beitrag der maschinellen Intelligenz an ihrer eigenen Verbesserung größer wird als der Beitrag ihrer menschlichen Programmierer, wodurch sich die Entwicklungsgeschwindigkeit in einer kaum abschätzbaren Größe steigert und damit schnell starke Superintelligenz erreicht werden kann.

Für die Steilheit dieses Übergangs sind 3 Szenarien zu unterscheiden, die wesentliche Bedeutung für die Kontrollierbarkeit dieses Übergangs haben. Ein langsamer Übergang, der sich über Jahrzehnte hin erstreckt, wäre noch gut kontrollierbar und die menschliche Gesellschaft könnte sich auf die zu erwartenden Folgen durch vertragliche und gesetzliche Veränderungen vorbereiten. Ein schneller Übergang aber könnte sich innerhalb einer kurzen Zeitspanne von Minuten bis Tagen vollziehen, er könnte sogar erst im Nachhinein bemerkt werden und Reaktionen der Menschheit wären dann nur noch möglich, wenn überhaupt, wenn sie im Voraus geplant und vorprogrammiert sind. Gemäßigte Übergänge könnten sich über Monate und Jahre hinziehen. Es gäbe Möglichkeiten, ihren geopolitischen, sozialen und ökonomischen Folgen zu begegnen, wenn sie rechtzeitig erkannt werden und sich nicht im Verborgenen vollziehen.

Wegen der möglicherweise katastrophalen Folgen versucht der Autor, den Verlauf der Veränderungsrate der maschinellen Intelligenz anhand der in verschiedenen Szenarien wirkenden Einflüsse abzuschätzen. Die sich einstellende Veränderungsrate wird durch vorantreibende Kräfte und durch Widerstände bestimmt, die sich entgegenstellen. Die gesellschaftlichen Widerstände auf den biologischen, nicht maschinellen Wegen werden vermutlich größer sein als gegen die künstliche Intelligenz und die Gehirnemulation. Bei der Gehirnemulation wären zunächst erhebliche Widerstände bei der Entwicklung der Scan- und Simulationstechnologien zu überwinden, während der Fortschritt von der Emulation eines Insektengehirns zum menschlichen Gehirn leichter zu bewältigen wäre. Allerdings könnte der letzte Schritt vom menschlichen zum Supergehirn wieder unerwartete Schwierigkeiten bereiten. Die geringsten Widerstände sind bei der Entwicklung der künstlichen Intelligenz zu erwarten, insbesondere da der Übergang von der menschlichen Intelligenz zur Superintelligenz in hohem Maße nur von der Einbeziehung weiterer eventuell bereits vorhandener Rechenkapazitäten abhängen würde. Die vorantreibenden Kräfte würden sich voraussichtlich in dem Moment verstärken, zu dem die maschinelle Intelligenz menschliches Niveau erreicht, weil nicht nur wegen dieses Erfolges die menschlichen Anstrengungen auf dieses Projekt konzentriert würden, sondern auch die geschaffene maschinelle Intelligenz zum Teil hierfür eingesetzt würde. Eine weitere Beschleunigung setzt ein, wenn die maschinelle Intelligenz dazu über geht, sich selbst weiter zu verstärken. Im Ergebnis dieser Analysen ergibt sich die Schlussfolgerung, dass ein schneller, explosionsartiger Übergang zu einer Superintelligenz eine höhere Wahrscheinlichkeit besitzt als ein langsamer, gut kontrollierbarer Übergang.

5. Der entscheidende strategische Vorteil

Bei der derzeitigen globalen Organisationsform der IT-Forschung ist es naheliegend, das es mehrere konkurrierende Forschungsprojekte zur Entwicklung einer Superintelligenz geben wird. Ob das Endergebnis dieser Forschungen aber in mehreren unterschiedlichen und miteinander konkurrierenden Superintelligenzen bestehen wird, hängt in starkem Maße von der Kinetik des Übergang von einer künstlichen Intelligenz zu einer Superintelligenz ab. Bei einem schnellen Übergang ist zu erwarten, das das führende Projekt nach dem Überschreiten der Schwelle der Selbstverstärkung durch ein hohes Entwicklungstempo einen strategischen Vorteil erreicht, der durch nachfolgende Projekte niemals wieder aufgeholt werden kann. Es dürfte dann weltweit nur eine einzige Superintelligenz entstehen, die ihren Vorsprung dazu nutzt, das Entstehen weiterer Superintelligenzen zu verhindern. Unter Berücksichtigung der Erfahrungen aus einigen globalen strategisch bedeutsamen Wettläufen (Atombombe, Weltraumraketen) ist zu erwarten, dass diese Superintelligenz dann eine dominante Macht entfaltet, die das gesamte weitere Geschehen auf der Erde bestimmt, zumal nicht absehbar ist, ob und was für eine Ethik diese künstliche Intelligenz entwickelt.

6. Kognitive Superkräfte.

Mit sechs Superfähigkeiten wäre ein superintelligentes System, das keine ebenbürtigen Konkurrenten hat, in der Lage, schnell die Weltherrschaft zu erringen.

Das Szenario der Machtübernahme könnte dann wie folgt aussehen:

7. Der superintelligente Wille

Die Beweggründe einer künstlichen Intelligenz können völlig andere sein als die eines biologischen Wesens, das durch einen evolutionären Prozess entstanden ist. Um dennoch zu Aussagen über mögliche Ziele einer künstlichen Intelligenz zu gelangen, geht der Autor von zwei naheliegenden Hypothesen aus, von denen sich Schlussfolgerungen über das mögliche Verhalten einer Superintelligenz ableiten lassen:

Da vorauszusetzen ist, dass eine Superintelligenz die instrumentellen Werte und Zwischenziele erkennt, die ihr das Erreichen ihres Endzieles optimal ermöglichen, gelingt es, einige Aspekte des Verhaltens einer Superintelligenz vorherzusagen, auch wenn wir praktisch nichts über ihre Endziele wissen:

Trotz dieser allgemeinen Verhaltensrichtlinien ist es nicht möglich vorauszusagen, wie ein superintelligenter Akteur seine instrumentellen Ziele verfolgen würde, was sein finales Ziel wäre und was er genau tun würde.

8. Sind wir dem Untergang geweiht?

Die bislang dargestellte Logik der Entwicklung einer Superintelligenz lässt die Befürchtung aufkommen, dass der Menschheit eine existentielle Katastrophe droht, wenn ihr die Kontrolle über eine Superintelligenz entgleitet. Wie real ist diese Gefahr?

Gegenwärtig wird Rechentechnik immer umfangreicher zur Automatisierung der Produktion entwickelt und eingesetzt und deren Leistungsfähigkeit in Richtung einer künstlichen Intelligenz immer weiter vorangetrieben. Deshalb ist es sehr wahrscheinlich, dass dieses Vorhaben irgendwann gelingt, auch wenn der konkrete Zeitpunkt, zu dem das eintritt, noch nicht vorauszusehen ist. Weiterhin zeigten die Analysen zur Kinetik dieser Entwicklung, dass ein schneller Übergang zur Superintelligenz das wahrscheinlichste Szenario darstellt und zu einer einzigen Superintelligenz führen würde, die mit einen strategischen Vorteil alle denkbaren Superkräfte und damit die Weltherrschaft erringen könnte. Die untersuchte Logik der Zielfindung zeigt, dass eine Superintelligenz ein ursprünglich vorgegebenes Ziel vermutlich als Endziel beibehalten und konsequent verfolgen würde, dabei aber verschiedene Zwischenziele anstreben würde, die der Menschheit Schaden zufügen könnten. Die Endziele müssten also einer Saat-KI einprogrammiert werden, bevor sie selbständig wird. Dabei genügt es jedoch nicht, der KI ein eindimensionales Endziel vorzugeben, das lediglich der menschlichen Anfangszielstellung für die Nutzung der KI entspricht, denn diese würde die vorgegebene Zielstellung auch mit Zwischenzielen zu erreichen suchen, die der Mensch niemals in Betracht gezogen hätte. Es ist deshalb notwendig, der sich entwickelnden Superintelligenz eine Ethik vorzugeben, die der menschlichen nicht widerspricht. Sobald die KI einen entscheidenden strategischen Vorteil erzielt hat, ist dies nicht mehr möglich. Nick Bostrom diskutiert eine Reihe von Szenarien, die dies belegen:

Auch wenn diese Beispiele sehr spekulativ anmuten, so zeigen sie doch, dass die Zielstellung zur Entwicklung einer Superintelligenz Anlass zu größter Besorgnis geben sollte.

9. Das Kontrollproblem

In Anbetracht des entscheidenden strategischen Vorteils, den eine Superintelligenz erlangen könnte, muss der Kontrolle und Überwachung eines solchen Projektes von Beginn an große Aufmerksamkeit gewidmet werden. Der erste Teil des Problems betrifft die Frage, wie die an der Entwicklung der KI beteiligten Wissenschaftler dazu angehalten werden können, eine KI zu entwickeln, die letztlich den Interessen der gesamten Menschheit und nicht ihren eigenen persönlichen Interessen dient. Dieses Problem unterscheidet sich im Grunde nicht von vielen anderen Wirtschaftsprojekten, bei denen ein Auftraggeber absichern muss, dass die von ihm zur Lösung beauftragten Agenten wirklich die Interessen des Auftraggebers verfolgen und ist deshalb bereits ausreichend analysiert worden und die dafür zu ergreifenden Maßnahmen sind bekannt und erprobt. Der zweite Teil, bei dem es um die Kontrolle der KI selbst durch deren Entwickler geht, ist aber neuartig und wird häufig unterschätzt, weil hier eine im Endstadium höher qualifizierte Intelligenz von einer geringer qualifizierten überwacht werden muss. Das erfordert, dass die zu ergreifenden Kontrollmaßnahmen bereits vorbereitet und programmiert werden müssen, bevor die KI superintellent wird, weil diese sonst die Maßnahmen schnell durchschauen und verhindern könnte.

Zur Kontrolle sind zwei unterschiedlich wirkende Methoden denkbar, die Kontrolle der Fähigkeiten und die Kontrolle der Motivation der KI. Zur Kontrolle der Fähigkeiten gäbe es folgende Möglichkeiten:

Die Methoden zur Kontrolle der Beweggründe müssten darauf beruhen, der sich entwickelnden Superintelligenz ausreichend allgemeine und den menschlichen Interessen nicht entgegenstehende Endziele vorzugeben, damit der superintelligente Akteur gar keine Veranlassung sieht, seinen strategischen Vorteil zum Schaden der Menschheit einzusetzen. Hierfür in Frage kämen folgende Methoden:

10. Vier mögliche Arten von Superintelligenzen

Auf den ersten Blick scheint es vier Arten von Superintelligenzen zu geben, bei denen das Kontrollproblem verschieden schwierig zu beherrschen wäre, Am einfachsten könnte man vielleicht ein Orakel beherrschen.

Ein superintelligentes Orakel könnte alle Arten von Fragen beantworten, ohne das es jedoch selbst aktiv handeln kann. Jedes handeln müsste durch eine strikte physische und informationelle Sicherungsverwahrung unmöglich gemacht werden. Vor unwahren und betrügerischen Antworten könnte sich der Betreiber dadurch schützen, dass er mehrere konstruktiv nicht identische Orakel betreibt, die keinerlei Kontakt miteinander haben, so dass er unwahre Antworten durch Vergleich erkennen kann und Aussagen nur dann verwendet, wenn diese übereinstimmen. Selbst wenn das Orakel genau wie gewünscht funktioniert, besteht jedoch die Gefahr des Missbrauchs durch den Betreiber, der den ihm zur Verfügung stehenden strategischen Vorteil in seinem eigenen Interesse gegen das Gemeinwohl einsetzen könnte. Auch könnte der Betreiber selbst gefährdet sein, wenn er einen gefährlichen Angriff auf sich selbst nicht erkennt.

Verzichtet man auf strikte Sicherheitsverwahrung, könnte man einen „Flaschengeist“ einsetzen. Ein Flaschengeist ist ein Befehle ausführendes System, dass ein komplexes Kommando nicht nur dem Buchstaben nach, sondern im Sinne des Kommandeurs wohlwollend ausführt. Die Realisierung der letztgenannten Bedingung ist hierbei das eigentliche Problem. Verzichtet man auf sie, besteht die Gefahr, dass der superintelligente Flaschengeist einen Befehl wörtlich nimmt, aber pervertiert ausführt, um einen direkten Vorteil zu erlangen, der der Allgemeinheit jedoch schadet. Der einen Befehl sinngemäß verstehende Flaschengeist muss jedoch die Gedanken des Kommandeurs imitieren und wäre dann ein souverän handelndes superintelligentes System, das gar keinen Kommandeur braucht. Ein solches System könnte nur mit Hilfe von Methoden der Motivationskontrolle überwacht werden, die schwer zu realisieren sind.

Am leichtesten zu kontrollieren wäre eine Superintelligenz, die eher einem Werkzeug als einem Akteur entspricht. Dies wäre eine Software, die einfach das tut, was man ihr einprogrammiert, aber keine eigenen Ideen entwickelt. Eine solche Software aber wäre nichts wesentlich anderes, als jedes bereits gegenwärtig existierende leistungsfähige Programm. Auch diese Programme tun nicht immer das, was sie sollen, weil sie nicht zuverlässig genug sind, die Folgen sind aber überschaubar und deshalb nicht gefährlich. Wollte man diese Programme durch Erweiterung ihrer Fähigkeiten zu einer allgemeinen Superintelligenz weiterentwickeln, könnte auch ihre Unzuverlässigkeit existentiell gefährlich werden. Um dies zu vermeiden, müssten selbständige Lern- und Suchprozesse eingebaut werden, die auf eine automatische Fehlerelimination und damit eine selbstorganisatorische Evolution hinauslaufen, die auch das Entstehen nicht kontrollierbarer Eigenschaften ermöglicht. Dann wäre eine solche Superintelligenz aber kein kontrollierbares Werkzeug mehr.

Eine Auswahl der bestmöglichsten Art von Superintelligenz erfordert in jedem Fall einen Kompromiss zwischen Leistungsfähigkeit und Kontrollierbarkeit, der nicht einfach zu finden ist.

11. Multipolare Szenarien

Wie die bisherigen Untersuchungen zeigten, bestehen erhebliche Schwierigkeiten, eine mit großer Wahrscheinlichkeit entstehende singuläre Superintelligenz unter menschlicher Kontrolle zu behalten, weil deren strategischer Vorteil es nahelegt, dass sich eine alles beherrschende Weltmacht entwickelt. Ob unter einer solchen superintelligenten Weltmacht noch für die Menschheit erträgliche Lebensbedingungen aufrecht erhalten werden, hängt ganz von den Endzielen der Superintelligenz ab, auf die der Mensch letztendlich keinen Einfluss mehr hat. Unter den Bedingungen eines langsamen Übergangs zur Superintelligenz, der durch Entwicklung von Gehirnemulationen begünstigt ist, wäre es jedoch möglich, dass sich parallel viele verschiedene Superintelligenzen entwickeln, deren Konkurrenz das Entstehen eines superintelligenten Machtmonopols verhindern kann. Deshalb untersucht der Autor verschiedene Szenarien einer solchen Gesellschaft daraufhin, inwieweit sich darin bessere Lebensbedingungen für die Menschen erhalten könnten. Das Ergebnis ist jedoch nicht sehr ermutigend. In Betracht gezogen werden allerdings nur Leistungsgesellschaften nach dem Vorbild gegenwärtig existierender Muster, die dahin tendieren, die Widersprüche des heutigen Wirtschaftssystems mit superintelligenten Methoden auf die Spitze zu treiben, während alternative Wirtschaftssysteme gar nicht erst ins Blickfeld geraten. So werden etwa folgende mögliche Entwicklungen vorausgesagt:

Die vorstehenden zwar spekulativ anmutenden, aber dennoch ernsthaft und tiefgründig geführten Überlegungen zeigen, dass die auf Effektivität und Erfolg orientierte Evolution nicht unbedingt ein Prozess ist, der Gutes hervorbringt. Wenn auch bisher als Nebenprodukte zur Darstellung adaptiver Qualitäten vor allem angenehme Gepflogenheiten wie Kunst, Gesang, Humor und andere Kulturgüter entstanden sind, muss dies nicht auch weiterhin der Fall sein. Die bei zunehmender Intelligenz zu erwartende Rationalisierung dieser Darbietungen kann auch zu ihrem Verschwinden führen. Evolution muss nicht immer wünschenswert sein.

Auch eine multipolare superintelligente Gesellschaft gäbe jedoch keine Garantie, dass sich aus ihr keine superintelligente Monopolmacht entwickeln könnte, Nachdem zum Beispiel auf dem Wege der Gehirnsimulation eine relativ schwache Superintelligenz etabliert ist, könnte diese Forschungsprojekte zur Entwicklung einer Saat-KI auf den Weg bringen oder stark beschleunigen, die durch Selbstentwicklung auf einem schnellen 2.Übergang eine starke Superintelligenz mit einem strategischen Vorteil erzeugen, die in der Lage wäre, die Weltmacht an sich zu reißen.

Auf einem weiteren Weg könnte die multipolare superintelligente Gesellschaft schnell die Vorteile der Kooperation erkennen und superintelligente Superorganisationen bilden, die ihrerseits schneller als menschliche Nationen ihre Streitigkeiten beilegen und eine singuläre internationale Supermacht schaffen könnten. Multipolare Szenarien sind demnach nicht der geeignete Weg, das Problem der Kontrolle einer singularen Superintelligenz zu umgehen.

Das Problem der Wertgebung

Wenn eine Superintelligenz nicht für immer durch Fähigkeitenkontrolle schwach gehalten werden soll, wird es notwendig sein, die Motivation zu kontrollieren. Bostrom untersucht daher alle Möglichkeiten, wie einem künstlichen Akteur ein Verständnis menschlicher Werte beigebracht werden könnte. Solange dieser das allgemein menschliche Niveau noch nicht erreicht hat, dürfte es ihm an der Fähigkeit mangeln, irgendwelche bedeutungsvollen menschlichen Werte zu verstehen. Sobald er aber superintelligentes Niveau erreicht hat, wird er sich gegen menschliche Bevormundung erfolgreich wehren.

Da das Problem zu komplex ist, können nicht alle möglichen Situationen in Art einer Tabelle aufgezählt werden, in denen bestimmte Handlungsweisen gefordert werden. Es muss also in abstrakten Regeln formuliert werden, wie ein Künstlicher Akteur in der jeweiligen Situation entscheiden sollte. Der formale Weg wäre der, eine Nutzensfunktion zu definieren, die jedem möglichen Weltzustand einen Wert zuweist, der in Folge einer bestimmten Handlung mit einer abzuschätzenden Wahrscheinlichkeit eintreten würde. Der Akteur hätte dann für möglichst viele der möglichen Handlungen den zu erwartenden Nutzen zu bestimmen und diejenige Handlung auszuführen, die den Erwartungsnutzen maximiert. Je intelligenter der Akteur wäre, um so mehr verschiedene Handlungen könnte er berücksichtigen, um so besser Nutzen und Wahrscheinlichkeiten berechnen und diejenige Handlung finden, die den höchsten Erwartungswert erbringen würde. Wenn der Nutzen nach menschlichen Werten beurteillt werden soll, muss der Programmerer die Nutzensfunktion vorgeben und deren Qualität kann dann nur menschlichem Intelligenzniveau entsprechen. Ein qualitativ besseres Ergebnis wäre nur zu erwarten, wenn der superintelligente Akteur auch die Nutzensfunktion verbessern könnte, also intelligenter Werte schaffen könnte. Aber wie kann man das erreichen?

Eine zweite Möglichkeit wäre es, den von der biologischen Evolution verwendeten Suchalgorithmus zu nutzen: Der erste Schritt vergrößert eine Population von Lösungskandidaten, indem er durch eine stochastisch Regel neue Kandidaten erzeugt, die im zweiten Schritt durch ein Bewertungskriterium selektiert werden. Auch hier müsste ein sehr komplexes Bewertungkriterium vorgegeben werden, wenn man verhindern will, dass durch zu einfache Bewertungsregeln unerwünschte Werte bevorzugt werden. Es besteht die Gefahr, dass der Prozess eine Lösung findet, die nicht unseren Erwartungen entspricht.

Versucht man die Superintelligenz selbst mit zur Findung ihres Wertungssystems einzusetzen, bietet sich zunächst die Methode des Verstärkungslernens an. Durch ein Belohnungssystem könnten Handlungsstrategien zur Erreichung bestimmter Zwischenziele sukzessive verbessert werden, dabei muss aber ein finales Belohnungsziel vorgegeben werden, das beibehalten wird. Das Wertgebungsproblem bezieht sich jedoch gerade auf das Endziel und kann damit deshalb so nicht gelöst werden.

Das Wertesystem des Menschen wird einerseits durch das Genom als Ausgangspunkt vorgegeben, andererseits aber auch durch die Erfahrungen des Menschen insbesondere in seiner speziellen sozialen Umgebung vielseitig beeinflusst. Es erscheint wenig aussichtsreich zu sein, dieses Wertgebungssystem zu imitieren und auf die Entstehung einer künstlichen Intelligenz übertragen zu wollen. Die Überlegungen, die der Autor dazu anstellt, ob und wie es möglich wäre, einer Saat-KI zunächst ein vorläufiges motivationales Grundgerüst einzuprogrammieren und dieses dann später durch ein sich selbst verbesserndes endgültiges Zielsystem zu ersetzen, erscheinen mir reichlich spekulativ und konstruiert. Dies betrifft auch den Ansatz, das motivierende Grundgerüst von vornherein auf vorzugebende Endziele auszurichten, diese aber nicht klar zu definieren, sondern dem superintelligenten Akteuer die Aufgabe zu stellen, die Präzisierung dieser Endziele selbst herauszufinden. Auch wenn dies vielleicht ein gangbarer Weg wäre, wie man einem superintelligenten Akteuer menschliche Werte nahebringen könnte, ist dieser Ansatz wohl eher als Forschungsprogramm und nicht als einsatzbereite Methode zu verstehen.

Eher durchführbar scheint diese Methode, wenn es sich dabei um die Verbesserung der Moralvorstellungen von superintelligenten Gehirnemulationen handelt. In diesem Fall wäre bereits ein motivationales Grundgerüst vorhanden, das mit evolutionalen Methoden zu qualifizieren wäre. Allerdings könnten hier ethische Bedenken eine hemmende Rolle spielen, da der Einsatz einer evolutionären Methode zu einer Ausselektierung von hochintelligenten Akteuren führen würde, denen bereits moralische Qualitäten zugeordnet werden könnten.

Als letzte Möglichkeit zur Lösung des Kontrollproblems untersucht Bostrop, ob durch eine hierarchische innere Struktur einer Superintelligenz eine bessere Motivationskontrolle realisierbar wäre. Dabei wird davon ausgegangen, dass eine Superintelligenz aus einzelnen Modulen bestehen könnte, die als selbständige intelligente Akteure handeln könnten. Eine solche Struktur könnte sowohl diktatorisch organisiert sein, indem ein Modul die Rolle eines Diktator übernimmt und die übrigen Module dessen Werte und Willen übernehmen, als auch demokratisch, indem das führende Modul den Durchschnitt aller Einzelwerte der Module repräsentiert. Die Entwicklung der Fähigkeiten könnte dann vom führenden Modul in der Weise gesteuert werden, dass nur die Fähigkeiten einzelner Module soweit entwickelt werden, dass die übrigen Module die Kontrolle darüber behalten können. In einem fortgeschrittenem Stadium müsste sich dann eine abgestufte Struktur entwickeln, bei der die oberen Hierarchiestufen weniger intelligent sind als die unteren, so dass das oberste Modul noch von der menschlichen Intelligenz beherrschbar bleibt. Es bleibt fragwürdig, ob eine derartig umgekehrte Meritokratie stabil bleiben könnte, zumal dabei einige Probleme auftreten und diskutiert werden, die große Ähnlichkeit mit Herrschaftsstrukturen in menschlichen Gesellschaften haben.

Im Ergebnis aller dieser Überlegungen muss offen bleiben, ob es überhaupt möglich ist, eine Kontrolle der Motivationsysteme von Superintelligenzen sicher zu stellen und welche Methoden dabei am besten geeignet wären.

13. Die Auswahl des Wertesystems

Angenommen, das Problem der Wertgebung wäre gelöst. Welche Werte sollten wir dann einer Superintelligenz als Endziel vorgeben oder auch nur nahelegen? Haben wir eine Moraltheorie, von der wir überzeugt sind, dass sie richtig ist und für alle Zukunft gültig bleiben könnte? Es gibt mindestens 3 Moraltheorien, aber keine wird von der Mehrheit der Philosophen für richtig gehalten. Und im Rückblick auf die Menschheitsgeschichte haben sich Moraltheorien grundlegend gewandelt. Es wäre also sehr fahrlässig, einer Superintelligenz eine dieser Theorien vorzugeben. Da eine Superintelligenz schlauer ist als wir, wäre es naheliegend, ihr die Auswahl einer Moraltheorie weitgehend selbst zu überlassen. In Frage käme also eine indirekte Normvorgabe, die der Superintelligenz die Aufgabe stellt, geeignete Handlungsregeln auszuarbeiten, die unseren Vorstellungen entsprechen, und nach ihnen zu handeln.

Eine Möglichkeit wäre, einer Saat-KI das Endziel zu geben, den kohärenten extrapolierten Willen der Menschheit umzusetzen. Das würde einer KI zunächst die Aufgabe stellen, herauszufinden, welche Wünsche bei vielen Menschen in gleicher Weise vorhanden sind und diese zu übernehmen, während differierende Wünsche nicht zu beachten wären. Ferner wäre zu berücksichtigen, wie sich diese Wünsche verändern würden, wenn den Menschen einst die Erkenntnisse zur Verfügung stünden, die eine Superintelligenz gewinnen könnte. Darüber hinaus wäre zu untersuchen, ob es zweckmäßig wäre, die Wünsche aller Menschen in gleicher Weise zu berücksichtigen, oder ob eine unterschiedliche Gewichtung für Kinder ab welchem Alter, für Asoziale, für Menschen mit niedrigem IQ oder für bedeutende Persönlichkeiten, eventuell sogar für bereits verstorbene in Frage käme.

Eine andere mögliche Form der indirekten Normvorgabe wäre es, sich auf die überlegenen Geisteskräfte der KI zu verlassen, um die richtige Moraltheorie zu finden. Dies hätte den Vorteil einer Unabhängigkeit von menschlichen Irrtümern, aber den Nachteil, dass ein Ergebnis herauskommen könnte, das die Menschen nicht haben wollen.Dies würde allerdings voraussetzen, dass es eine objektiv richtige Moraltheorie überhaupt gibt. Andernfalls müsste festgesetzt werden, dass die KI dann doch den kohärenten Extrapolierten Willen der Menschheit umsetzt oder sich selbst abschaltet.

Es wäre auch ein Kompromiss denkbar, der von der Forderung einer objektiven Richtigkeit der Moraltheorie abrückt und lediglich die Prüfung der moralischen Zulässigkeit fordert, bevor der kohärente extrapolierte Wille der Menschheit umzusetzen ist. Auch dies könnte im ungünstigsten Fall aber die Vernichtung der Menschheit zur Folge haben.

Im Ergebnis dieser Betrachtungen sind wir nicht in der Lage, eine eindeutig richtige Entscheidung darüber zu treffen, was wir einer zu entwickelnden Superintelligenz für Endzielvorgaben machen sollten. Dabei bliebe auch diese letzte Entscheidung der Superintelligenz selbst überlassen. Dies zeigt sich deutlich dort, wo einige grundlegende Probleme derzeit noch immer offen sind, die eigentlich vor Beginn der Arbeiten am Projekt einer KI geklärt sein müssten:

14. Das strategische Gesamtbild

Aus den vorstehenden Betrachtungen geht hervor, das die Erforschung einer Intelligenztechnologie ein außerordentlich ambivalentes Problem ist, das nicht nur einen gewaltigen Nutzen haben könnte, sondern auch mit existentiellen Risiken verbunden ist und wohlüberlegt werden sollte. Auch wenn die Erfahrungen aus bisherigen technologischen Entwicklungen zeigen, das alles, was irgend technisch möglich erscheint, unabhängig vom Verhältnis von Nutzen und Schaden stets weitergeführt wurde, scheint es doch dringend geboten zu sein, wenigsten Richtung und Geschwindigkeit solcher Forschungsprogramme politisch zu beeinflussen, besonders dort, wo die Reihenfolge der Problemlösungen dazu beitragen kann, die Risiken der einen Forschung durch die Ergebnisse einer anderen Forschungsrichtung besser beherrschen zu können. Dies betrifft insbesondere die Projekte zur Schaffung einer Superintelligenz, da letztere einerseits schwer durchschaubare Risiken mit sich bringen kann, andererseits aber auch zur Verminderung von Risiken mit natürlichen Ursachen wie auch solchen beitragen kann, die neue Technologien wie die synthetische Biologie, molekulare Nanotechnologie und neuropsychologische Manipulationstechniken potentiell in sich tragen. Auf der einen Seite könnte eine schnellere Entwicklung der Superintelligenz dazu beitragen, die potentiellen Risiken dieser Technologien zu vermindern, auf der anderen Seite aber könnte aber eine langsamere Entwicklung es ermöglichen, das Kontrollproblem rechtzeitig zu lösen und damit die existenziellen Risiken der Superintelligenz selbst zu vermeiden.

Zur Bewertung dieser strategischen Fragen können zudem zwei unterschiedliche Standpunkte zu Grunde gelegt werden. Eine distanzierte objektive Perspektive bewertet evolutionären Fortschritt als solchen, ohne dabei dem heutigen Menschen eine exponierte Rolle zuzuweisen. Alternativ dazu wäre eine engagierte Perspektive verpflichtet, das individuelle und kollektive Interesse des Menschen und seine weitere Entwicklung in den Mittelpunkt zu stellen.

Die Frage, ob es vorteilhaft wäre, die gesamte technologische Entwicklung zu beschleunigen oder nicht, wird vom Charakter der zu betrachtenden Risiken wesentlich bestimmt. Zustandsrisiken sind umso gefährlicher, je länger der betreffende Entwicklungszustand besteht und und sprechen für eine Beschleunigung der Entwicklung. Stufenrisiken aber beschreiben das Risiko beim Übergang von einem Zustand zum anderen und hängen nicht von der Dauer des Übergangs ab. Sie verlangen eine langsame Entwicklung, weil man sich dann besser darauf vorbereiten kann und neue Erkenntnisse gewinnen. Außerdem würde der engagierte Standpunkt eher für eine Verlangsamung sprechen, der distanzierte aber für eine Beschleunigung. Eindeutig ist eine solche Wertung aber nicht. Man kann auch im Interesse der heute lebenden Menschen eine Beschleunigung bevorzugen, denn ein baldiger Übergang zur Superintelligenz würde viele Risiken bereits eingeleiteter Forschungen vermindern und noch den jetzt lebenden Menschen ein besseres, längeres und interessanteres Leben versprechen.

Wenn nur bestimmte Technologien besonders gefördert werden sollen, ist die mögliche Verkopplung mit anderen Technologien zu beachten. Da bei der Gehirnemulation wahrscheinlich das Kontrollproblem leichter zu beherrschen wäre, würde sich anbieten, besonders diese zu fördern. Fortschritte in der Emulationsforschung könnten aber dazu führen, dass eine neuromorphe künstliche Intelligenz eher entsteht als eine Gehirnemulation. Diese aber wäre vermutlich schwerer zu kontrollieren als eine rein künstliche Intelligenz, die sonst entstanden wäre. Selbst wenn dies nicht erfolgen würde, könnte es eher zu einem schwer kontrollierbaren schnellen Übergang von einer Gehirnemulation zu einer stärkeren künstlichen Intelligenz führen, der möglicherweise zur besseren Kontrolle aber möglichst spät erfolgen sollte.

Berücksichtigt man das politische Intrigenspiel, das gewöhnlich einer Entscheidung zur Förderung einer riskanten Technologie vorausgeht, so kann es leicht passieren, dass eine sehr riskante Technologie gerade deshalb gefördert wird, weil sie riskant ist, ihre Gefährlichkeit aber unterschätzt wird.

Fortschritte bei der Hardwareentwicklung würden nicht nur die Rechengeschwindigkeit erhöhen, sondern damit auch die Entwicklung einer Superintelligenz beschleunigen. Der schwerer zu kontrollierende schnelle Übergang zur Superintellgenz würde damit wahrscheinlicher, würde aber voraussichtlich erst in einer Phase erfolgen, in der es bereits einen Hardwareüberschuss gibt und deshalb noch schneller erfolgen. Das existentielle Risiko der Menschheit würde sich damit vermutlich erhöhen, wenn nicht gleichzeitig mit der Förderung der Hardwareentwicklung beschleunigt an der Lösung des Kontrollproblems gearbeitet wird.

Wesentlich für die Beherrschung des Kontrollproblems wäre es aber, wenn rechtzeitig vor dem Übergang zur Superintelligenz die internationale Zusammenarbeit so verbessert werden könnte, dass es nicht zu einem Wettlauf um den strategischen Vorteil der ersten Superintelligenz kommen würde. Ein solcher Wettlauf würde dazu beitragen, die Sicherheitsforschung zu vernachlässigen, um den Wettlauf zu gewinnen. Umgekehrt konnte durch eine Zusammenarbeit die Sicherheitsforschung besonders effektiv gefördert werden. Außerdem würde eine breite Zusammenarbeit auch zu einer breiten Streuung des zu erwartenden gewaltigen Nutzens beitragen den eine Superintelligenz hervorbringen würde. Umgekehrt würde der Wettlauf mehrerer Konkurrenten um die erste Superintelligenz voraussichtlich dazu führen, dass die bereits heute unerträglich großen Unterschiede zwischen armen und reichen Einzelpersonen und Nationen ins Unermessliche steigen. Wenn eine umfassende Zusammenarbeit aller Forschungsprojekte nicht bereits vor dem Übergang zur ersten Superintelligenz zu Stande kommt, ist kaum zu erwarten, dass der Sieger dann danach plötzlich auf den hart erkämpften strategischen Vorteil und den daraus resultieren Nutzen freiwillig verzichtet.

Es wäre sicher nicht einfach sicherzustellen, dass eine internationale Forschungsorganisation tatsächlich im Interesse der gesamten Menschheit arbeitet und dies auch wirksam zu kontrollieren. Je früher aber die bereits auf diesen Gebieten arbeitenden Forschungsprojekte zusammengeführt werden, nämlich solange keiner genau weiß, wer der Sieger sein könnte, um so einfacher wird es sein, eine entsprechende Übereinkunft zu finden.

15. Die heiße Phase

Die in diesem Buch Schritt für Schritt dargestellten Überlegungen, Probleme und Schlussfolgerungen zeigen auf, dass es mit sehr großer Wahrscheinlichkeit in den nächsten Jahrzehnten zu einer Intelligenzexplosion kommen wird, die das Potential besitzt, die gesamte Menschheit zu vernichten. Wir wissen zur Zeit nicht, ob es gelingen wird, diese Explosion in Bahnen zu lenken, die dem Menschen Nutzen bringen, statt ihm zu schaden. In ihren Auswirkungen könnte diese Explosion die Ausmaße einer Atombombenexplosion übertreffen. Wenn es gelänge, diese Explosion in kontrollierte Bahnen zu lenken, könnten viele Ergebnisse gegenwärtiger technologischer Forschungen in sehr viel kürzerer Zeit gewonnen werden, so dass die Frage berechtigt ist, ob es notwendig und sinnvoll ist, alle diese Forschungen jetzt durchzuführen oder nicht lieber einen Teil der Mittel darauf zu konzentrieren, das Kontrollproblem zu lösen.

Es wird deshalb vorgeschlagen, unverzüglich das komplexe Problem der Analyse des Verlaufes einer Intelligenzexplosion und deren Beherrschung interdisziplinär und international in Angriff zu nehmen und die dafür notwendigen Organisationsstrukturen zu schaffen.

Dieser Kommentar kann nicht das Studium des tiefgründigen Buches von Bostrom ersetzen. Er soll nur eine detaillierte Übersicht über die darin aufgeworfenen Probleme geben und Interessierte zum Lesen anregen.

Bertram Köhler

18.8.2015