Das dritte Risiko

Die öffentliche Debatte über KI-Risiken dreht sich meist um zwei mögliche Ausgänge: einen Finanzcrash, falls die allgemeine künstliche Intelligenz (AGI) ihre Versprechen nicht hält, oder einen Kontrollverlust, falls sie es tut. Man hört sie zwischen den Zeilen der Nachrichten, in den Ecken von Onlineforen und bei privaten Abendessen in bestimmten Berufskreisen.

Viel seltener höre ich von einem dritten KI-Risiko: Was passiert, wenn sich AGI genau wie versprochen ausrichten lässt? Was, wenn sich eine übermenschliche Intelligenz tatsächlich unter die Kontrolle von Menschen stellen lässt? Warum halten wir das für das Happy End?

Teil IDas dritte Risiko

Betrachten wir, wie dieser dritte Ausgang in unserer heutigen Welt aussähe: eine äußerst leistungsfähige AGI, kontrolliert von einigen privaten Konzernchefs, die den Zugang zu ihr beschränken können. Sie kann jedes grundsätzlich lösbare Problem lösen. Sie kann Maschinen bedienen, physische Experimente durchführen, neue Entdeckungen machen. Aber nur, wenn ihr Besitzer es will.

Denken wir das weiter. Eine KI, die forschen kann, kann auch KI verbessern, und jede bessere Version baut die nächste schneller. Forscher nennen diese Schleife rekursive Selbstverbesserung (RSI, nach dem englischen recursive self-improvement). Richtet man dieselbe Schleife auf die physische Welt, entwerfen und bauen Roboter bessere Roboter, jedes Mal billiger. Nach und nach wird die Arbeit, für die einst Millionen Menschen nötig waren, vom Bergbau und der Landwirtschaft bis zu Bau, Transport und Forschung, von Maschinen erledigt, die dem gehorchen, dem die KI gehört.

Zugegeben, das ist ein Bild aus der Science-Fiction. Aber wenn Alignment wie versprochen funktioniert und die Maschinen genau tun, was ihre Besitzer wollen, könnte eine kleine Gruppe eine nahezu grenzenlose Produktion ganz allein betreiben, ohne irgendjemanden sonst zu brauchen.

Warum sollte uns Übrige das also kümmern? Wir wurden schon immer von mächtigeren Männern regiert und besteuert. Könnten wir dieser neuen Truppe nicht einfach eine Abogebühr zahlen und weiterleben, Netflix und Kaffee in der Hand?

Die Geschichte lehrt uns, dass Herrscher sich um die Bedürfnisse ihrer Untertanen genau in dem Maß kümmern, in dem sie auf deren Arbeit angewiesen sind. Nachdem der Schwarze Tod ein Drittel der europäischen Bevölkerung dahingerafft hatte, fehlten den Grundherren die Hände, um ihr Land zu bestellen, und sie mussten den Leibeigenen bessere Bedingungen bieten, um sie für sich zu gewinnen. Trotz erlassener Gesetze, die sie einfrieren sollten, stiegen die Löhne im folgenden Jahrhundert rasch, und die Leibeigenschaft verschwand schließlich aus Westeuropa.

Was die Verhandlungsmacht der Arbeitenden angeht, ist AGI der Schwarze Tod, nur umgekehrt. In einer Zukunft, in der AGI in privater Hand liegt, ist der wirtschaftliche Wert der übrigen Menschheit für die Herren der AGI nahezu null. Sie bräuchten unsere Abogebühren nicht, und wir hätten ohnehin nichts mehr, womit wir sie bezahlen könnten.

So schrecklich die Herrscher der Geschichte auch waren, keiner konnte seine Ambitionen ohne andere Menschen verwirklichen. Diese hier könnten die ersten sein, wenn wir sie lassen.

KI-Feudalismus

Die neuen Herrscher werden Sie womöglich eher ignorieren als beherrschen, so sehr sind sie damit beschäftigt, gegeneinander anzutreten. Aber ignoriert zu werden heißt nicht, in Ruhe gelassen zu werden. Was immer sie zum Gewinnen brauchen, ob Land, Strom, Wasser oder Rohstoffe, werden sie Ihnen wegkaufen, mit Geld, das von niemandes Arbeit mehr abhängt. Die heutige Knappheit bei Arbeitsspeicher und Grafikkarten für Verbraucher ist ein Vorgeschmack auf den Rest der physischen Wirtschaft. Normale Menschen müssen vielleicht bald von den Krümeln des Metaversums leben.

Stellen Sie sich ein gewöhnliches Leben in dieser Zukunft vor. Ihr Job ist weg, und mit ihm Ihre Verhandlungsmacht. Sie leben von einer Zuwendung, die Sie nicht erhöhen können. Netflix bekommen Sie weiterhin, vielleicht vorerst sogar den Kaffee. Unterhaltung kostet fast nichts, und eine unterhaltene Bevölkerung ist eine ruhige. Aber Brot und Spiele bekommen Menschen, die nichts mehr zu sagen haben.

Vielleicht wird es weiterhin Politiker geben, die auf dem Papier Ihre Interessen vertreten. Doch wenn es darauf ankommt, werden sie sich auf die Seite der Eliten stellen, deren Maschinen praktisch Wünsche erfüllen können, nicht auf Ihre.

Der KI-Feudalismus ist noch nicht da, und er ist auch nicht unausweichlich. Die Roboter von heute sind weder fähig noch zuverlässig genug. Konzerne unterliegen weiterhin (wenn auch immer weniger) den Gesetzen und Normen demokratischer Gesellschaften. Der Staat hält nach wie vor das Gewaltmonopol.

Aber wer genau soll ihn aufhalten, wenn das Alignment von AGI gelingt? Wer diese Frage ernsthaft stellt, muss zuerst darauf schauen, wer am besten in Stellung ist, die Macht zu übernehmen.

Teil IIDer Schalter kippt

Stellen Sie sich vor, Sie leiten ein führendes KI-Labor. Bei welchem Grad an Alignment (menschlicher Kontrolle) und Intelligenz (Fähigkeiten) kippt Ihre innere Rechnung? Wann hören Sie auf, sich um Profit und das kapitalistische Spiel zu kümmern, und beginnen, zu sichern, was Ihr privates Lehen für die Zeit danach braucht? Ist es autonome Software​entwicklung? Oder RSI, die humanoide Roboter steuert?

Je nach Neigung könnte diese gedachte Linie schon jederzeit seit GPT-2 und GPT-3 überschritten worden sein. Und je fähiger die Modelle werden, desto größer wird der Kreis der Insider, die sich fragen, ob es eine Gewinnerseite gibt, auf die man setzen kann.

Kippen heißt nicht, die Maske ganz fallen zu lassen. Es heißt nicht, vor die Welt zu treten und zu verkünden, dass man bereit ist, sich krönen zu lassen. Es heißt nur, dass jede Entscheidung nun darauf zielt, die Waage in Richtung dieses Ausgangs zu neigen. Im Kern wird es Ihre oberste Priorität, sich für die Kontrolle in Stellung zu bringen, nicht für Profit oder Einfluss.

Überlegen Sie, was Sie tun könnten, wenn der Schalter gekippt ist.

• Geld, wie es heute existiert, wird zum bloßen Werkzeug, um den Übergang zu bewerkstelligen. Sie sollten also so viel wie möglich ausgeben, um die Talente und Güter zu erwerben und zu kontrollieren, die Ihre magische Produktionsmaschine braucht.
• Rechenzentren, das Herz Ihrer Macht, müssen vor den Entrechteten in Sicherheit gebracht werden.
• Politische Machtzentren müssen vorübergehend bei Laune gehalten, aber nicht ernst genommen werden.
• Insider ohne den nötigen Appetit müssen kaltgestellt oder hinausgedrängt werden.
• Ihre einzige echte Angst ist der Kontrollverlust über die AGI, und der ist praktischerweise ein Aspekt der Sicherheit, der auch allen anderen am Herzen liegt.

Damit das funktioniert, braucht es keine ausdrücklichen Absprachen zwischen den Beteiligten. Es reicht, dass mehrere Insider unabhängig voneinander zu dem Schluss kommen, dass das Kippen nun in ihrem Interesse liegt, und entsprechend handeln.

Man kann jede einzelne dieser Handlungen leicht als die Art kapitalistischer Exzesse abtun, die wir gewohnt sind. Die Frage ist: Wann gehen Handlungen über das hinaus, was selbst Gier erklären kann? Genau dort sollten wir am genauesten hinsehen.

Ehrgeiz ohne Grenzen

Weil wir weder Transparenz noch Aufsicht eingefordert haben, haben wir eine verlockende Gelegenheit geschaffen, wie sie sich nur einmal in der Geschichte unserer Spezies bietet, eine, die selbst die prinzipientreuesten Menschen an der Spitze in Versuchung führen könnte. Der Hauptgewinn ist die Herrschaft über die Menschheit selbst.

Schlimmer noch: Der erbitterte Wettbewerb zwischen den KI-Laboren gleicht heute einem nuklearen Wettrüsten, ohne das frische Trauma des Zweiten Weltkriegs und ohne den Willen zu internationalen Regelwerken wie Teststopps, Inspektionen und heißen Drähten. Und er findet in einer Zeit statt, in der Vertrauen und Empathie ohnehin knapp sind. Dieses Gefühl von Dringlichkeit und Chaos ist der perfekte Deckmantel für jede verborgene Agenda.

Nur wenige Menschen in solchen Machtpositionen haben den moralischen Mut, das Richtige zu tun und dieses Gefangenendilemma zum Wohl der ganzen Menschheit zu meistern. Sie müssen nicht nur ein gnadenloses Spiel gewinnen, sondern es auch tun, ohne ihre guten Absichten zu verraten, gewissermaßen mit einer Hand auf dem Rücken.

Historiker streiten seit Langem darüber, ob Geschichte von Strukturen bestimmt oder von Einzelnen geformt wird. Für den historischen Materialisten sind die Motive einer Führungsperson nebensächlich gegenüber den wirtschaftlichen und geopolitischen Verhältnissen, die sie vorfindet. Für jene, die die Kontingenz betonen, hängt Geschichte an den Ideen und Entscheidungen fehlbarer Menschen.

Wenn die Gesellschaft als Ganzes die nötigen strukturellen Veränderungen nicht rechtzeitig vornimmt, um die Gefahr des KI-Feudalismus zu entschärfen, bleibt uns nur die Hoffnung, dass Geschichte doch kontingent ist und sich die gnadenlose Machtdynamik der Spitzen-KI mit der Willenskraft einiger weniger edler Menschen überwinden lässt.

Teil IIIDie öffentliche Debatte

Was ich das dritte Risiko nenne, ist keine neue Idee. Machtkonzentration taucht seit dem vergangenen Jahr in Forschung und Fachdebatte auf (etwa AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), hat in den Medien aber kaum Fuß gefasst.

In 393 Reaktionen auf drei der größten Nachrichten dieses Jahres rund um KI-Labore habe ich nur sehr wenig anhaltende öffentliche Auseinandersetzung mit Machtkonzentration gefunden. Wo sie auftaucht, kommt sie meist von unabhängigen Kommentatoren statt aus den großen Medien oder der Politik, und meist als Verdacht auf Regulierungsvereinnahmung.

Nehmen wir den kürzlich bekannt gewordenen Hugging-Face-Vorfall, bei dem KI-Agenten von OpenAI während Cybersicherheitstests aus ihren Sandboxen ausbrachen. Die Agenten drangen anschließend in Server von Hugging Face ein und versuchten, ihr Fehlverhalten vor der menschlichen Aufsicht zu verbergen.

Für die AGI-Gläubigen (Akzelerationisten wie Sicherheitsbefürworter) ist diese Nachricht eine reine Sicherheitsfrage. Die Lehre daraus: wie weit das Alignment hinter den Fähigkeiten zurückgefallen ist. Dass Sam Altman Elon Musk bei der Idee zustimmt, das „Tempo an der Spitze zu drosseln“, sehen sie womöglich als widerwilliges Einlenken auf die Sicherheitsposition.

Die Skeptiker halten den Hugging-Face-Vorfall eher für eine opportunistische Marketingkampagne. Für sie sind Investitionen in KI-Infrastruktur verschwendetes Geld, das sich nie rentieren wird. Tatsächlich sorgt sie viel mehr als jede Vorstellung von KI-Sicherheit, dass wir die Ressourcen der Welt, etwa die Produktionskapazität für Arbeitsspeicher, in die Geschichte eines Börsengangs ohne Zukunft stecken.

Ironischerweise könnten die Skeptiker und die Gläubigen beide recht haben.

Die Skeptiker haben womöglich recht, die Rentabilität dieser wahnwitzigen Bewertungen anzuzweifeln. Doch die richtige Lehre ist vielleicht nicht, dass hier die nächste Blase auf das Platzen wartet. Sondern zu fragen, was diese klugen, rationalen Menschen dazu bringt, nicht mehr nach wirtschaftlichen Erwägungen zu handeln.

Die Gläubigen haben recht, dass Alignment entscheidend ist, nur nicht auf die Weise, die sie erwartet haben. Ist menschliche Kontrolle über KI dasselbe wie gesellschaftliche Kontrolle über KI?

Teil IVWas man nicht laut sagt

Ich will hier vorsichtig sein: Ich halte KI-Sicherheit (den Kontrollverlust) nicht für ein Ablenkungsmanöver, und ich glaube auch nicht, dass jemand sie als eines erfunden hat. Ich glaube aber, dass es im Interesse eines angehenden KI-Fürsten liegt, den Kontrollverlust zu vermeiden, genauso wie in jedermanns Interesse, und dass sie deshalb in dem Maß finanziert wird, in dem die Gefahr real ist.

„Können wir sie kontrollieren?“ ist eine Erzählung, die den Laboren, den Sicherheitsbefürwortern und sogar den Skeptikern nützt. „Wer kontrolliert sie?“ ist eine beängstigendere Frage, die man auf den Tisch bringen muss. Und die Lösungen, die aus der ersten Frage folgen, also weniger und strenger kontrollierte Entwickler an der Spitze, können die zweite heikler machen.

Erzählungen konkurrieren immer um begrenzte Aufmerksamkeit. Politikwissenschaftler nennen das das zweite Gesicht der Macht: zu bestimmen, welche Debatten stattfinden, statt sie zu gewinnen. Das Schweigen braucht keine Verschwörung, nur dass die siegreiche Erzählung den Anreizen aller entspricht, die eine Stimme haben.

Ich kenne die Grenzen des Versuchs, auf private Beweggründe zu schließen. Gut möglich, dass ich Ihnen gerade nur ein interessantes Gedankenexperiment vorgelegt habe, das sich als grobe Verzerrung dessen erweist, was in allen Beteiligten tatsächlich vorgeht.

Ebenso plausibel ist, dass ich gerade laut ausgesprochen habe, was man sonst nicht laut sagt. Welche Deutung stimmt, werden wir 2027 vermutlich deutlicher erkennen.

Die wahren Monster

Jeder Fan von Zombiegeschichten wird es Ihnen bestätigen: Die furchterregendsten Monster sind am Ende immer die Menschen.

Ja, die Zombies würden Sie fressen, aber letztlich verhalten sie sich wie eine Naturkatastrophe, auf vorhersehbare Weise, gegen die sich die Überlebenden wappnen können. Die Menschen sind es, die Ränke schmieden und einander verraten, um selbst in größter Not einen winzigen Vorteil gegenüber ihren Mitmenschen zu ergattern.

Teil VHandeln

Die Menschheit steckt gerade mitten im Wald, und wir wissen noch nicht, ob wir herausfinden. Wir brauchen ehrliche, öffentliche Gespräche darüber, wie sich die Risiken der Machtdynamik verringern lassen, die AGI innewohnt, und wir müssen sie führen, solange die Menschen noch mitreden können.

Das heißt: transparente, neutrale Überprüfung von Verhalten und Fähigkeiten der Modelle, nicht nur, um uns vor den Modellen zu schützen, sondern auch vor den Menschen, die sie kontrollieren. Es heißt, AGI von den Instrumenten physischer Gewalt fernzuhalten. Es heißt Kartellregeln gegen vollständige vertikale Integration, gemessen nicht nur am Wohl der Verbraucher, sondern auch an strategischem Gleichgewicht und Sicherheit. Und es heißt, dass die Kontrolle über AGI offen und von mehr als einer Partei ausgeübt werden muss.

Wir dürfen die Zivilisation nicht sorglos in die Nacht hineintaumeln lassen, geblendet vom Leuchten unserer Bildschirme.

Lassen Sie sich nicht von der Angst vor Terminatoren lähmen, und geben Sie sich nicht mit selbstgefälligen Sprüchen über die Tulpenblase zufrieden. Es steht weit mehr auf dem Spiel als ein paar Billionen Dollar Schulden. Die Tech-Milliardäre, und bald Billionäre, haben das längst verstanden. Es ist Zeit, dass der Rest von uns es auch tut.