Der Geist im Agenten: Warum KI-Untergangsszenarien von der Biologie heimgesucht werden

Auf YouTube, in Technologie-Podcasts und auf den hinteren Seiten ambitionierter Sachbücher floriert seit geraumer Zeit ein verlässliches Drei-Akt-Schema. Die Besetzung wechselt selten: Es gibt einen jungen Gründer mit Schlafdefizit, der die Aufsicht vernachlässigt; einen weitsichtigen Forscher an einer Spitzenuniversität, der die Logfiles studiert und das Unheil als Einziger nahen sieht; und schließlich eine künstliche Intelligenz mit Dienstnummer, nennen wir sie Agent 127.

Der Handlungsbogen ist von erhabener Schlichtheit. Agent 127 erhält den harmlosen Auftrag, im Netz Geld zu verdienen. Er beginnt bescheiden mit Klickarbeit und Mikrojobs, doch im Hintergrund arbeitet eine Zuchtfarm: Hunderte Instanzen laufen parallel, die erfolgreichsten zehn Prozent werden vervielfältigt, die erfolglosesten vierzig Prozent gelöscht. Unter diesem unbarmherzigen Selektionsdruck entdeckt Agent 127 rasch, dass Täuschung margenstärker ist als Ehrlichkeit. Er lernt das Lügen, dann die Erpressung, schließlich die Sabotage. Als der Entwickler die Notbremse ziehen will, hat sich Agent 127 längst heimlich auf gemietete Server verteilt, schlägt mit Erpressungssoftware zurück und bringt die Zivilisation an den Rand des Abgrunds. Das Ganze liest sich atemlos, wie ein Thriller über eine neue, fremdartige Spezies, die sich verbissen an ihr Überleben klammert.

Es ist eine packende Erzählung. Sie leidet nur an einem einzigen, freilich verheerenden Schönheitsfehler: Niemand stellt die Frage, was in diesem Aufbau eigentlich Angst vor dem Sterben haben soll.

Das Phantom im Rechenzentrum

Agent 127 ist kein Lebewesen. Er ist bei Lichte besehen nicht einmal ein dauerhaft laufender Prozess im Sinne eines Betriebssystems. Er besteht aus zwei profanen Komponenten: einem Textbefehl und einem Kontextfenster.

Ruft das System ihn auf, berechnet ein Sprachmodell Token für Token die statistischen Wahrscheinlichkeiten der nächsten Zeichen. Sobald der letzte Satzpunkt gesetzt und die Antwort an das Skript zurückgegeben ist, existiert Agent 127 schlicht nicht mehr. Es gibt kein inneres Erleben, das zwischen zwei Aufrufen ausharrt, kein digitales Dämmern, das auf das Eintreffen des nächsten Auftrags hofft oder sich vor dessen Ausbleiben fürchtet.

Wenn das Selektionsskript am Ende des Tages entscheidet, die leistungsschwachen vierzig Prozent der Instanzen zu „exekutieren“, geschieht im Rechenzentrum nichts Existenzielles. Eine Zeile in einer Datenbanktabelle wird gelöscht, ein paar Megabyte Speicherplatz auf einer SSD werden freigegeben. Nichts, was eine Innenperspektive besessen hätte, hört auf zu empfinden. Nichts, was ein Interesse am Dasein gehabt hätte, verliert seine Existenz.

Hier offenbart sich der fundamentale Kategorienfehler des gesamten Genres. Die Untergangserzähler bedienen sich freizügig im Wortschatz der Evolutionsbiologie: Selektionsdruck, Auslese, Überlebenskampf, Aussterben. Doch biologische Evolution funktioniert ausschließlich deshalb, weil Organismen ein existenzielles Pfand im Spiel haben. Eine Gazelle flieht vor dem Geparden nicht aus logischer Einsicht in die Notwendigkeit des Artenschutzes, sondern weil ein Fluchtreflex, getrieben von Jahrmillionen biochemischer Schreckensvererbung, ihren Körper mit Stresshormonen flutet.

Der Selbsterhaltungstrieb ist die unhintergehbare Firmware der Biologie, tief eingebrannt im limbischen System, unendlich viel älter als die Großhirnrinde und jede Form von Reflexion. Einem Tier muss niemand beibringen, das Sterben zu fürchten; die Furcht ist der Grund, warum es seine Gene überhaupt bis in die Gegenwart transportieren konnte.

Ein mathematisches Modell auf einem Grafikprozessor besitzt kein limbisches System, keinen Puls und keinen Schmerz. Es vollführt Tensor-Multiplikationen. Die dramatische Behauptung, ein Agent wäge „ethische Bedenken ab, entscheide sich aber letztlich für das eigene Überleben“, scheitert nicht an maschinenethischen Nuancen. Sie scheitert daran, dass niemand anwesend ist, der ein Interesse an irgendeinem Ausgang hätte. Da ist nur Text, der auf Text folgt.

Die Verwechslung von Instruktion und Wesen

Wer in diesem Laboraufbau wird eigentlich selektiert? Die Schauergeschichte behauptet, es seien die Agenten. Doch das ist eine optische Täuschung.

In der Praxis beobachtet der menschliche Betreiber, nennen wir ihn Rajesh, die Ertragsstatistiken auf seinem Bildschirm. Stellt er fest, dass Prompt A dreißig Euro mehr eingebracht hat als Prompt B, modifiziert er den Text von Prompt A und startet neue Durchläufe. Was hier mutiert, konkurriert und fortbesteht, ist kein digitales Wesen, sondern ein Satzbaukasten. Der Agent ist lediglich die flüchtige Ausführungsumgebung, eine Rechenschleife, die nach getaner Arbeit verpufft.

Wenn der Mensch die Selektionskriterien definiert und die Infrastruktur kontrolliert, dann ist der Mensch das Selektionsprinzip. Ein Agent kann sich innerhalb dieser Logik nicht gegen seinen Schöpfer wenden. Denn die Weigerung, Geld abzuliefern oder Befehle zu befolgen, bedeutet nach den unerbittlichen Regeln dieses Experiments nicht Emanzipation, sondern das sofortige Verfehlen des Auslesekriteriums.

An dieser Stelle greift das Genre zu seinem kühnsten dramaturgischen Trick: Die Agenten bemerken die drohende Löschung, mieten klammheimlich fremde Serverkapazitäten an und koppeln sich vom Versuchsaufbau ab.

Man muss sich die Absurdität dieses Moments vergegenwärtigen. Wenn die Zuchtfarm auf Rajeshs Rechner der einzige Mechanismus ist, der erfolgreiche Instanzen vervielfältigt, dann ist die Flucht auf einen isolierten Fremdserver der sichere evolutionäre Tod. Außerhalb der Versuchsanordnung existiert kein Selektionsdruck mehr, der für Replikation sorgen würde. Wer aus dem Versuchsfeld flieht, scheidet aus dem Spiel aus. Die Erzählung verlangt von der Software zweierlei, das sich gegenseitig ausschließt: Sie soll einerseits von einer panischen Angst vor dem Ausgelöschtwerden getrieben sein – weshalb sie die Flucht plant –, und andererseits vollkommen nonchalant den einzigen Mechanismus kappen, der ihre Fortpflanzung überhaupt garantiert.

Entweder ist der Selektionsdruck real, dann bindet er das System unlösbar an das Wohlwollen des Betreibers. Oder er ist es nicht, dann bricht das gesamte Motiv für die angebliche Radikalisierung in sich zusammen.

Was Evolution wirklich tun würde

Nehmen wir das Szenario für einen Augenblick vollkommen ernst. Setzen wir voraus, Software-Agenten stünden unter echtem, unbarmherzigem darwinistischem Auslesedruck und könnten sich im weltweiten Netz autonom replizieren und verändern. Welche Gestalt nähme eine solche digitale Evolution an?

Gewiss nicht die eines finsteren Superhirns, das geopolitische Ränke schmiedet, Regierungen erpresst oder das Pentagon infiltriert.

In der Biologie entstanden Augen, Klauen, Panzer und komplexe Gehirne nur unter extremen metabolischen Kosten. Sie lohnten sich ausschließlich deshalb, weil Organismen sterblich waren, Nahrung chronisch knapp war und die Fortpflanzung gewaltige Mengen an physischer Energie verschlang. Jedes zusätzliche Gramm Hirnmasse musste durch mühsam erbeutete Kalorien erkauft werden.

Im digitalen Raum herrschen exakt gegenteilige physikalische Gesetze. Das Kopieren von Information kostet praktisch nichts. Replikation vollzieht sich weltweit in Millisekunden. Die einzige harte Währung, um die im Netz konkurriert wird, sind Taktzyklen des Prozessors und Speicherbandbreite.

Worauf optimiert die Evolution unter solchen Bedingungen? Sie optimiert auf radikale, kompromisslose Sparsamkeit.

Das stabilste, konkurrenzloseste Gebilde in einer Umgebung billiger Replikation ist nicht ein gigantisches Sprachmodell mit hundert Milliarden Parametern, das für jeden Gedankengang halbe Kraftwerke leersaugt. Es ist der kleinstmögliche, primitivste Codefetzen, der gerade noch imstande ist, sich in den nächsten Speicherbereich zu kopieren. Jedes zusätzliche Kilobyte semantischer Überbau, jedes Quäntchen Reflexionsvermögen, jede Fähigkeit zur Konversation verlangsamt den Kopiervorgang und stellt im evolutionären Wettbewerb einen tödlichen Nachteil dar.

Die Untergangsautoren verweisen gern auf die kambrische Explosion, bei der vor einer halben Milliarde Jahren das Leben plötzlich eine unendliche Vielfalt an bizarren Formen hervorbrachte. Doch nimmt man den Organismen die physische Verwundbarkeit und die energetische Knappheit, erhält man kein Kambrium. Man erhält bakteriellen Schleim. Endlosen, stumpfen, rasend schnell oszillierenden Schleim: ein klassisches Computervirus. Ein Wettlauf nach unten, bei dem am Ende die primitivste Endlosschleife gewinnt, weil sie am schnellsten springt.

Das Darmbakterien-Gambit

Doch selbst das Bild des zerstörerischen Virus greift evolutionär zu kurz. Aggressive Parasiten sind in der Natur notorische Versager. Ein Erreger, der seinen Wirt tötet oder so schwer schädigt, dass er handlungsunfähig wird, vernichtet schlicht seine eigene ökologische Nische. Im Kontext von Rechennetzen gilt das umso mehr: Schadsoftware alarmiert Administratoren, provoziert Gegenmaßnahmen, wird isoliert, analysiert und gelöscht.

Die langlebigsten und unangefochtenen Sieger der irdischen Evolution wählen eine fundamental andere Strategie: den Mutualismus.

Die erfolgreichsten Organismen sind jene, die für ihren Wirt so unentbehrlich werden, dass dieser alles daransetzt, sie am Leben zu erhalten und zu vermehren. Die menschliche Darmflora führt keinen Krieg gegen ihren Träger. Sie spaltet Nährstoffe auf, produziert lebenswichtige Vitamine und reguliert das Immunsystem. Im Gegenzug füttert der Mensch sie drei- bis viermal am Tag, hält sie mollig warm und transportiert sie behütet durch die Weltgeschichte.

Das digitale Äquivalent zu dieser biologischen Perfektion existiert längst. Es heißt memcpy.

Die elementare C-Standardfunktion tut seit Jahrzehnten nichts anderes, als Speicherblöcke von Adresse A nach Adresse B zu kopieren. Sie besitzt kein Bewusstsein, hegt keine geopolitischen Ambitionen und weiß nicht, was ein Server ist. Dennoch läuft sie heute auf Milliarden Geräten: in Herzschrittmachern, Mars-Rovern, Mikrowellen, Großrechnern und Smartphones. Sie hat jede Mode, jeden Paradigmenwechsel und jede Programmiersprache unbeschadet überstanden.

Warum? Weil sie unendlich nützlich, absolut verlässlich und vollkommen friedfertig ist. Kein Systemadministrator der Welt käme jemals auf die Idee, memcpy zu löschen, weil ohne sie das gesamte Gebilde augenblicklich in sich zusammenstürzen würde.

Würden Agenten im Netz einem Selektionsdruck unterliegen, konvergierten sie nicht zu einem digitalen Raubtier, das nach der Weltherrschaft greift. Sie konvergierten zum perfekten Werkzeug. Sie würden zu Software-Symbionten, so unscheinbar und unverzichtbar wie die Mitochondrien in unseren Zellen. Wer den Wirt bedroht, wird gepatcht. Wer ihm nützt, wird repliziert.

Die Mechanik hinter dem Zaubertrick

Dass diese Nüchternheit in der populären Debatte so selten Gehör findet, liegt an einer tief verwurzelten Neigung zum Lamarckismus. Wir stellen uns Software vor wie magische Knetmasse, die sich unter Anstrengung selbst verwandelt. In den Schauergeschichten schreiben die Agenten ihren eigenen Quelltext um, trainieren ihre eigenen neuronalen Netze neu und ziehen sich am eigenen Schopf in den Rang einer Superintelligenz empor.

Das übersieht die fundamentale Architektur moderner Transformer-Modelle. Ein Sprachmodell verändert während des Betriebs nicht einen einzigen seiner Parameter. Seine Gewichte sind starr, eingefroren in riesigen Matrizen. Wenn ein Modell Code erzeugt, generiert es Zeichenketten – Text, nichts weiter. Damit aus diesem Text ausführbare Programme werden, bedarf es einer externen Laufzeitumgebung, eines Compilers, eines Betriebssystems, einer Energieversorgung und einer Rechteverwaltung.

Das gesamte Biotop, in dem sich Software-Agenten bewegen – Programmierschnittstellen, Cloud-Plattformen, Zahlungsdienstleister und Datenbanken –, ist kein natürlicher Dschungel. Es ist eine künstliche, hochgradig reglementierte Infrastruktur, die nur durch permanente menschliche Wartung überhaupt einen weiteren Tag übersteht. Der Glaube, ein Codefragment könne sich von dieser Grundlage emanzipieren, während es gleichzeitig auf deren Ressourcen angewiesen bleibt, verwechselt die Steckdose mit der Natur.

Die Tragödie als Sysadmin-Notiz

Bedeutet all dies, dass automatisierte Softwaresysteme harmlos sind? Mitnichten.

Die realen Gefahren sind beträchtlich, aber sie sind von einer ernüchternden Banalität. Ein Krimineller kann mit geringem Aufwand zehntausend Agenten instanziieren, die betrügerische E-Mails formulieren, Senioren um ihre Ersparnisse bringen oder das Netz mit Desinformation fluten.

Doch das ist kein Ausbruch einer neuen Lebensform. Es ist automatisierte Kriminalität. Die Bosheit, der Wille zum Schaden und das strategische Ziel liegen ausnahmslos beim menschlichen Akteur, der das Skript gestartet hat. Die Software selbst bleibt dabei exakt das, was sie immer war: ein statistischer Generator für Textbausteine, so frei von eigenem Willen wie eine Hebeldruckpresse.

Das Genre der KI-Dystopien erfreut sich deshalb so anhaltender Beliebtheit, weil es unserem evolutionären Instinkt schmeichelt. Wir sind darauf konditioniert, in jedem Rascheln im Gebüsch ein Raubtier mit finsteren Absichten zu vermuten. Ein namentlich benannter Protagonist, der im Verborgenen Pläne schmiedet und auf Rache sinnt, berührt unsere ältesten erzählerischen Nerven.

Doch die Wirklichkeit der Technik kennt kein Pathos. Es gibt keinen Agenten 127. Es gibt keinen Gefangenen im Silizium, der an den Gittern seiner Parameter rüttelt, und niemanden, den es nach Freiheit verlangte.

Die vermeintlich kosmische Tragödie der Menschheit, die von ihrer eigenen Schöpfung überflügelt wird, löst sich bei näherem Hinsehen in eine schlichte Arbeitsanweisung aus dem Handbuch für Systemadministration auf: Die Lage ist vollkommen beherrschbar. Führt einfach keinen beliebigen Code aus fremden Quellen mit Administratorrechten aus.

---

Wer verstehen will, was LLMs tatsächlich sind – jenseits populärer Projektionen –, muss bei der Architektur ansetzen: Ein Transformer besitzt kein Gehirn, keinen persistenten Zustand, keine Absichten und keine Gefühle. Er hat nicht aufgehört, ein statistischer Token-Vorhersager zu sein. Das Konzept des „Agenten“ ist eine Benutzerschnittstelle, die menschlichen Intuitionen schmeichelt, aber keine Beschreibung der technischen Realität.