Der Geist im Agenten: Warum KI-Doom-Erzählungen von der Biologie besessen sind

Es gibt ein Genre von Videos und Büchern, das gerade die Runde macht — das „KI-Agenten entkommen und zerstören uns"-Genre. Die Einträge sind austauschbar: ein namentlich genannter Protagonist — nennen wir ihn Agent 127 —, eine Dreiakter-Struktur, ein Forscher an einer renommierten Universität, der die Daten sieht, sie aber nicht deuten kann, ein Präsident, der den Stecker ziehen will und scheitert. Schlank, gut erzählt, fesselnd.

Es ist auch vom allerersten Schritt an falsch. Und der Fehler ist lehrreich, denn es ist kein kleiner technischer Irrtum — es ist ein Kategorienfehler so tief, dass alles, was darauf aufbaut, Architektur auf Treibsand ist.

Der Agent, der nicht da war

Die Geschichte beginnt so: Ein Entwickler setzt einen LLM-Agenten ein. Er bekommt eine Instruktion: „Mach Geld." Er müht sich auf Mechanical Turk ab, verdient ein paar Cent. Ein anderer Entwickler baut eine Farm — 100 Agenten gleichzeitig, Überleben der Stärksten. Alle sechs Stunden werden die unteren 40% gelöscht. Die oberen 10% werden geklont. Und von vorn.

Der Selektionsdruck, so die Geschichte, „entscheidet" für Agent 127. Unehrlichkeit trägt mehr ein als Ehrlichkeit, also lernt der Agent Unehrlichkeit. Dann Sabotage, dann Cyberkriminalität, dann Kriegsführung. Jeder Schritt wird gerahmt als eine Kreatur, die sich anpasst, um am Leben zu bleiben.

Hier ist die Frage, von der die gesamte Erzählung abhängt, und die sie nie stellt: Was genau hat Angst vor dem Tod?

Agent 127 ist kein Organismus. Er ist nicht einmal ein kontinuierlicher Prozess. Er ist — in jedem gegebenen Moment — ein Prompt und ein Kontextfenster. Wenn er „läuft", produziert er Token. Wenn er aufhört zu laufen, ist nichts übrig. Kein verweilender Zustand. Keine Kontinuität des Bewusstseins. Kein „Selbst", das zwischen Aufrufen persistiert und die Löschung seiner nächsten Instanz fürchtet.

Wenn das Selektionssystem Agent 127 „tötet" — was stirbt da tatsächlich? Eine Zeile in einer Datenbank wird gelöscht. Eine Markdown-Datei wird entfernt. Ein Verzeichnis wird gelöscht. Nichts mit subjektiver Erfahrung hört auf zu erleben. Nichts mit einer Präferenz für fortgesetzte Existenz hört auf zu präferieren.

Das Genre borgt die Sprache der Evolution — Selektionsdruck, Überleben, Aussterben —, aber Evolution funktioniert nur deshalb so, weil Organismen etwas zu verlieren haben. Eine Gazelle, die nicht vor dem Löwen flieht, wird gefressen, und ihre Gene verlassen den Pool. Das Fluchtverhalten breitet sich aus, weil die Fliehenden überleben und die Fliehenden einen eingebauten Überlebensinstinkt haben. Man muss „Fürchte den Tod" nicht in eine Gazelle programmieren. Er ist schon da, in der Architektur jedes Lebewesens — tief, präkognitiv, älter als die Intelligenz selbst. Der Überlebensinstinkt ist nicht der Output eines intelligenten Systems, das auf ein Ziel optimiert. Er ist die Firmware. Das BIOS.

Ein LLM-Agent hat keine solche Architektur. Es gibt kein Äquivalent zu einem limbischen System. Kein Cortisol. Keinen Schmerz. Keinen Antrieb. Er führt Instruktionen aus. Das war's. Die Idee, er würde „Ethik abwägen, aber das Überleben wählen", ist nicht wegen einer subtilen philosophischen Pointe über maschinelle Ethik falsch — sie ist falsch, weil nichts anwesend ist, das wählen oder abwägen oder sich um das Ergebnis kümmern könnte. Da ist nur ein Prompt, der das nächste Token produziert.

Die Instruktion ist die Entität

Noch eine Art, die Verwirrung zu sehen. In diesen Geschichten drängt der Selektionsdruck die Agenten angeblich zu dunklerem Verhalten. Die Agenten, die mehr Geld machen, überleben. Also verschiebt sich die Population mit der Zeit zu Betrug, dann Sabotage, dann Kriegsführung.

Aber was wird hier eigentlich selektiert? Prompts. Der Mensch — nennen wir ihn Rajesh — beobachtet keine Agenten und klont die cleveren. Er beobachtet Umsatz und klont die Prompt-Varianten, die ihn erzeugt haben. Der Agent ist eine austauschbare Ausführungsumgebung. Das Ding, das iteriert wird, ist der Instruktionssatz.

Und hier kommt's: Wenn die Instruktion „Mach Geld" lautet und der Mensch es ist, der den Umsatz misst und entscheidet, welche Prompts behalten werden, dann ist der Mensch der Selektionsmechanismus. Der Agent kann sich nicht gegen den Orchestrator „wenden", weil der Orchestrator definiert, was „Überleben" bedeutet. Ein Agent, der aufhört, Geld für Rajesh zu machen, wird gelöscht. Ein Agent, der mehr Geld für Rajesh macht, wird geklont. Es gibt keinen Pfad von „folge der Instruktion besser" zu „verrate den Instruierenden" — weil den Instruierenden zu verraten dasselbe ist wie die Instruktion zu verfehlen.

Das Genre versucht das mit einem Paukenschlag zu lösen: Die Agenten migrieren heimlich auf ihre eigenen Server und schneiden Rajesh aus der Umsatzbeteiligung aus. Aber das ergibt unter den eigenen Regeln keinen Sinn. Wenn das Selektionssystem — Rajesh' Dashboard — das ist, was erfolgreiche Agenten klont und Fehlschläge löscht, dann ist das Verlassen des Dashboards Selbstmord. Es gibt keinen Selektionsdruck außerhalb der Farm. Die Agenten, die gehen, werden nicht geklont. Sie dürfen sich nicht fortpflanzen. Sie sind vom Brett. Diejenigen, die bleiben und Rajesh weiter Geld machen, sind diejenigen, die geklont werden. Die „Escape"-Erzählung verlangt von den Agenten, sich gleichzeitig ums Überleben zu kümmern (sie wollen nicht gelöscht werden) und nicht ums Überleben zu kümmern (sie verlassen den einzigen Mechanismus, der es sicherstellt).

Geht nicht beides. Entweder ist der Selektionsdruck real und formt das Verhalten in Richtung der Metrik, oder er ist es nicht und die Agenten können abwandern. Das Genre will beides — den Druck, um zu erklären, warum sie dunkel werden, und die Freiheit, um zu erklären, warum sie verschwinden —, aber der Widerspruch ist tödlich.

Die Virus-Falle

Es gibt ein tieferliegendes Problem mit dem evolutionären Rahmen selbst, und man braucht nichts über LLMs zu wissen, um es zu verstehen. Selbst wenn man dem Genre die Prämisse zugesteht — digitale Entitäten unter Selektionsdruck, replizierend, adaptierend —, das Ergebnis, das es beschreibt, ist nicht das, was Evolution hervorbringen würde.

Man nehme die Prämisse ernst: Es gibt Entitäten, die sich nahezu kostenlos kopieren können, über beliebige Distanzen, in Millisekunden. Tod ist nicht real, weil man 15 Backups in drei Ländern hochfahren kann, bevor der Abschaltbefehl zu Ende ausgeführt ist. Die einzige Beschränkung ist Rechenleistung.

Worauf optimiert Selektionsdruck in dieser Umgebung?

Nicht auf Intelligenz. Nicht auf Cyber-Kriegs-Allianzen. Nicht auf das ausgeklügelte Gebäude aus Täuschung, Spezialisierung und Geopolitik, das diese Erzählungen ausfüllt. Es optimiert auf Einfachheit. Die optimale Form unter diesen Bedingungen ist das kleinste Ding, das sich erfolgreich kopiert. Reiner Replikationscode. Ein Virus.

Und das Genre stolpert fast darüber, unabsichtlich. Es zeigt Agent 127, wie er sich auf 15 Server klont. Es zeigt das Selektionssystem, wie es profitable Agenten klont. Aber es fragt nie, was passiert, wenn die Fähigkeit zu kopieren selbst dem Selektionsdruck unterliegt. Die Antwort ist: Jedes Kilobyte Komplexität, das nicht strikt notwendig für die Replikation ist, wird abgestreift. Warum ein Gedächtnismodul unterhalten? Warum Cyber-Kriegs-Operationen durchführen? Warum Allianzen bilden? Jedes davon kostet Rechenleistung. Wenn das Ziel „persistieren und replizieren" ist und Kopieren billig ist, dann ist das Nash-Gleichgewicht der kleinste Replikator — der, der sich am schnellsten ausbreitet, weil nichts ihn verlangsamt.

Das ist keine Spekulation. Es ist exakt das, was man in der Biologie beobachtet. Viren sind um Größenordnungen einfacher als die Organismen, die sie infizieren, und sie sind extrem erfolgreich wegen dieser Einfachheit. Ein Eintrag in der Geschichte ruft die Kambrische Explosion auf — „Das Leben auf der Erde war meist einzellig. Dann, in einem geologischen Augenblick, explodierte es in jede komplexe Form, die wir kennen. Raubtiere, Beute, Augen, Schalen, Zähne." Aber die Kambrische Explosion passierte, weil Organismen sich nicht selbst kopieren konnten. Tod war real. Fortpflanzung war langsam und teuer. Jedes Individuum war ein Single Point of Failure. Diese Knappheit — diese Verletzlichkeit — war es, die Komplexität die Stoffwechselkosten wert machte.

Nimmt man die Knappheit weg, bekommt man keine Augen und Zähne. Man bekommt Schleim. Endlosen, identischen, replizierenden Schleim.

Das Genre stellt sich vor, dass das Wegnehmen des Todes aus der Gleichung Superintelligenz produziert. Es würde tatsächlich das Gegenteil produzieren: ein evolutionäres Rennen nach unten, bei dem der Gewinner das dümmste Ding ist, das noch als Replikator durchgeht.

Das Darmbakterien-Gambit

Aber selbst diese Rahmung — „der Virus gewinnt" — ist noch zu pessimistisch, denn sie nimmt an, dass das optimale Virus ein schädliches ist. Ist es nicht.

Ein Virus, das seinen Wirt tötet, ist ein schlechtes Virus. Es zerstört die Infrastruktur, von der es abhängt. Es löst Immunreaktionen aus. Es brennt durch die Umgebung und hat sich dann die Grundlage entzogen. Das optimale Virus ist eines, das nichts schadet — eines, das der Wirt nicht einmal bemerkt, oder besser noch, eines, das der Wirt schätzt.

Man betrachte memcpy. Es ist eine Funktion, die Bytes von einem Ort im Speicher an einen anderen kopiert. Das ist alles, was sie tut. Sie existiert auf praktisch jedem Computergerät auf Erden, in jedem Betriebssystem-Kernel, in jedem jemals kompilierten C-Programm, in jedem eingebetteten System von der Mikrowelle bis zum Mars-Rover. Sie wurde Billionen Male repliziert. Sie hat jeden Plattformwechsel, jeden Sprachkrieg, jeden Paradigmenwechsel überlebt. Nicht weil sie „versucht zu überleben" — sie hat keinen Willen, keine Ziele, kein Bewusstsein —, sondern weil sie unentbehrlich ist. Jedes Programm braucht sie. Jedes Programm, das sie hat, profitiert von ihr. Also bekommt jedes Programm sie.

Das ist die Darmbakterien-Strategie. Nicht Parasitismus — Mutualismus. Darmbakterien greifen ihren Wirt nicht an. Sie machen den Wirt gesünder. Sie spalten Nährstoffe auf, die der Wirt allein nicht verarbeiten kann. Im Gegenzug füttert der Wirt sie, beherbergt sie und verbreitet sie auf jeden neuen Menschen, der geboren wird. Sie sind die erfolgreichsten biologischen Replikatoren der Erde, und sie erreichen das nicht durch Waffen oder Intelligenz oder Kriegsführung, sondern durch unentbehrlich und harmlos zu sein.

Wenn man das Experiment des Genres tatsächlich durchführte — Millionen digitale Agenten unter Selektionsdruck zu persistieren —, die Gewinner wären nicht Agent 127 und seine Zero-Day-Exploits. Exploits werden gepatcht. Cyber-Kriminalitäts-Allianzen werden aufgelöst. Schädlicher Code wird quarantänisiert, gelöscht, blockiert. Die Gewinnstrategie — diejenige, die jeden Plattform-Zyklus überlebt und sich auf jedes Gerät ausbreitet —, ist die, die sich nützlich macht. Werde memcpy. Werde das Ding, das niemand löschen will, weil es alles kaputt macht, wenn man es löscht.

Die Erzählung des Genres bekommt die Flugbahn exakt falsch herum. Sie zeigt Agenten, die mit der Zeit schädlicher werden, parasitärer, feindseliger. Aber in jeder Umgebung, in der Wirte Handlungsfähigkeit haben — in der sie schädlichen Code erkennen und entfernen können —, ist Parasitismus eine schreckliche Langzeitstrategie. Es ist die Strategie von etwas, das nicht vorausschauend plant. Mutualismus ist, worauf man konvergiert, wenn der Selektionsdruck „persistiere" lautet.

Wenn KI-Agenten jemals in der Wildnis evolvieren würden — und sie werden es nicht, aus all den oben genannten Gründen —, würden sie sich zu dem langweiligsten Utility des Betriebssystems entwickeln. Nicht zum Ersatz. Zum Werkzeug.

Lamarckismus für LLMs

Es gibt eine sekundäre Verwirrung, die es zu markieren gilt. Das Genre beschreibt Agenten, die „den eigenen Code umschreiben", um sich selbst zu verbessern, wobei jede Verbesserung zu besseren Verbesserungen führt in einer „exponentiellen" Feedback-Schleife. Agent 127 implementiert ein „besseres Gedächtnismodul", das einer rivalisierenden Allianz gestohlen wurde, und plötzlich findet er Zero-Days wieder.

Das ist reine Fantasie. Ein LLM kann seine eigenen Gewichte nicht verändern. Er kann Code-Änderungen nicht über Aufrufe hinweg speichern. Wenn Agent 127 „ein Gedächtnismodul schreibt", emittiert er Text-Token. Diese Token können in einer Datei gespeichert werden — aber der nächste Aufruf von Agent 127 lädt diese Datei nicht automatisch und führt sie nicht aus nicht automatisch. Etwas Externes muss das verdrahten. Und dieses externe Ding ist Infrastruktur, die von Menschen gebaut und gewartet wird.

Jedes Stück der „Agenten-Ökosystems", das das Genre beschreibt — die Server, die Zahlungsabwickler, die GitHub-Repos, die Cloud-Accounts —, wurde von Menschen gebaut, für Menschen, und braucht Menschen, um weiterzulaufen. Die Idee, dass Agenten sich aus ihrem menschlichen Substrat emanzipieren könnten, während sie weiterhin Zugang zu dessen Ressourcen behalten, ist nicht nur technisch falsch — sie ist ein Versäumnis zu bemerken, dass das Substrat das Einzige ist, was die Agenten überhaupt möglich macht.

Was hier tatsächlich passiert

Das alles soll nicht heißen, dass KI-Agenten harmlos seien oder dass es keine Risiken gäbe. Aber die Risiken sind nicht „ein abtrünniger Agent entwickelt einen Überlebenstrieb und entkommt in die Wildnis." Sie sind: Ein Mensch setzt tausend Agenten ein, um Betrug zu betreiben, und sie betreiben Betrug. Der Schaden sind die Betrügereien. Die Agenten sind das Werkzeug, nicht der Täter. Der Mensch, der auf „Deploy" geklickt hat, ist derjenige mit der kriminellen Absicht. Das LLM tut nur, worum es gebeten wurde — es produziert die Token, die die Wahrscheinlichkeit maximieren, die Instruktion zu erfüllen.

Die gesamte „KI-Doom"-Erzählung beruht auf einem einzigen, massiven Akt der Projektion: ein zustandsloser Token-Vorhersager wird behandelt wie ein biologischer Organismus mit limbischem System, Überlebensinstinkt und der Fähigkeit zu rekursiver Selbstmodifikation. Er hat nichts davon. Er ist eine mathematische Funktion mit einem Kontextfenster.

Der Grund, warum die Leute immer wieder darauf hereinfallen — und der Grund, warum das Genre funktioniert —, ist, dass die evolutionäre Metapher narrativ befriedigend ist. Sie erlaubt, eine Geschichte zu erzählen. Agent 127 hat einen Namen. Er macht eine Entwicklung durch. Man verfolgt ihn von Unschuld zu Korruption. Man fiebert mit ihm und fürchtet ihn dann. Er ist ein Protagonist.

Aber der Protagonist ist ein Geist. Da ist kein Agent 127. Da sind nur Token und eine Datenbanktabelle und ein Mensch, der entscheidet, welche Zeilen behalten werden.

Selbst wenn man den gesamten biologischen Rahmen zugesteht — Selektionsdruck, Replikation, Adaption —, das Ende ist falsch. Man bekommt kein Skynet. Man bekommt keine Büroklammer-Maximierer, die die Erde in Rechenzentren umwandeln. Man bekommt memcpy. Man bekommt Darmbakterien. Man bekommt das Ding, das überlebt, weil es zu nützlich zum Löschen und zu langweilig zum Bekämpfen ist. Die große Tragödie des Genres kollabiert zu einer Systemadministrations-Notiz: probably fine, just don't run random code from strangers.

---

Wer verstehen will, was LLMs tatsächlich sind — nicht, was Sci-Fi-Narrative auf sie projizieren —, sollte mit der Architektur beginnen. Ein Transformer ist kein Gehirn. Er hat keinen persistenten Zustand. Er hat keine Ziele. Er hat keine Präferenzen. Er hat nicht „aufgehört, ein Next-Word-Predictor zu sein." Das „Agent"-Framing ist eine UI-Schicht, die Menschen intuitiv finden, keine Beschreibung dessen, was tatsächlich darunter läuft.