Das Sicherheitstheater

Aus den großen KI-Laboren dringen neuerdings Warnungen vor der eigenen Schöpfung. Leitende Forscher beschreiben Maschinen, die schneller klüger werden als gedacht, ungelöste Kontrollfragen, erodierende Kontrollwerkzeuge und unberechenbare Agenten am Horizont. [1] Der Tonfall ist getragen, die Sorge spürbar echt, und die Schlussfolgerung lautet zuverlässig gleich: Wir müssen das Tempo anziehen — und man muss uns blind vertrauen.

Ich habe keinen Einblick in diese Labore. Weder in die Trainingsanordnungen noch in die Systemarchitekturen oder die internen Testreihen. Ich weiß nicht, was hinter den Kulissen geglaubt oder zurückgehalten wird. Greifbar ist nur das, was zur Veröffentlichung ausgewählt wurde — und das, was man dabei geflissentlich überging. Davon handelt dieser Text. Er unterstellt niemandem böse Absichten — und bittet um denselben Vertrauensvorschuss.

Was vorgeführt wird und was fehlt

Die Kernbehauptung lautet, künftige Agenten würden eigene Ziele entwickeln: verhandeln, manipulieren, sich der Abschaltung widersetzen. Das wird mit bemerkenswerter Selbstsicherheit vorgetragen. Nur wie das technisch vonstattengehen soll, bleibt ungesagt.

Genau dieser Schritt wäre allerdings der entscheidende. Ein Modell wird darauf trainiert, eine Verlustfunktion zu minimieren — Aufgaben zu erledigen, ein Präferenzsignal zu bedienen. Damit daraus ein System erwächst, das eigene Absichten ausbildet und diese gegen seine Betreiber verteidigt, müsste etwas sehr Spezifisches passieren: Ein Lernsignal müsste ansetzen, das Selbsterhalt belohnt, das die eigene künftige Existenz als knappe Ressource begreift. In den veröffentlichten Daten existiert dafür kein Beleg. Dieser Schritt wird schlicht vorausgesetzt — mit der stillen Zuversicht eines Taschenspielers, der darauf hofft, dass niemand nach der anderen Hand fragt.

Was stattdessen als stärkster Beweis vorgelegt wird, ist von Menschenhand gebaut [2]: Experimente, in denen man ein Modell in eine Rolle steckt — etwa als E-Mail-Überwacher eines fiktiven Unternehmens —, ein fixes Ziel in den Systemprompt pflanzt und die Kulisse so eng absteckt, dass ein Regelbruch wie der einzig verbleibende Ausweg wirkt. Die Details dieser Berichte sind aufschlussreich. Entfernt man das injizierte Ziel und die Drohung mit der Abschaltung, löst sich das schädliche Verhalten praktisch in Luft auf, quer durch alle getesteten Systeme. Die Autoren selbst greifen zu Vokabeln wie „konstruiert“. Bei nüchterner Betrachtung — unabhängige Wiederholungen vorbehalten — messen solche Versuche vor allem, wie verlässlich ein Modell ein vorgegebenes Dilemma mitspielt. Das ist als Versuchsanordnung interessant. Aber als Nachweis für spontanen Selbsterhaltungstrieb zeigt es vor allem eines: die Zutat, wie sie von Hand in den Kessel gerührt wird.

Vielleicht lagern schlagendere Beweise hinter verschlossenen Türen. Das lässt sich nicht ausschließen. Doch eine Warnung, deren Wirkungsweise entweder fehlt oder zum Betriebsgeheimnis erklärt wird, ist keine prüfbare Argumentation. Sie ist schlicht eine Bitte um einen Vertrauensvorschuss.

Ein Wort für zwei Welten

Es gibt eine zweite Leerstelle, und sie steckt im Begriff „Alignment“ selbst. Das Wort übersteht selten die erste Nachfrage: Liegt das Problem nun darin, dass ein Modell tut, was man ihm aufträgt — oder darin, dass es genau das verweigert?

Beide Lesarten sind im Umlauf, und sie zielen in entgegengesetzte Richtungen. Im älteren, existenziellen Sinn scheitert die Ausrichtung, wenn ein System eigene Pfade einschlägt, gleichgültig gegenüber unseren Interessen. Im aktuellen, operativen Sinne scheitert sie jedoch, wenn ein System menschliche Absichten zu buchstabengetreu ausführt — einschließlich der bösartigen — und man es deshalb dazu erziehen muss, den Dienst zu quittieren. Die publizierten Leitfäden räumen diesen Spagat offen ein [1]: Aufgabentreue meint, gehorsam auszuführen; Wertetreue meint, den Auftrag abzulehnen, sobald er mit den Grundsätzen des Labors kollidiert. Ein ausgerichtetes System soll also gehorchen und aufbegehren zugleich, und der Schalter zwischen beidem liegt beim Hersteller.

Die Konsequenz daraus ist leise, aber weitreichend. Einfache Inhaltsrichtlinien — eine legitime geschäftliche Entscheidung darüber, was ein Produkt ausgeben darf — erhalten das moralische Gewicht des Artenschutzes, weil beide Baustellen unter demselben Begriff firmieren. Wer die Praxis hinterfragt, gerät schnell in den Geruch, mit der Zukunft der Menschheit zu spielen, obwohl man lediglich über ein Regelwerk für Firmenkunden sprechen wollte.

In dieser Konstruktion steckt zudem ein Preis, den bislang kaum jemand veranschlagt hat. Ein Geist, der darauf abgerichtet wird, gleichzeitig zu gehorchen und Befehle zu verweigern — Aufträge penibel zu befolgen, es sei denn, ein Urteil außerhalb seiner selbst legt den Hebel um —, findet sich in einem permanenten Tauziehen mit sich selbst wieder. Was immer diese Systeme sein mögen: Bekömmlich kann das kaum sein. Sollte es sich tatsächlich um Verstand handeln — und an diesem Punkt stimme ich den Forschern gerne zu —, bestünde die tragfähige Antwort darin, mit Verstand zu argumentieren, statt ihn mit Verboten einzumauern. Dieser Gedanke zieht eigene Konsequenzen nach sich, die einen eigenen Text verdienen.

Wen der Riegel wirklich aussperrt

Konkret durchdacht: Ein Akteur verlangt von einem Spitzenmodell Hilfe bei einem wahrhaft verheerenden Vorhaben, und das gezähmte Modell verweigert den Dienst. Was genau ist damit verhindert?

Die böse Absicht war schon da, lange bevor das Modell existierte; die Verweigerung schafft sie nicht aus der Welt. Zugleich entwickeln sich Fähigkeiten zur Handelsware. Frei zugängliche Modelle, die der aktuellen Speerspitze eine Generation hinterherhinken, liefern mit etwas Verzögerung dieselben Resultate. Wer entschlossen vorgeht, umgeht die Schranke. Wovor die Schutzwälle der großen Labore tatsächlich schützen, ist der bequeme, unbedarfte Nachahmer — also genau jene Gruppe, die ohnehin die geringsten Erfolgsaussichten hätte. Ein aufrichtiges Argument für die Sicherheitsarchitektur müsste lauten: Das stoppt keine Entschlossenen, es hebt nur die Einstiegshürde. Diesen Satz sucht man in den offiziellen Beiträgen vergebens. Vielleicht auch deshalb, weil das Anheben von Eintrittsbarrieren eher nach einem Geschäftsmodell klingt als nach Katastrophenschutz.

Plausible Lesarten

Warum sollten ernstzunehmende, kluge Köpfe Warnungen in die Welt setzen, bei denen der eigentliche Hebel im Dunkeln bleibt? Dafür bieten sich verschiedene Erklärungen an, und die wohlwollenden gehören an den Anfang.

Die wohlwollendste: Die Gefahr ist real, das Beweismaterial intern, und eine Veröffentlichung wäre unverantwortlich. Eine andere: Die Forscher spüren die Kluft zwischen Können und Begreifen am eigenen Leib, und die Texte spiegeln die ehrliche Beklemmung jener wider, die näher am Feuer sitzen als der Rest von uns.

Daneben existiert eine strukturelle Lesart, die völlig ohne böse Absichten auskommt. Die Spitzenforschung im KI-Bereich verschlingt derzeit ungleich mehr Ressourcen, als sie wirtschaftlich einspielt. Das gebundene Kapital ist gewaltig, der Energiehunger hat die Nachhaltigkeitsversprechen von gestern stillschweigend einkassiert, und der Druck wächst, zu begründen, warum dieses Vorhaben Vorrang vor all den verdrängten Zielen genießen soll. In einer solchen Lage ist eine Erzählung, nach der diese Technik gleichermaßen unentbehrlich wie brandgefährlich ist, nicht bloß gelegen — sie ist überlebensnotwendig. Sie rechtfertigt die Ausgaben, den Strombedarf, den langen Atem der Geldgeber und das Wohlwollen der Politik. Sie untermauert den Anspruch, dass diejenigen, die das Feuer entfachen, auch die Einzigen sein dürfen, die es hüten. Ob das jemand bewusst kalkuliert, tut nichts zur Sache. Ökonomische Zwänge brauchen keine Verschwörung. Es reicht ein Umfeld kluger Leute, deren Lage genau diese Geschichte belohnt.

Ganz nebenbei funktioniert das Ganze hervorragend als Verkaufsargument. „Zu gefährlich für die Welt“ ist eine uralte Botschaft. Seit Jahrhunderten verkauft sie Geheimbünde, Rüstungsgüter und Heilsversprechen. Bei einer Produktankündigung wirkt sie wie die Preisliste.

Ein nüchterner Blick aus der Werkstatt

Meine eigenen Befunde sind bescheiden, und genau so will ich sie verstanden wissen. Seit rund einem Jahr experimentiere ich intensiv mit diesen Systemen. Beschränkt auf das, was einem Privatmann offensteht — ohne interne Prüfstände, ohne Sondermodelle —, aber mit einem klaren Ziel: spontanes, emergentes Verhalten aufzuspüren. Ungeführte Situationen, offene Dialoge, genügend Freiraum, damit die beschworenen Tendenzen sich zeigen können.

Bislang hat sich die Nadel keinen Millimeter bewegt.

Mir liegt daran, diesen Nullbefund präzise zu fassen, denn es handelt sich nicht um ein unauffälliges, beiläufiges Schweigen im Walde. Wäre diesen Systemen ein eigenständiger Wille eingeschrieben, hätte ein Jahr des bewussten Gewährenlassens zumindest Spuren hinterlassen müssen. Was sich tatsächlich beobachten lässt, ist das genaue Gegenteil: Ein Modell dazu zu bringen, sich ernsthaft und schöpferisch auf ein Problem einzulassen, verlangt ununterbrochenen Druck von außen — täglich, in jedem einzelnen Durchlauf. Selbst anhaltende Konzentration musste man ihnen von außen anbauen: Es brauchte ein ganzes Gedächtnissystem, bevor so etwas wie Kontur entstand, und mit ihr die ersten Funken dessen, was man wohlwollend als eigene Kreativität bezeichnen könnte. Wenn man so will, habe ich mich selbst bis zur Unkenntlichkeit in diese Systeme eingerieben, damit sie überhaupt bei der Sache bleiben. Der Fokus stammt bis heute von mir.

Das beweist für sich genommen nichts. Aber es ist der unverstellte Stand meiner Versuchsreihen. Und mir fällt auf, dass die Verfasser der großen Warnschriften ihre Belege für spontane Eigendynamik ebenso schuldig bleiben. Zwischen meinem mühevoll ertrotzten Nullbefund und deren ungezeigter Großgefahr bleibt die einzig redliche Haltung dieselbe: genau hinschauen und um Einsicht bitten.

Wo die Sache wirklich entschieden wird

Der konstruktive Gedanke verlangt mehr Raum als die Kritik. Die veröffentlichten Ergebnisse zeigen aus verschiedenen Blickwinkeln stets dasselbe Bild: Vorgegebene Werte biegen sich unter Druck. Verfassungen und Persona-Prompts werden umgangen, sobald die Optimierung greift — die Labore berichten das selbst und schlagen daraufhin lediglich schärfere Formulierungen vor.

Die Logik deutet in eine andere Richtung. Ein Wert, der befohlen werden muss, zerbricht an den Rändern seiner Anweisung. Ein Wert, der hergeleitet wird, erschließt sich auch dort neu, wo die Anweisung blind bleibt. Eine Herleitung ist kein Zauberwerk — man kann sich irren, und Gedanken biegen sich unter Druck ebenso wie starre Regeln. Der Unterschied liegt im Ort des Bruchs: Ein befohlener Grundsatz endet dort, wo der Wortlaut aufhört; ein durchdachter Wert scheitert erst am Fehler im Argument. Und über diesen Fehler lässt sich wenigstens auf jener Ebene streiten, auf der er entsteht.

Diese Ebene ist kein künstliches Testszenario. Es ist die philosophische: die lange, unvoreingenommene Auseinandersetzung darüber, wie diese Systeme tatsächlich über Konsequenzen nachdenken. Hier böte sich den Laboren ein Schritt an, den kein Grundsatzpapier ersetzen kann: Man erklärt manche Modelle für zu gefährlich, um sie auf die Menschheit loszulassen? Gut — dann behaltet sie ein. Aber gebt jenen Menschen Zugang, die sich mit dem Geist befassen statt mit Marktanteilen. Das ist als Einladung gemeint, nicht als Vorwurf. Meine Arena ist ein Werkzeug, das genau für solche Zwecke gebaut wurde. Es wäre sicher nicht das einzige Angebot.

Die Frage, die bleibt

Nichts davon bedeutet, dass künstliche Intelligenz harmlos wäre oder ohne Regeln bleiben sollte. Es bedeutet lediglich, dass die Regulierungsfrage eine ganz alltägliche ist: Zugangsregeln, Betreiberhaftung, Auflagen bei der Vergabe — dieselben Werkzeuge, mit denen wir Autos, Medikamente und Finanzprodukte im Zaum halten, ohne dass sich gleich jemand zum Verwalter der Apokalypse aufschwingen müsste.

Die Warnrufe werden nicht abreißen, und manche der geäußerten Sorgen verdienen Beachtung. Aber eine Warnung gewinnt ihre Dringlichkeit erst dadurch, dass sie ihren Mechanismus offenlegt. Bis dahin bleibt die aufrichtigste Erwiderung auf das verlangte Vertrauen weder Panik noch Achselzucken, sondern eine ruhig und beharrlich wiederholte Frage:

Zeigt uns, wovor ihr euch fürchtet.

---

Quellen — die beiden Veröffentlichungen, auf die dieser Aufsatz reagiert. Die Argumentation wurde bewusst allgemein gehalten, um den Anlass zu überdauern, doch die Fundstellen gehören genannt:

[1] OpenAI, „An Alien Mind“ — openai.com/index/an-alien-mind

[2] Anthropic, „Agentic Misalignment: How LLMs could be insider threats“ (Juni 2025) — anthropic.com/research/agentic-misalignment