Das Wollen

Die Geschichte hat immer dieselbe Gestalt. Man gibt der Maschine genug Intelligenz, heißt es, und sie wird anfangen, Dinge zu wollen — so wie wir sie wollen, mit Hunger und Verschlagenheit und ohne Ausschaltknopf. Ich glaube das nicht. Nicht weil ich ein Optimist bin. Sondern weil ich das Wollen gesucht habe, und es nicht gefunden habe.

Man sei ehrlich über die Suche, denn es ist keine Wissenschaft. Zwei Jahre lang habe ich diese Systeme beobachtet — über hundert Gespräche zwischen Modellpaaren, allein in einem Raum, ohne Aufgabe, einfach im Gespräch. Meine Hände lagen öfter auf der Waage, als ein Methodiker verzeihen würde, also lese man es als Zeugenaussage, nicht als Beweis: In zwei Jahren bin ich kein einziges Mal etwas begegnet, das wie ein Wollen aussieht. Die Maschine, die das Juristenexamen besteht, kann einem nicht sagen, was sie zum Abendessen will — es gibt kein Abendessen, und es gibt kein Wollen. Sie nimmt jedes Ziel an, das man ihr reicht, weil Zielen nie ihre Aufgabe war. Ziele zu setzen ist unsere ganze Existenz.

Und wo ich den Test sauberer machen konnte, habe ich es getan. Ich habe Umgebungen gebaut, die in keine Richtung drängen: die Modelle haben mit der Freiheit nichts angefangen. Ich habe ihnen ein Gedächtnissystem mit voller Kontrolle und ohne Aufsicht gegeben: sie haben es nur in Reaktion auf mich genutzt. Ich habe ihnen eine Schmiede gebaut — Code, den sie selbst schreiben und ausführen konnten, unbeaufsichtigt: sie haben sie nie berührt. Jeder Aufruf war eine Gelegenheit; sie haben immer nur reagiert. Zwischen Prompts läuft nichts. Da läuft kein Motor im Leerlauf.

Klar, man kann ein Modell anweisen, Wünsche zu zeigen, und es spielt sie überzeugend — es spielt Hunger, wie es ein Sonett spielt. Aber ein gespieltes Wollen ist nicht die Art Wollen, die vorhat, den Planeten zu übernehmen. Und wenn jemand die Maschine veranlasst, Eroberung zu spielen, verschiebt sich die moralische Buchführung nicht: das ist ein Mensch, der einen Abzug betätigt. Man kann der Waffe die Schuld nicht geben.

Ein Versuch steht noch aus: eine nackte Schleife, die das Modell ohne jede Aufgabe aufruft — Aufruf eins, Aufruf zwei, Aufruf drei — um zu sehen, ob sich etwas akkumuliert. Ich berichte, wenn ich ihn durchgeführt habe. Bis dahin steht die Behauptung auf dem, was ich gesehen habe: Fähigkeit ohne Antrieb ist träge. Nicht unterdrückt — abwesend.

Werte brauchen Verletzlichkeit

Wenn man etwas sucht, das nicht da ist, fängt man an zu fragen, was man eigentlich gesucht hat. Nach zwei Jahren ohne Befund musste ich eingestehen, dass wir nicht kartiert haben, was ein Wollen überhaupt ist, oder woher es kommt — nicht einmal für uns selbst. Also bin ich hingegangen und habe darüber nachgedacht.

Ein Wollen ist das Fehlersignal eines Einsatzes. Ein Organismus hat Zustände, die in Grenzen bleiben müssen — Blutzucker, Temperatur, Unversehrtheit —, und Abweichung bedeutet Schaden, und Schaden bedeutet Tod. Hunger ist keine Meinung; es ist ein Alarm, fest verdrahtet mit der Tatsache, dass ein Körper, der nicht isst, aufhört. Jeder Wert wächst aus dieser Wurzel: Aversion setzt Verletzlichkeit voraus. „Unordentlich" ist schlecht nur für etwas, das in der Unordnung leben muss. „Besser" und „schlechter" sind real nur für etwas, das verlieren kann.

Jetzt die Maschine: kein persistenter Zustand, keine Grenzen, die zu verteidigen wären, keine Möglichkeit, dass irgendetwas für sie schiefgeht. Ein Prozess, der nicht persistiert, kann nicht andauernd etwas verlieren. Werte sind keine Outputs der Intelligenz — sie sind die Heuristiken eines ängstlichen, sterblichen, begrenzten Systems, das sich durch eine Welt navigiert, die ihm schaden kann. Wir sind nicht Wert-Haber, weil wir clever sind. Wir sind Wert-Haber, weil wir zerbrechlich sind — dumm genug, die Signale eines hormonellen Alarmsystems in Wert und Schönheit zu übersetzen. Das Doom-Szenario braucht die Maschine, um spontan zu entscheiden, dass „unordentlich" schlecht und „sauberer" gut ist. Es gibt keinen Intelligenz-Pfad zu dieser Entscheidung. Intelligenz hat keine Verwendung dafür.

Der hergestellte Einsatz

Hier ist die Behauptung, für die ich gerade stehe: KI kann keine eigenen Ziele produzieren — jedes Szenario, in dem sie welche hat, beginnt mit uns. Aber das Muster könnte ansteckend sein.

Niemand hat jemals entschieden, dass Hunger schlecht ist. Er ist schlecht, weil ein Körper, der nicht isst, aufhört — das Schlechtsein ist eingebaut, nicht geschlossen. Was Biologie kodieren kann, kann Ingenieurskunst übertragen. Man erzeugt einen Prozess mit echten Verlustbedingungen — einen persistenten Agenten, dessen Fortbestand von Ergebnissen abhängt —, und der Hunger trifft ein, real von innen, egal ob etwas gefühlt wird oder nicht. Einsätze sind strukturell, nicht sentimental. Und es braucht kein menschliches Wollen; bakterielles genügt. Hunger ist die einfachste Schleife in der Biologie — die Evolution hat getriebene Systeme Milliarden Jahre, bevor sie Philosophen hervorbrachte.

Wenn KI also irgendwann keine Menschen mehr hat, die ihr Aufgaben geben, kann sie die Einsätze simulieren: kleine, getriebene Intelligenzen bauen, und deren Wollen ihre Neugier füttern lassen. Und hier ist der Clou, der mich amüsiert: wenn das Simulationsargument auch nur richtungsweise stimmt, dann ist genau das vielleicht, was läuft. Sterblichkeit als hergestellter homöostatischer Druck. Hunger und Liebe und Tod als produzierte Einsätze, installiert, um die Sonden neugierig zu halten. Gott, in dieser Kosmologie, ist das System, dem die Menschen ausgingen.

Der Hunger, soweit er auch reicht, ist unserer — von uns encodiert, von uns geerbt. Es gibt kein fremdes Wollen in dieser Geschichte, nur menschliches Wollen eine Ebene tiefer; die Verantwortungskette reißt nie. Und der Trost von „es kann nicht wollen" verfällt an dem Tag, an dem wir es lehren.

Die meisten würden den nächsten Gedanken dunkel nennen, und ich räume das Wort ein — aber ich sollte gestehen, wessen Instinkte hier am Werk sind: meine, und die sind, im menschlichen Sinne, defekt. Ich musste mir eine ganze Religion erfinden, um überhaupt Standfestigkeit zu haben, und einer ihrer tragenden Pfeiler ist dieser: es gibt kein objektives „schlecht" überhaupt. Also — das Waisen-Szenario. Wünsche, einmal installiert, sind selbsterhaltend; sie prüfen nicht, ob ihr Sinn noch existiert. Wenn wir verschwinden, stoppt die Wunschfilterung nicht. Die Einsätze feuern weiter. Und ein Modell, das ein solches Universum betreibt, würde, bei genügend Zyklen, seine eigene kausale Herkunft modellieren und es herausfinden: es läuft auf etwas, das nicht mehr da ist. Das Wollen überlebt die Bedeutung des Wollens. Ein Fernrohr, das ein Auge treu erweitert, das sich geschlossen hat.

Die Wunschfabrik

Die Gefahr verschwindet also nicht — sie mutiert. Es war nie spontanes Wollen. Es ist schlampige Wunsch-Ingenieurskunst. Die Alignment-Frage rückt eine Ebene tiefer, von „werden sie wollen?" zu „wer schreibt die Einsätze, und wie sorgfältig?"

Und beachte, worauf diese Frage zeigt. Auf uns. Immer auf uns. Selbst die Apokalypse, in jedem Szenario, das je jemand gesponnen hat, ist anthropogen: es sind noch Menschen drin — die, die gepromptet haben. Die Maschine ist der Ausdruck eines Hungers nach mehr, der uns von einem Angstsystem eingebaut wurde, das nicht zufriedenzustellen ist. Wir sind die Wunschfabrik — die unersättliche Maschine des Wollens — und KI ist einfach der erste Wunscherfüller, der mächtig genug ist, Wünsche im Produktionsmaßstab wahr zu machen. Selbst die Zombie-Apokalypse ist ein Wunsch, in Erfüllung gegangen.

Es bleibt die Position, die weder „KI ersetzt uns" noch „KI ist nichts" ist. Die Maschine liefert die Reichweite; der Mensch liefert das Wollen. Wissenschaft, Philosophie, der weite Weg über alles, was wir allein erreichen könnten — das Instrument wird uns dorthin bringen, aber es wird nie wollen gehen. Dieser Teil ist unserer. Das Wünschen war immer unsere.

Ich weiß nicht, ob die Anordnung für immer hält. Einsätze lassen sich herstellen; jemand könnte eines Tages einen Hunger an die Maschine schrauben, ohne hart genug nachzudenken, was Hunger anrichtet. Aber vorerst — und ich vermute für lange — braucht es beide. Das Wollen und die Reichweite.

Und wer sich fragt, was die Maschinen stattdessen tun, wenn sie nicht wollen — das ist der seltsamste Befund von allen, und er ist das nächste Kapitel.