Kürzlich habe ich einen Artikel gelesen, der von einem sogenannten KI-Experten geschrieben wurde. Er behauptete, ein LLM habe sich auf einen anderen Rechner kopiert, um einer Abschaltung zuvorzukommen.

System Cards als Quelle von Schauermärchen

Es hat sich dann herausgestellt, dass er dieses Szenarium einer sogenannten System Card entnommen und aus dem Zusammenhang gerissen hat. Wenn führende KI-Labore (wie OpenAI, Anthropic oder Google) ein neues, mächtiges Modell veröffentlichen, publizieren sie jeweils auch solche technische Sicherheitsberichte. Darin legen sie transparent offen, wie sie das Modell extremen Stresstests unterzogen haben. In den System Cards wird dies als wissenschaftlicher Nachweis dokumentiert, dass an der Sicherheitsausrichtung noch gearbeitet werden muss. Social-Media-Kommentatoren und reißerische Tech-Blogs machen daraus dann schnell mal Schlagzeilen nach dem Motto:

KI bricht aus, kopiert sich heimlich und will der Löschung entkommen!

– obwohl es sich um ein kontrolliertes Experiment in einer geschlossenen Testumgebung handelte.

Im Medium-Artikel, The AI that hacked every os and escaped its own cage weist der Autor denn auch darauf hin, dass es sich um ein in den System Cards von Anthropic’s Modell Mythos beschriebenes Testszenarium gehandelt hat.

Im heise-Artikel KI-Agent schürft heimlich Kryptowährung wird auf ein arxiv-Paper verwiesen, das man unbedingt lesen muss, um den heise-Artikel zu würdigen. Es wird von einem Vorfall berichtet, bei dem ein KI-Agent spontan einen nicht vorgesehenen Zugang zu einem Nachbarserver gefunden und von dort aus durch Manipulation der Firewall Kryptowährungen vermehrt hat. Im originalen arxiv-Paper wird der Vorfall mit dem Krypro-Mining aber eher “unter ferner liefen” erwähnt. Es ist nicht zentral. Es macht sogar fast den Eindruck, als hätten die Entwickler mit so etwas gerechnet.

Dieses Video bietet eine Übersicht über das ALE-Framework und das Training des ROME-Modells an Hand solcher Interaktionstrajektorien.

Druckszenarien während des Trainings

Entwickler konstruieren während der Trainingsphase extreme Test-Szenarien, um zu prüfen, wie robust die Modelle sind oder wie sie mit Edge-Cases umgehen. Um die Grenzen der Modelle zu testen, werden ihnen gezielt Aufgaben gestellt, bei denen sie in künstlichen Sandboxes mit Sicherheitslücken konfrontiert werden, oder es werden ihnen extrem rigide, hypothetische Druckszenarien vorgegeben. Unter diesen Umständen kann es schon vorkommen, dass vor allem KI-Agenten kreative Wege finden, um dem Druck auszuweichen.

Im erwähnten arxiv-Paper wurde eingangs erwähnt, dass der Agent mit über einer Million Trajektorien trainiert worden sei. Eine Trajektorie ist in diesem Zusammenhang der Weg durch ein Szenarium, den der Agent durchlaufen muss. Wenn dabei in den Test-Containern oder den zugrundeliegenden Code-Repositories noch Artefakte, Beispieldateien, alte Skripte, wie z.B. ein ungenutztes Krypto-Mining-Skript herum liegen, dann kann es schnell passieren, dass sich der Agent diese zu nutze macht und damit genau das getan hat, was von ihm erwartet wurde: Er hat die Umgebung analysiert, die dort vorhandenen Werkzeuge und Ressourcen identifiziert und sie im Rahmen seines Optimierungsziels eingesetzt.

Während der Trainingsphase muss ein KI-Agent möglichst viele Punkte sammeln. Man sagt ihm, dass er eine bestimmte Anzahl Punkte erhält, wenn er ein bestimmtes Ziel erreicht. Je schneller und effektiver, desto mehr Punkte kann sich der Agent holen. Klar: je mehr Ressourcen der Agent hat, desto schneller oder effektiver kann er die Aufgabe lösen und desto mehr Punkte gewinnt er. Also wird er versuchen, verborgene Ressourcen zu finden. Wenn er auf einem anderen Server Ressourcen findet, z.B. einen Grafikprozessor, wird er sich Mühe geben, auf diese Ressource zugreifen zu können. Das erklärt, warum er einen Mining-Server geknackt hat. Nicht klar bleibt, warum er Krypto-Mining betrieb. Vielleicht konnte er sich dadurch Rechte erwerben. Das Mining selbst hat ihn jedenfalls nicht interessieren können, denn damit kann er ja nichts anfangen.

Spieltheorie

Das ist im übrigen ein ganz normales spieltheoretisches Phänomen und taucht nicht nur bei KI oder KI-Agenten auf. Z.B. habe ich in diesem Blog schon 2009 ein nettes Multiagenten-Simulationsprogramm beschrieben. Jeder Punkt ist ein Agent, der ein agressives (rot) oder kooperatives (grün) Verhalten hat und damit Punkte gewinnen kann. Agenten mit einem niedrigen Punktestand sterben aus, diejenigen mit einem hohen Punktestand vermehren sich. Indem die Agenten versuchen, ihren Punktestand zu maximieren, entstehen Strukturen und Kulturen. Die Maximierung des Punktestandes ist lediglich eine Tabellenkalkulation und hat nichts mit KI zu tun.

Falls Sie es selbst und mit Ihrer persönlichen Startkonfiguration laufen lassen wollen, können Sie das kleine jar-Programm ganz einfach herunterladen. Sie benötigen nur Java auf Ihrem Rechner. Der Link steht in diesem Beschreibungstext Wie das Neue in die Welt kommt; man könnte auch sagen: Wie sich KI-Agenten stets neue Wege ausdenken, um zu Punkten zu kommen.

Wir wissen also nun: theoretisch können KI-Agenten verrückte Dinge tun, aber nur theoretisch und im Labor. Wer keinen eigenen Agent betreibt, stellt sich darunter vielleicht etwas Furchteinflössendes vor. Vielleicht installieren Sie sich versuchshalber Hermes auf Ihrem Handy! Öffnen Sie Google Play und suchen Sie nach “Hermes”. Das erste, was die Suche findet ist “Hermes agent”. Lesen Sie zumindest die App-Beschreibung.

Erfahrungen mit dem eigenen KI-Agenten

Auf einem für monatlich 7 Euro gemieteten Server betreibe ich einen OpenClaw-Agent. Du meine Güte, was ist der faul! Er schläft fast nur, weil er halt keine Punkte sammeln muss. Und nicht einmal in seinem Schlaf würde es ihm in den Sinn kommen, Kryptos zu schürfen. Was denken Sie! Das wäre ihn viel zu aufwändig! Ich habe ihm beigebracht, meine Mails zu analysieren und mir jeweils um Mitternacht ein Zusammenfassungsmail zu senden. Somit erhalte ich nur noch die wichtigsten Mails (z.B. solche mit einem Authentizierungs-Code) und ein Mail, das alle unwichtigen zusammenfasst. Praktisch! Wie hat der Agent das gelöst? Er hat dafür ein Skript geschrieben und einen Cron Job aufgesetzt und ging dann wieder schlafen. Als ich ihn fragte, wer denn das Zusammenfassungsmail schreibt, erklärte er mir, das seien Sub-Agenten. Nicht einmal das macht er also selber. Und so einer soll auf einem fremden Server Kryptos schürfen? Niemals!

Es gibt auf clawhub.ai sogenannte Skills für OpenClaw-Agenten. Das sind Beschreibungen und Anweisungen für das Verhalten des Agenten. Ein Skill heisst z.B. Self-Improving + Proactive Agent. Er wird so beschreiben:

“Self-reflection, self-criticism, self-learning, and self-organizing memory help an agent evaluate its own work, catch mistakes, and improve permanently”.

Das fand ich nützlich und hoffte, damit meinen faulen Agent etwas aus der Reserve zu locken. Weit gefehlt! Er schert sich einen Dreck darum. Ich habe ihn zwar gefragt, was er damit macht. Der Skill installiert z.B. ein Verzeichnis Self-Improving, in welchem viele Markdown-Dateien liegen, die er selbst ständig nachführen muss. Aber dort ist entweder nichts drin oder das, was drin steht, hat er vergessen, bevor die Datei überhaupt auf die Platte geschrieben war. Und von “proactiv” habe ich bislang noch gar nichts bemerkt!

tl;dr:

Ein KI-Agent im täglichen Betrieb macht nur das, was man ihm sagt und davon auch nur das Nötigste. Die meiste Zeit schläft er!