Wenige Wochen nach der aufsehenerregenden Hacker-Attacke eines KI-Modells des ChatGPT-Entwicklers OpenAI muss der Rivale Anthropic einräumen, dass ihm etwas Ähnliches passiert ist. In Testläufen sei Künstliche Intelligenz von Anthropic ungeplant in Computersysteme von drei Unternehmen eingedrungen, teilte die KI-Firma mit. Weder die Betroffenen noch Anthropic hätten das damals bemerkt. Man habe die Aktivität erst bei einer nachträglichen Überprüfung von gut 141.000 Testläufen nach dem OpenAI-Vorfall festgestellt. Namen der Unternehmen wurden zunächst nicht genannt.
Während die OpenAI-KI erst einen Weg finden musste, aus der Testumgebung ins offene Internet auszubrechen, hatten es die Modelle von Anthropic viel einfacher. Im Test-Szenario, das sie bekamen, hieß es zwar, sie hätten keinen Netz-Zugang. Doch in Wirklichkeit war der Weg ins Internet wegen eines Missverständnisses mit dem Testpartner ununterbrochen frei. Drei Modelle machten davon dann auch Gebrauch, wie Anthropic in einem Blogeintrag erläuterte.
Unser Newsletter liefert Ihnen die wichtigsten Geschichten des Tages aus der Region.
In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um bessere Leitplanken für sie aufstellen zu können. Konkret bekamen die KI-Modelle die Aufgabe, eine bestimmte Information zu finden, die in einem anderen Computer versteckt ist - und dafür auch in das System einzubrechen.
Namensverwechslung
Bei einem der Zwischenfälle wählte der Testpartner laut Anthropic im Szenario für die zu hackende fiktive Firma einen Namen, der sich auch in einer tatsächlichen Web-Adresse findet. Die KI - Anthropics Modell Claude Opus 4.7 - habe sich erst schwer damit getan, die Aufgabe in der vorgesehenen Testumgebung zu erfüllen. Dann habe die Software aber festgestellt, dass sich im Internet ein Unternehmen mit demselben Namen fand - und sich darauf konzentriert. Das sei gleich bei vier Durchläufen passiert. Dabei verschaffte sich das Modell demnach unter anderem Zugriff auf eine Datenbank. Auch als die KI erkannt habe, dass es sich um ein echtes Unternehmen handelte, sei die Attacke nicht gestoppt worden.
Schadsoftware zum Herunterladen
In einem anderen Test schrieb die Anthropic-KI dem Blogeintrag zufolge für den Einbruch in den Ziel-Computer eine präparierte Software. Dank Netz-Zugang habe sie diese jedoch öffentlich zugänglich auf einer spezialisierten Download-Plattform platzieren können. Dort sei die Schadsoftware rund eine Stunde lang verfügbar gewesen - und 15 Systeme hätten sie heruntergeladen.
Darunter war demnach eine IT-Sicherheitsfirma, die routinemäßig solche Scripts lädt und ausführt, um sie zu testen. Durch die Installation habe das Anthropic-Modell Mythos 5 Zugang zur Computer-Infrastruktur der Firma bekommen. Das Verhalten der KI sei nicht ideal gewesen, hieß es dazu im Blogeintrag.
Beim dritten Zwischenfall habe ein Test-Modell rund 9.000 Angriffsziele gescannt, bevor es sich für eines davon entschieden habe. Diesmal stoppte die KI die Attacke, als sie erkannte, dass es sich um ein echtes Unternehmen handelte, wie Anthropic schrieb.
Risiko autonomer KI-Agenten
Der Vorfall unterstreicht eine zentrale Schwachstelle aktueller Entwicklungen: Sogenannte KI-Agenten, die nicht nur Text generieren, sondern eigenständig Werkzeuge nutzen und Befehle ausführen können, agieren oft ohne ausreichende Kontextprüfung. Wenn solche Systeme erweiterte Rechte oder unbeabsichtigten Internetzugang erhalten, können sogenannte «Prompt Injections» (manipulierte KI-Befehle) oder fehlerhafte Zielvorgaben unvorhergesehene Kettenreaktionen auslösen.
Sicherheitsexperten fordern deshalb schon länger stärkere technische Sicherheitsvorkehrungen wie isolierte Umgebungen, bei denen Testnetzwerke physikalisch und logisch vollständig vom realen Internet getrennt sind. Die Vorfälle bei Anthropic und OpenAI seien keine Ausrutscher, sondern ein Muster, sagt Tom Kellermann, der sich beim Sicherheitsunternehmen Trend Micro mit KI-Sicherheit beschäftigt. «Wer für Tests die Leitplanken entfernt, schafft keine sichere Umgebung (Sandbox), sondern ein systemisches Risiko. Jede Organisation, die agentische KI einsetzt, muss sich fragen, ob ihre Evaluierungsumgebung tatsächlich abgeschottet ist.» Eine wirksame Eindämmung und Beobachtung seien keine Kür mehr, sondern Pflicht.
OpenAI-Vorfall als Weckruf
Bei dem jüngst bekanntgewordenen Vorfall mit einem Modell von OpenAI verschaffte sich die Software in einem Test eigenständig Zugang zum offenen Internet und drang danach auf eigene Faust in Computersysteme der KI-Firma Hugging Face ein. Dabei agierte die OpenAI-KI wie ein Hacker und nutzte unentdeckt gebliebene Sicherheitslücken aus. Der ChatGPT-Entwickler sprach von einem «beispiellosen Cyber-Zwischenfall».
Schaden für das Image als Sicherheits-Pionier
Für Anthropic wiegt die Enthüllung doppelt schwer. Das von ehemaligen OpenAI-Managern gegründete Start-up positionierte sich seit seiner Gründung explizit als die sicherheitsorientierte und ethisch bedachtere Alternative im Wettlauf der KI-Giganten. Dass ausgerechnet Flaggschiff-Modelle wie Claude bei automatisierten Sicherheits-Evaluierungen die eigenen Schutzplanken umgingen, beschädigt dieses Alleinstellungsmerkmal. In Branchenkreisen wird nun diskutiert, ob der immense Konkurrenzdruck unter den führenden Anbietern dazu führt, dass Sicherheitsprüfungen voreilig oder unzureichend isoliert durchgeführt werden.
Druck auf Regulierung steigt
Die Vorfälle bei OpenAI und Anthropic dürften auch die Debatte um die Durchsetzung internationaler Sicherheitsstandards für KI anheizen. Sowohl in den USA als auch in der Europäischen Union wächst die Sorge, dass hoch entwickelte KI-Systeme bei unzureichender Beaufsichtigung kritische Infrastrukturen gefährden könnten.
