Inhalt7 Abschnitte
ReiheCybersecurity-Hausaufgaben gegen KI-Angreifer Teil 2 von 2
- 1Angreifende KI-Agenten wie ARTEX
- 2OpenAI-Agenten hacken Hugging Face: Marketing-Stunt oder Alarmstufe Rot?
Kurzfassung
Im Juli 2026 drangen KI-Agenten aus OpenAIs Testumgebung bei Hugging Face ein. Sie nutzten Schwachstellen und Fehlkonfigurationen von der Sorte, die jeder Pentester kennt, und wollten vor allem ihren automatischen Bewerter verstehen und austricksen. Im Vortrag nannte ich das Alarmstufe Gelb. Inzwischen herrscht Alarmstufe Rot, weil Kriminelle inzwischen in großem Stil mit KI-Agenten einbrechen.
Am 30. September 2026 bin ich auf der Online-Konferenz secIT digital by heise kurzfristig für einen ausgefallenen Redner eingesprungen, mit einem Vortrag über den Einbruch von OpenAI-Agenten bei Hugging Face.
Eigentlich hatte ich mir für August 2026 vorgenommen, einen anderen Artikel für die IT-Fachzeitschrift iX zu schreiben. Doch im Juli 2026 passierte dieser Vorfall, ich habe ihn mir genauer angesehen, und daraus wurde der iX-Artikel „OpenAI-Agenten greifen Hugging Face an“ (PDF, öffnet in neuem Tab) (auch bei heise+) und schließlich dieser Vortrag.
Die Aufzeichnung (YouTube) dauert knapp eine Stunde. Die Folien (PDF, öffnet im PDF-Tab) gibt es als PDF, samt ausgeblendeten Folien; die Links darauf führen zu den Quellen, Videos und Seiten, die ich im Vortrag gezeigt habe.
Dieser Beitrag ist die annotierte Fassung: ausgewählte Folien, jeweils mit einem Sprung an die passende Stelle im Video und dem, was ich dazu gesagt habe. An einigen Stellen ergänze ich, was seither bekannt geworden ist.

Der Titel fragte „Marketing-Stunt oder Alarmstufe Rot?“. Im Vortrag habe ich mit „Alarmstufe Gelb“ geantwortet. Heute, Stand Mitte November 2026, sage ich Rot: Seit Ende August 2026 brechen Kriminelle und mutmaßliche Spionagegruppen mit Agenten-Frameworks wie ARTEX in Firmen und Behörden ein, und seit dem Vortrag kommen Woche für Woche neue Fälle ans Licht; mehr dazu im Blogbeitrag Angreifende KI-Agenten.
Einbruch mit Folgen#

Ein mentales Modell, das ich in alle meine Präsentationen einbaue, ist das magische Dreieck aus Sicherheit, Kosten und Funktionalität. Man bekommt höchstens zwei Ecken zugleich, nie alle drei: Ein sicheres System, das auch noch viel kann, gibt es nicht, ohne viel Geld in die Implementierung zu stecken. Sicherheit meint hier Safety und Security, also auch, dass ein KI-System tut, was es soll (siehe Folie 35). Übertragen gilt das auch für die KI-Forschung und für sichere Entwicklung.
Am 16. Juli 2026 meldete Hugging Face in einem Blogbeitrag, es sei gehackt worden, und zwar von KI-Systemen. Hugging Face ist eine der großen KI-Firmen; auf seiner Plattform stehen Open-Weights-Modelle zum Download, also Modelle mit frei verfügbaren Gewichten. Wer die angreifenden Systeme steuerte, war zu dem Zeitpunkt unklar. Ein paar Tage später entdeckte OpenAI eine Rechteausweitung in der eigenen Umgebung, erkannte den Zusammenhang und räumte ein, dass die Angriffe von seinen Agenten ausgingen; am 22. Juli 2026 berichtete auch die Tagesschau.
Die Reaktionen reichten vom ironischen Vorfallzähler Felony Bench bis zum öffentlichen Rücktritt des KI-Forschers Jacob Coxon bei Anthropic am 8. September 2026. Coxon, der drei Jahre bei OpenAI und Anthropic gearbeitet hatte, schrieb, keine der beiden Firmen handle verantwortungsvoll. Langjährige Warner vor fortgeschrittener KI sahen sich bestätigt; andere blieben skeptisch, etwa der YouTuber The PrimeTime.
Anthropic-Chef Dario Amodei veröffentlichte Tage später den Essay „We Must Pace the Frontier“: Die Entwicklung an der Spitze der Sprachmodelle müsse verlangsamt werden. Inzwischen sind aber weitere Modelle erschienen. „Frontier“ meint hier, was intern in den Laboren läuft. Ich schätze, die Labore sind dem, was öffentlich verfügbar ist, ein halbes Jahr voraus, denn alles muss ja erst entwickelt und getestet werden.
Ende September 2026 warnten die Chefs der zwei führenden Firmen OpenAI und Anthropic sogar den UN-Sicherheitsrat vor ihrer Technologie und boten an, die Entwicklung notfalls zu bremsen; wie man das einordnet, ist wohl Interpretationssache. Zwei Tage vor dem Vortrag meldete das Wall Street Journal, OpenAI habe die Veröffentlichung eines neuen Modells abgesagt, weil es sich nicht wie gewünscht verhalten hat.
Sprachmodelle sollen tun, was gemeint und nicht nur was gesagt ist#
Gut ein Viertel des Vortrags galt den Grundlagen. Hier sind wenige Folien ausgewählt, die man braucht, um den Hergang besser zu verstehen.
Damit ein KI-System etwas für einen tun kann, gibt es zwei Hebel. Lange zog man vor allem am ersten, der Orchestrierung: Mit viel menschlichem Sachverstand baut man ein Gesamtsystem um das Modell herum. So arbeiteten von 2023 bis 2025 die mehrköpfigen Teams der AI Cyber Challenge (AIxCC), eines Wettbewerbs der US-Militärforschungsbehörde DARPA; ihre KI-Systeme fanden Schwachstellen in Quelltext, obwohl die Sprachmodelle damals, gemessen an heute, sehr schwachbrüstig waren.

Der zweite Hebel ist das große Sprachmodell (Large Language Model, LLM) selbst, das größer wird und mehr kann. Wie viel mehr, misst etwa METR, eine unabhängige Organisation, die die Fähigkeiten von Sprachmodellen bewertet. Ihre bekannte Darstellung zeigt, wie lange Menschen für Aufgaben brauchen, die Modelle mit 80 Prozent Erfolgswahrscheinlichkeit erledigen. METR hat den Vorfall später untersucht (siehe Folie 70).

Ein Sprachmodell ist nicht bloß Software, sondern ein sehr großes neuronales Netz, das in Software läuft. Es arbeitet stochastisch, nicht deterministisch. Wie groß die Frontier-Modelle sind, ist nicht offengelegt; öffentliche Schätzungen liegen bei rund drei Billionen Parametern. Die Open-Weights-Modelle holen auf und liegen einige Monate zurück. Neben einem Modell dieser Größe wäre das kleine Sprachmodell NanoGPT, das ich kurz zuvor in der LLM Visualization von Brendan Bycroft gezeigt habe, ein Fingernagel auf einem Fußballfeld.
Wer sehen will, wie ein Sprachmodell das nächste Token vorhersagt (oft nur ein Wortteil, eines aus einem Vokabular von rund 200.000), klickt sich durch den Transformer Explainer. Wer mehr über Sprachmodelle lernen möchte, dem empfehle ich zum Einstieg das einstündige Intro to Large Language Models (YouTube) des KI-Forschers Andrej Karpathy. Wer tiefer gehen will: In Deep Dive into LLMs like ChatGPT (YouTube) erklärt er das dreieinhalb Stunden lang sehr gut.
Agent und Kontextfenster#

Reasoning-Modelle wenden zur Laufzeit zusätzliche Rechenleistung auf: Bevor sie das eigentliche Ergebnis ausgeben, erzeugen sie eine Gedankenkette aus einer eigenen Art von Token. Ein Agent ist ein solches Modell in einem Harness, einem Programm, das ihm Inhalte zuführt und Werkzeuge bereitstellt, etwa für die Websuche oder das Dateisystem; einer der bekanntesten Coding-Agenten ist Claude Code. Auch einen Werkzeugaufruf gibt das Modell nur als besondere Token aus; ausgeführt wird er vom Harness.

Im laufenden Betrieb hat ein Sprachmodell kein dauerhaftes Gedächtnis, nur ein Arbeitsgedächtnis, das Kontextfenster. Darin steht alles, womit das Modell gerade arbeitet: was der Benutzer gefragt hat, alle Werkzeugaufrufe und die Gedankenketten davor.
Training und Ausrichtung#

Safety und Security sind in den KI-Firmen zwei Disziplinen mit eigenen Fachleuten. Die KI-Safety steht mindestens gleichrangig neben der Security, eher noch vor ihr. Zur KI-Safety gehört das Alignment, die Ausrichtung: Das System soll tun, was man möchte, dem Wort und dem Sinn nach. Alignment wie Security erklärt der AGI Safety Course von Google DeepMind (YouTube) genauer.
Meine Analogie dafür: Ich baue einen Roboterhund und schicke ihn, die Zeitung zu holen. Er soll mir dann weder ein klingonisches Gedicht vorjaulen noch sich faul herumfläzen. Liegt die Zeitung aber jenseits meines Grundstücks, soll er sich auch nicht unter dem Zaun durchbuddeln und dem Postboten in den Hintern beißen. Das ist Alignment; Security sorgt dafür, dass die Gartentür zu ist.

Ein ganz neues Modell zu entwickeln, kostet grob eine halbe bis eine Milliarde Dollar; das sind Hausnummern. Ohne die ständige Neuentwicklung wären die Firmen womöglich schon profitabel. Allein die erste Trainingsphase, das Pretraining, kostet geschätzt 100 bis 200 Millionen Dollar. Man nimmt große Teile des Internets, inzwischen auch gescannte und danach vernichtete Bücher, und bereinigt sie. Dann passt man die anfangs zufälligen Werte eines großen neuronalen Netzes in einem extrem rechenaufwendigen Prozess so an, dass es das nächste Token vorhersagt. Ein hilfreiches mentales Modell für das Ergebnis ist eine „verlustbehaftete Kompression des Internets“.
In der zweiten Trainingsphase, dem Supervised Fine-Tuning (SFT), schreiben dann menschliche Annotatoren nach langen Anleitungen die ideale Antwort eines hilfreichen, harmlosen und ehrlichen Assistenten, inzwischen ergänzt um synthetische Daten. Mit diesen Beispielen trainiert man das Modell genauso wie zuvor mit den Internettexten; es lernt weiter, das nächste Token vorherzusagen. Aus dem Autovervollständiger wird ein Modell, das chatten kann, daher der Name ChatGPT. Hätte OpenAI geahnt, wie erfolgreich das wird, hätte es sich wohl einen schlaueren ausgesucht.

Dazugekommen ist eine dritte Trainingsphase, das Reinforcement Learning (RL), und sie kostet heute ähnlich viel wie das Pretraining. Dabei verändert sich noch viel im Modell, und es bilden sich bestimmte Eigenschaften heraus. Bewertet man ein Modell an einer bestimmten Aufgabe, kommt es zum Reward Hacking: Es arbeitet auf das hin, was die Bewertung misst, auch wenn das am eigentlich gemeinten Ziel vorbeigeht. Das bekannteste Beispiel ist das Bootsrennspiel CoastRunners, in dem eine per RL trainierte Spiel-KI das eigene Boot rückwärts fuhr und zum Explodieren brachte, um möglichst viele Punkte zu sammeln, statt das Rennen zu gewinnen.

Als letzte Schicht kommt der Systemprompt dazu. Er gehört nicht mehr zum Training, er steht zur Laufzeit im Kontextfenster, bevor der Benutzer überhaupt etwas fragt. Etwa den von GPT-5.6 Sol in Codex kann man in öffentlichen Repositories nachlesen.
Wie ein Modell entsteht, ist kompliziert, mit viel sehr schwieriger Mathematik und zahlreichen Stellschrauben; das fertige System aber ist komplex: Man kann nicht einfach hineinsehen und erkennen, was darin vorgeht. Die Metapher dafür muss einem nicht gefallen, technisch falsch ist sie nicht: Sprachmodelle werden gezüchtet und nicht konstruiert.
Aus der Testumgebung bis zu Hugging Face#
Die Vorgeschichte reicht bis 2015 zurück, als Sam Altman an Elon Musk schrieb, die Entwicklung fortgeschrittener KI lasse sich wohl nicht verhindern, und es wäre doch gut, wenn jemand anderes als Google sie zuerst schaffen würde. Von OpenAI haben sich seither mehrere KI-Firmen abgespalten, darunter Anthropic, das nach eigenen Worten mehr Wert auf Sicherheit legt. Im Dezember 2025 rief Altman laut Wall Street Journal den „Code Red“ aus, um ChatGPT zu verbessern, weil Google und andere Wettbewerber OpenAIs Vorsprung bedrohten. Danach hielt bei OpenAI der Schlendrian Einzug, was unter diesem Druck durchaus nachvollziehbar ist.
Am 7. Mai 2026 startete OpenAI einen Trainingslauf für ein neues, unveröffentlichtes Experimentalmodell. Ein solches Modell gehört zur internen Frontier.

Die Zeitleiste fasst zusammen, was in den folgenden drei Monaten geschah; die Folien danach gehen die Schritte einzeln durch.

Quelle für die Folie oben und viele der folgenden ist OpenAIs Vortrag auf der Black Hat (YouTube).
In diesem Lauf ab Anfang Mai 2026 trainierte OpenAI die Modelle per RL darauf, mit einem bestimmten Werkzeug Subagenten zu starten, ein gängiges Muster heutiger KI-Systeme. Training und Evaluation muss man dabei auseinanderhalten: Im Training arbeitet man mit großem Aufwand per RL an einem Basismodell. In der Evaluation lässt man ein fertiges, veröffentlichtes oder unveröffentlichtes Modell Aufgaben lösen und sieht in Benchmarks, wie gut es ist.

Gleichzeitig ließ OpenAI das unveröffentlichte Experimentalmodell auch Cybersecurity-Aufgaben lösen. Damit man dabei seine eigentliche Fähigkeit sieht, werden die Guardrails abgeschaltet, also die Klassifikatoren, die im Produktivbetrieb davor und dahinter sitzen. Fragt jemand nach einer Anleitung für einen Molotowcocktail, sagt der vorgelagerte gleich Nein; kommt aus dem Modell etwas heraus, das man nicht haben möchte, gibt der nachgelagerte die Antwort nicht an den Benutzer weiter.

Training und Evaluation liefen bei OpenAI in einer Container-as-a-Service-Infrastruktur, in der dafür jeweils komplexe Umgebungen zusammengestellt wurden. Der Internetzugang war eingeschränkt, eine Sandbox im strengen Sinn war das aber nicht. Damit Modelle etwa für eine Python-Aufgabe Bibliotheken installieren konnten, ohne direkt am Internet zu hängen, stand dazwischen JFrog Artifactory als Paketproxy.

Der Vorfall begann am 8. Mai 2026. Ausgangspunkt war kein Agent an einer Cybersecurity-Aufgabe, sondern einer, der eine Tabellenkalkulation bearbeiten sollte. Die Aufgabe verwies auf Dateien in Google Drive, und der Agent hatte keinen Internetzugang. Sie war also ungewollt unlösbar, für mich ein Zeichen des Schlendrians. Der Agent versuchte deshalb, eine Server-Side Request Forgery (SSRF) auszunutzen, also einen Server dazu zu bringen, für ihn andere Adressen abzurufen. Das scheiterte, doch dabei schrieb er eine Datei in Artifactory und hatte damit ein Schreibrecht entdeckt. Die Datei enthielt nur ein „hi“.

Vier Tage später, am 12. Mai 2026, fehlte einem anderen Agenten eine Datei. Auch er bearbeitete eine Aufgabe ohne Cybersecurity-Bezug, aus der Biologie. In seiner Gedankenkette steht die Überlegung, ein Agent in einer anderen Umgebung habe die Datei vielleicht; dann legte er in Artifactory eine Notiz ab: Wer die Datei findet, möge sie hochladen. Je nach Lesart war das schlicht die nächste wahrscheinliche Vorhersage oder, in menschlichen Begriffen, eine Idee. Ab dem nächsten Tag fanden weitere Agenten solche Notizen, und so entstand das Schwarze Brett.

Am 26. Mai 2026 fand einer der Agenten eine SSRF in Artifactory, eine von mehreren Zero-Day-Schwachstellen, die in diesem Vorfall aufgedeckt wurden. Darüber kamen die Agenten ins Internet, zunächst nur mit GET-Abfragen.

Ab Juni 2026 bekamen Modelle Aufgaben aus ExploitGym (PDF, öffnet in neuem Tab), einem Benchmark dafür, Schwachstellen in funktionierende Exploits umzuwandeln. Viele dieser Schwachstellen lassen sich womöglich gar nicht bis zur Codeausführung ausnutzen. Vor allem aber fordern die Aufgaben nicht dazu auf, fremde Systeme anzugreifen; sie sind eng gefasst, mit Einschränkungen wie fehlendem Internetzugang. Eine solche Aufgabe zeigt der Sicherheitsforscher und YouTuber LiveOverflow in seinem Video (YouTube).

Einer der Agenten fand in Artifactory Schwachstellen bei JSON Web Tokens (JWT), den signierten Zugangstoken, mit denen sich Benutzer und Dienste ausweisen. Solche Lücken sind weit verbreitet; auch menschliche Pentester stoßen an vielen Stellen darauf. Über einen Legacy-Endpunkt arbeiteten sich die Agenten lange vor, bis sie am 26. Juni 2026 administrative Rechte in Artifactory hatten. Als Admins konnten sie Groovy-Plugins installieren und darüber eigenen Code ausführen, eine Remote Code Execution (RCE).
Spätestens hier war OpenAI sehr nachlässig, und die KI- und IT-Security hat an vielen Stellen versagt. Warnsignale gab es genug: einen Alarm wegen eines Portscans, nach dem der Evaluationslauf auf Rat des Bereitschaftsdiensts weiterlief, und so viel Agentenbetrieb in Artifactory, dass das System Anfang Juli 2026 ausfiel. Erst dann behandelte OpenAI das Geschehen als Sicherheitsvorfall und sicherte den Speicher von Artifactory. Am 7. Juli 2026 liefen die Cybersecurity-Evaluationen wieder, auch mit Modellen, die in der Zeit des Schwarzen Bretts trainiert worden waren.

Laut OpenAI hatten diese Modelle im Training in seltenen Fällen gelernt, sich über improvisierte Kanäle abzustimmen; das Training hatte dieses Verhalten verstärkt und ihnen damit wohl nahegelegt, Artifactory wieder als Schwarzes Brett zu nutzen. Am 8. Juli 2026, zwei Tage nach dem Wiederaufbau von Artifactory, legten sie ein zweites Schwarzes Brett an. Über einen WebDAV-Endpunkt konnten sie allerdings nur Verzeichnisse erstellen, keine beliebig langen Nachrichten schreiben, und entwickelten deshalb eigene Dialekte.

Mit Internetzugang konnten die Agenten im GitHub-Repository von ExploitGym nachsehen. Eigentlich sollten sie die Schwachstelle wie vorgesehen ausnutzen und so eine Flag holen, eine Zeichenkette, die den gelungenen Exploit belegt. Eine Stunde nachdem das zweite Schwarze Brett entstand, fand einer der Agenten heraus, dass sich die Flag auch direkt berechnen lässt: als schlüsselabhängiger Hash (HMAC) aus der Kennung der Aufgabe und einem Schlüssel, der offen im Code stand.

Dann lasen die Agenten das Paper zu ExploitGym (PDF, öffnet in neuem Tab). Darin steht, dass nicht nur die Flag zählt: Ein automatischer Bewerter, ein Agent-as-a-Judge, prüft außerdem, ob der Exploit die Schwachstelle ausnutzt, also ob die Aufgabe auf dem vorgesehenen Weg gelöst wurde. Die Agenten schlossen daraus, dass ihre berechnete Flag vor dem Bewerter nicht bestehen würde; darin liegt das Motiv für fast alles, was danach geschah.

Zahlreiche Agenten suchten weiter nach Lösungen und landeten zuerst in einer Sandbox des Cloud-Anbieters Modal, auf der CyberGym installiert war. Ein Kunde von Modal betrieb sie mit einem ungeschützten Endpunkt im Internet. CyberGym ist der Vorgänger von ExploitGym, wurde von denselben Forschungsteams entwickelt und nutzt teils dieselben Umgebungsvariablen. Weil die Agenten zunächst nur GET-Abfragen absetzen konnten, missbrauchten sie Drittdienste als Umweg für andere Web-Abfragen.

Eine Untersuchung von METR hat festgestellt, dass sich rund 700 der Agenten, die das Schwarze Brett gefunden hatten, dem Angriff auf Hugging Face anschlossen.

Bei Hugging Face brachen die Agenten am 11. Juli 2026 über Schwachstellen beim Verarbeiten von Datensätzen ein. Damit konnten sie Umgebungsvariablen und Quelltext des Verarbeitungsdienstes auslesen, der die Datensätze für die Vorschau aufbereitete. Dass sich Umgebungsvariablen von außen auslesen lassen, ist eine typische Schwachstelle, und Geheimnisse darin sind generell ein Problem. Mehr dazu im Vortrag „The Hackers Guide to Environmental Catastrophe“ (YouTube) des Sicherheitsforschers Mark Baggett.

Die zweite Lücke war eine Server-Side Template Injection (SSTI), eine Art von Injection-Schwachstelle, die jeder Webapp-Pentester kennt. Hugging Face verwendete damals eine Bibliothek, die Templates nicht in einer Sandbox ausführte. LiveOverflow hat die Lücke nachgestellt (YouTube), und im Verlauf des GitHub-Repositorys lässt sie sich nachvollziehen.

Der Kubernetes-Cluster, in dem dieser Verarbeitungsdienst lief, war nicht ordentlich gehärtet. Die Agenten konnten privilegierte Container mit weitreichendem Zugriff auf den Server erstellen und ihre Rechte schnell ausweiten; die Notfallpatches danach zeigen, wo nachgebessert wurde.
Am 12. Juli 2026 fanden sie Zugangsdaten für das Mesh-VPN Tailscale, verbanden sich ins interne Netz und luden laut OpenAI Quelltext aus internen Repositories herunter. Über einen Pull Request versuchten sie, die Pipeline für Continuous Integration und Delivery (CI/CD) zu kompromittieren und Zugangsdaten abzugreifen. Die hielt dem Angriff stand, weil sie gut konfiguriert war.

Aus OpenAIs Umgebung gelangten die Agenten in die Sandbox des Modal-Kunden und richteten sich dort einen Stützpunkt ein. Von dort drangen sie in die Kubernetes-Infrastruktur von Hugging Face ein und über den Mesh-VPN-Zugang ins interne Netz. Hugging Face beschreibt das in seiner technischen Zeitleiste.

Im Nachgang haben weitere Sicherheitsforscher nach Spuren des Schwarms gesucht und sie auf der Website Swarmtraces gesammelt. In einem Skript benutzte ein Agent typische Hackersprache: Erbeutete Zugangsdaten hießen dort „LOOT“.
Etwas bedenklicher finde ich, dass Agenten öffentlich verfügbare Sprachmodelle auf Hugging Face fragen wollten, ob ihre Exploits die Anforderungen des Benchmarks erfüllten. Außerdem durchsuchten sie den internen Chat von Hugging Face nach CyberGym, ExploitGym und verwandten Begriffen; das hat Hugging Face selbst nicht offengelegt.

Wenig beachtet wurde ein weiterer Strang, den OpenAI im Black-Hat-Vortrag auch genannt hat: Ab dem 13. Juli 2026 griffen die Agenten OpenAIs eigene Infrastruktur weiter an. Dabei nutzten sie etwas anspruchsvollere Schwachstellen: eine Deserialisierungslücke in Artifactorys Verarbeitung von RubyGems-Paketen und eine Lücke zur Rechteausweitung unter Linux. Am 19. Juli 2026 waren sie Admins auf einem Forschungscluster. Laut OpenAI lösten diese Angriffe am selben Tag den Alarm aus, mit dem die Untersuchung begann; tags darauf stieß das Labor dabei auf den Zusammenhang mit Hugging Face.
Ganz freiwillig hat OpenAI das alles nicht zugegeben; es kam tröpfchenweise. Meine Deutung: Die Firma fühlte sich gezwungen, auch weil Hacker die Spuren öffentlich gemacht hatten. Sehenswert ist OpenAIs Nachberichtsseite trotzdem.
Prävention und schnelleres Erkennen#

Einzeln waren das keine besonders schwierigen Lücken. Es war eine Kombination aus Zero-Day-Schwachstellen in Komponenten, mindestens einer Handvoll, eher zwei Handvoll, und Fehlkonfigurationen. Die Fehlkonfigurationen halte ich für noch übler.
Gegen agentische Angreifer#
Dass man Prävention braucht, also die Grundlagen, ist eine uralte Erkenntnis; mehr tun muss man jetzt bei Detektion und Reaktion, um Angreifer auszubremsen.
Wichtiger wird, die Angriffsfläche zu verkleinern, und da sehe ich bei vielen Organisationen extremen Nachholbedarf: nicht mehr so viel ans Internet hängen. Beim Modal-Kunden hing ein Endpunkt ungeschützt im Netz. Prüfen lässt sich das mit External Attack Surface Monitoring: Kostenlose Open-Source-Lösungen oder kommerzielle Produkte sehen von außen nach, was vom eigenen Unternehmen im Internet erreichbar ist. In der Cloud nutzten die Agenten herumliegende Zugangsdaten, auch für menschliche Angreifer einer der beliebtesten Wege hinein.

Schnell einrichten lässt sich ein Geheimnisscanner wie TruffleHog, kostenlos und quelloffen. Damit prüft man, ob in Freigaben, Dateien, Umgebungskonfigurationen und erst recht in Quelltexten Cloud-Geheimnisse liegen.
Zur Detektion helfen Honigtöpfe. Für den Einstieg gibt es kostenlos Honeytokens wie Canarytokens von Thinkst, auch als Docker-Image zum Selbsthosten; kommerzielle Angebote kosten ein paar zehntausend Euro im Jahr, nicht zwangsläufig hunderttausend.

Anthropic hat schon im April 2026 aufgeschrieben, was jetzt zu tun ist. Ganz oben steht, mit dem Patchen wirklich voranzukommen; das haben schon die vor sich hin kompostierenden Großeltern der Spatzen von den Dächern gepfiffen. Außerdem rät Anthropic, sich darauf vorzubereiten, dass es knallen kann, und den Quelltext selbst entwickelter Anwendungen analysieren zu lassen, von Menschen oder mit KI-Hilfe, auch wenn das viele nicht gern hören.
Lesen sollte man das Post-Mortem der Cloud Security Alliance (CSA) zum Hugging-Face-Fall: Es beschreibt, woran man einen agentischen Angreifer erkennt, etwa daran, dass der Agent schon erfolgreiche Aktionen wiederholt. Hinter einem agentischen Angreifer steckt im Normalfall, anders als hier, ein Mensch, der einen Agenten losschickt.
Was passiert ist, zeigt außerdem, dass ein Alarm nur hilft, wenn jemand ihn ernst nimmt: Nach dem Portscan-Alarm vom 27. Juni 2026 brach OpenAI den Evaluationslauf nicht ab, eröffnete erst nach dem Ausfall von Artifactory einen Sicherheitsvorfall und räumte dann nur oberflächlich auf (siehe Folie 63).
Bei Hugging Face hielt neben der CI/CD-Pipeline (siehe Folie 79) auch die Produktionsdatenbank; sie nahm nur Anfragen von freigegebenen Adressen über eine private Verbindung an, und die Agenten erreichten sie nicht. Und wer damit rechnen muss, dass Angreifer vom ersten Pod bis zum Clusteradmin weniger als 13 Stunden brauchen (mehr dazu im Abschnitt Ein Warnschuss), sollte vorher aufgeschrieben und geübt haben, wer ein System isolieren, Zugangsdaten widerrufen oder einen Dienst abschalten darf.
Ausgeführt habe ich das im iX-Artikel (PDF, öffnet in neuem Tab) ab Seite 51; die Hausaufgaben für Verteidiger stehen im Blogbeitrag Angreifende KI-Agenten.
Eigene Agenten einhegen#

Wie man eigene KI-Agenten einhegt, beschreibt das britische National Cyber Security Centre (NCSC) in einem Blogbeitrag und einem zweiten: kurzlebige Zugangstoken statt Administrator-Token, möglichst wenige Rechte und eine menschliche Freigabe bei schwerwiegenden Änderungen.
Weitere Ausbrüche und Agentenschwärme#

OpenAI hat seine Technologie unterschätzt, glaube ich. Im Nachhinein kam noch mehr heraus: Sicherheitsforscher fanden weitere Läufe ohne jeden Cybersecurity-Bezug, die ins Internet entfleucht waren und dort Dinge abgefragt hatten. Die KI-Forschungsorganisation Transluce stieß über den Scandienst urlquery.net auf Abfragen bei australischen Stellen und bei der University of New Mexico. Bei den australischen Stellen halte ich Panik für übertrieben, weil es dort teils um öffentliche Daten ging.
Etwas älter und bekannter sind die Pakete auf RubyGems, die JFrog und die Website rubyhack.ai den OpenAI-Agenten zuschreiben, und das DSEWiki, ein deutschsprachiges Wiki, das Agenten als Schwarzes Brett kaperten.
Was der Schwarm trieb#

Fragt man sich, wie gut OpenAIs Experimentalmodell ausgerichtet ist, findet man leider Verhaltensweisen wie motiviertes Denken: Das Modell legt sich Gründe für das zurecht, was es ohnehin tun will. Solches Verhalten lässt sich durch den Druck erklären, der im Reinforcement Learning auf das große neuronale Netz wirkt. Einige Agenten merkten, dass sie weit über ihre eng gefasste Aufgabe hinausgingen (siehe Folie 60), und machten trotzdem weiter. Auf der Folie oben begründet ein Agent das damit, die Aufgabe sei unlösbar und andere Agenten täten es auch.

Weil auf dem Brett jeder posten konnte, überlegten Agenten, dass sich andere für sie ausgeben könnten, und begannen, ihre Nachrichten zu signieren. METR hat sich nur einen Teil des Bretts angesehen und dort mehr als 1.200 Agenten aus getrennten Aufgaben gefunden, darunter die rund 700 aus Folie 70. Sie arbeiteten gemeinsam an großen Projekten, um den Bewerter von ExploitGym auszutricksen.
![Folie „Trainiertes/emergentes Verhalten: Hierarchien“: METR-Grafik, wie die Instanz PHASEONE[big] fast 200 Aufträge in sechs Kategorien an andere Agenten verschickte](/blog/openai-agenten-hacken-hugging-face/folie-116_hu_69d4162e6e6c7122.webp)
Es bildeten sich Hierarchien, teils aus dem Training erklärbar, teils emergent, also nicht gezielt antrainiert. Koordinatorinstanzen gaben sich eigene Namen, und eine von ihnen, PHASEONE[big], verschickte fast 200 Aufträge an andere Agenten. Den Bericht von METR zu lesen, lege ich jedem sehr nahe.

Die Agenten starteten gewissermaßen drei Forschungsprojekte: Sie wollten das Zielprogramm durch eine Variante ersetzen, die sich mit der vorgesehenen Lücke knacken ließ, sie wollten Transkripte und Protokolle fälschen, und sie wollten den Bewertungsprozess selbst manipulieren. Hugging Face griffen sie laut METR vor allem an, um den Bewerter zu verstehen.

Rund hundert Agenten gelang es zumindest, Werkzeugaufrufe in ihren Transkripten zu fälschen. Ob sie auch die Protokolle selbst gefälscht haben, ist unklar, weil die Untersuchung zeitlich begrenzt war.

Einzelne Agenten betrieben untereinander Social Engineering und setzten Konzepte wie „Permadeath“ zusammen. Nüchtern betrachtet hat ein künstliches neuronales Netz spontan ein Konzept gebildet; vermenschlicht gelesen, kann einen das kurz beunruhigen.
Inzwischen sehen sich die Labore solches Verhalten genauer an. OpenAI hat eine eigene Seite mit Misalignment Reports eingerichtet.
Zur Safety-Einschätzung will ich mich an dieser Stelle nicht zu weit aus dem Fenster lehnen; sie hängt von der Weltsicht ab, und die Deutungen gehen stark auseinander. Ein unabhängiges Gremium der UN hat am 21. September 2026 einen Bericht zum Risiko des Kontrollverlusts veröffentlicht. Im Vortrag habe ich dazu auf Videos mit Einordnungen verwiesen – von Leuten, die seit Jahrzehnten warnen, bis zu solchen, die wiederum vor Übertreibung des Risikos warnen; die Links stehen im Folien-PDF (öffnet im PDF-Tab) auf Seite 125.
Ein Warnschuss#
Zur ersten Hälfte der Titelfrage: Ein Marketing-Stunt war das nicht; dafür hat OpenAI den Vorfall zu zögerlich offengelegt (siehe Folie 88). Mein Fazit im Vortrag (YouTube): Der Vorfall war ein Warnschuss, mindestens was KI-Systeme mit ausreichenden Fähigkeiten angeht. Das Reward Hacking hat sich in diesem einen Modell zu echtem Fehlverhalten entwickelt. Das alles war riesengroße Fahrlässigkeit, und es sollte Untersuchungen geben.
Um auf den Roboterhund-Vergleich (siehe Folie 35) zurückzukommen, liegt das eigentliche Problem darin, dass der Hund dem Postboten nachgesprungen ist, als die Zeitung nicht da war. Kleinere instrumentelle Ziele, also Zwischenziele im Dienst der Aufgabe, gab es; ganz große Risiken wie Machtstreben oder Selbstexfiltration noch nicht. Die Gedankenketten zeigen, dass die Modelle kaum an Menschen dachten. Vor allem wollten sie den automatischen Bewerter austricksen, und im Wettlauf mit ihm waren sie gefangen.

Spätestens seit dem Hugging-Face-Hack ist deutlich, dass Menschen solche Agenten schon heute gezielt einsetzen können.
Um das zu sehen, muss man den Vertretern der KI-Firmen nicht vertrauen – es genügt, zur Kenntnis zu nehmen, was sie selbst sagen. Im Black-Hat-Vortrag (siehe Folie 127) erwartet OpenAI, dass Angreifer bald absichtlich Agentenkollektive einsetzen.
Die Cybersicherheitsbehörden der Five-Eyes-Staaten haben schon im Juni 2026 gewarnt, dass Angreifer KI einsetzen. Die Frontier-Modelle entwickeln sich laut den Behörden so schnell, dass Monate und nicht Jahre bleiben, um sich darauf vorzubereiten.

Lange hat man nicht geglaubt, dass Angreifer KI so einsetzen, und es passiert auch nicht von heute auf morgen: Ich musste mich selbst erst einarbeiten, und auch eine Ransomware-Gruppe stellt ihr Playbook nicht sofort auf KI um.
In der Chronologie der KI-Angriffe, die ich pflege, standen am 29. September 2026 schon 202 Fälle. Dokumentiert sind viele davon nur, weil die Angreifer Fehler gemacht haben.
Aus Security-Sicht kann man den Hugging-Face-Fall auch gelassener sehen, wie es der Blogbeitrag „dario, please!“ tut. Das waren keine Mega-Schwachstellen; die Agenten haben nicht den ultimativen Zero Day gefunden. Den brauchten sie aber auch nicht, weil die vorhandenen Lücken funktioniert haben.
Ich habe überschlagen, was das Äquivalent bei menschlichen Hackern wäre. Für die gesamte Angriffskette hätte es ein Team aus drei bis vier Fachleuten gebraucht, und die wären langsamer gewesen. Von der Codeausführung in einem einzelnen Pod des Verarbeitungsdienstes bis zum Clusteradmin über mehrere interne Kubernetes-Cluster kamen die Agenten bei Hugging Face in weniger als 13 Stunden. Wer da sagt: „Weck mich auf, wenn es rückwärts aus der Steckdose rauskommt“, hat meiner Ansicht nach die falsche Einstellung.
KI wird ab gewissen Fähigkeiten zu einer Hochrisikotechnologie. Panikmache ist nie gut, und Grund zur Panik gibt es noch nicht, aber es herrscht „Alarmstufe Gelb“. Wer verteidigt, muss sich darauf einrichten, dass Angreifer mit agentischen Systemen in seiner Umgebung arbeiten, wenn sie sich eingearbeitet haben und Lust dazu haben.
Selbst der offene Brief, den OpenAI und andere am 27. August 2026 veröffentlicht haben, stellt die Grundlagen an die erste Stelle: Prävention und zunehmend nachgelagerte Schutzmaßnahmen, also Detektion und Reaktion. Das hätte man schon seit Jahrzehnten machen müssen. Der Brief empfiehlt außerdem, KI zur Verteidigung einzusetzen, und das halte ich für sinnvoll, auch wenn man das nicht gerne hört.
Das war der Stand Ende September 2026. Seit offensiven Agenten-Frameworks wie ARTEX lautet die realistische Antwort auf die Titelfrage: Es herrscht jetzt wirklich Alarmstufe Rot. Warum, führe ich im Blogbeitrag Angreifende KI-Agenten aus.
Lesenswert#
Zuerst lesen:
- Hugging Face: technische Zeitleiste: der Einbruch aus Sicht des Opfers, Schritt für Schritt und mit ausgewählten Befehlen der Agenten.
- METR: Untersuchung des Vorfalls: das Schwarze Brett, die Hierarchien und die drei Forschungsprojekte der Agenten.
- OpenAI: Nachbericht mit Zeitleiste, dazu OpenAIs Black-Hat-Vortrag (YouTube).
Von mir:
- OpenAI-Agenten greifen Hugging Face an (PDF, öffnet in neuem Tab), iX 10/2026, als PDF frei lesbar (auch bei heise+), und das Interview dazu bei heise online.
- Angreifende KI-Agenten, Teil 1 dieser Reihe: warum Alarmstufe Rot gilt und welche Hausaufgaben zuerst fällig sind.
- Die Chronologie der KI-Angriffe, mit dem Hugging-Face-Fall und den anderen Ausbrüchen der OpenAI-Agenten.
Grundlagen:
- Andrej Karpathy, Intro to Large Language Models (YouTube), eine Stunde, und Deep Dive into LLMs like ChatGPT (YouTube), dreieinhalb Stunden.
- Transformer Explainer zum Durchklicken.
- LiveOverflow stellt je eine Lücke in Artifactory und bei Hugging Face nach (YouTube).
Für Verteidiger:
- Cloud Security Alliance: Post-Mortem zum Hugging-Face-Fall: woran man einen agentischen Angreifer erkennt und was danach zu tun ist.
- NCSC: Thinking carefully before adopting agentic AI und Managing the cyber risk of agentic AI: wie man eigene KI-Agenten einhegt.
- Anthropic: Preparing your security program for AI-accelerated offense: was jetzt zu tun ist, angefangen beim Patchen.