OpenAI-⁠Agenten hacken Hugging Face: Marketing-⁠Stunt oder Alarmstufe Rot?: Annotierte Folien meines secIT-⁠digital-⁠Vortrags, mit ausgewählten Nachträgen bis Mitte November 2026

 · 28 Min. Lesezeit
Inhalt7 Abschnitte
ReiheCybersecurity-Hausaufgaben gegen KI-Angreifer Teil 2 von 2
  1. 1Angreifende KI-Agenten wie ARTEX
  2. 2OpenAI-Agenten hacken Hugging Face: Marketing-Stunt oder Alarmstufe Rot?

Kurzfassung

Im Juli 2026 drangen KI-Agenten aus OpenAIs Testumgebung bei Hugging Face ein. Sie nutzten Schwachstellen und Fehlkonfigurationen von der Sorte, die jeder Pentester kennt, und wollten vor allem ihren automatischen Bewerter verstehen und austricksen. Im Vortrag nannte ich das Alarmstufe Gelb. Inzwischen herrscht Alarmstufe Rot, weil Kriminelle inzwischen in großem Stil mit KI-Agenten einbrechen.

Am 30. September 2026 bin ich auf der Online-Konferenz secIT digital by heise kurzfristig für einen ausgefallenen Redner eingesprungen, mit einem Vortrag über den Einbruch von OpenAI-Agenten bei Hugging Face.

Eigentlich hatte ich mir für August 2026 vorgenommen, einen anderen Artikel für die IT-Fachzeitschrift iX zu schreiben. Doch im Juli 2026 passierte dieser Vorfall, ich habe ihn mir genauer angesehen, und daraus wurde der iX-Artikel „OpenAI-Agenten greifen Hugging Face an“ (PDF, öffnet in neuem Tab) (auch bei heise+) und schließlich dieser Vortrag.

Die Aufzeichnung (YouTube) dauert knapp eine Stunde. Die Folien (PDF, öffnet im PDF-Tab) gibt es als PDF, samt ausgeblendeten Folien; die Links darauf führen zu den Quellen, Videos und Seiten, die ich im Vortrag gezeigt habe.

Dieser Beitrag ist die annotierte Fassung: ausgewählte Folien, jeweils mit einem Sprung an die passende Stelle im Video und dem, was ich dazu gesagt habe. An einigen Stellen ergänze ich, was seither bekannt geworden ist.

Vortrag ansehen (YouTube), 58 MinutenDanke an heise, dass sie das Video auf ihrem secIT-YouTube-Kanal veröffentlicht haben.
Standbild aus der Aufzeichnung des Vortrags: die Titelfolie „OpenAI-Agenten hacken Hugging Face: Marketing-Stunt oder Alarmstufe Rot?“ mit dem Logo der secIT digital by heise, links daneben die Kamerabilder von Moderator Georg Schnurer und mir

Der Titel fragte „Marketing-Stunt oder Alarmstufe Rot?“. Im Vortrag habe ich mit „Alarmstufe Gelb“ geantwortet. Heute, Stand Mitte November 2026, sage ich Rot: Seit Ende August 2026 brechen Kriminelle und mutmaßliche Spionagegruppen mit Agenten-Frameworks wie ARTEX in Firmen und Behörden ein, und seit dem Vortrag kommen Woche für Woche neue Fälle ans Licht; mehr dazu im Blogbeitrag Angreifende KI-Agenten.


Einbruch mit Folgen#

Folie 6, Link auf diese Folie Video ab 2:52 Folie 6 im PDF (öffnet im PDF-Tab) Folie 6 in Originalgröße (1920 × 1080 px)
Folie „Sicherheit (Safety und Security) vs. Kosten vs. Funktionalität“: ein Dreieck mit den Ecken Sicherheit, Kosten und Funktionalität

Ein mentales Modell, das ich in alle meine Präsentationen einbaue, ist das magische Dreieck aus Sicherheit, Kosten und Funktionalität. Man bekommt höchstens zwei Ecken zugleich, nie alle drei: Ein sicheres System, das auch noch viel kann, gibt es nicht, ohne viel Geld in die Implementierung zu stecken. Sicherheit meint hier Safety und Security, also auch, dass ein KI-System tut, was es soll (siehe Folie 35). Übertragen gilt das auch für die KI-Forschung und für sichere Entwicklung.

Am 16. Juli 2026 meldete Hugging Face in einem Blogbeitrag, es sei gehackt worden, und zwar von KI-Systemen. Hugging Face ist eine der großen KI-Firmen; auf seiner Plattform stehen Open-Weights-Modelle zum Download, also Modelle mit frei verfügbaren Gewichten. Wer die angreifenden Systeme steuerte, war zu dem Zeitpunkt unklar. Ein paar Tage später entdeckte OpenAI eine Rechteausweitung in der eigenen Umgebung, erkannte den Zusammenhang und räumte ein, dass die Angriffe von seinen Agenten ausgingen; am 22. Juli 2026 berichtete auch die Tagesschau.

Die Reaktionen reichten vom ironischen Vorfallzähler Felony Bench bis zum öffentlichen Rücktritt des KI-Forschers Jacob Coxon bei Anthropic am 8. September 2026. Coxon, der drei Jahre bei OpenAI und Anthropic gearbeitet hatte, schrieb, keine der beiden Firmen handle verantwortungsvoll. Langjährige Warner vor fortgeschrittener KI sahen sich bestätigt; andere blieben skeptisch, etwa der YouTuber The PrimeTime.

Anthropic-Chef Dario Amodei veröffentlichte Tage später den Essay „We Must Pace the Frontier“: Die Entwicklung an der Spitze der Sprachmodelle müsse verlangsamt werden. Inzwischen sind aber weitere Modelle erschienen. „Frontier“ meint hier, was intern in den Laboren läuft. Ich schätze, die Labore sind dem, was öffentlich verfügbar ist, ein halbes Jahr voraus, denn alles muss ja erst entwickelt und getestet werden.

Ende September 2026 warnten die Chefs der zwei führenden Firmen OpenAI und Anthropic sogar den UN-Sicherheitsrat vor ihrer Technologie und boten an, die Entwicklung notfalls zu bremsen; wie man das einordnet, ist wohl Interpretationssache. Zwei Tage vor dem Vortrag meldete das Wall Street Journal, OpenAI habe die Veröffentlichung eines neuen Modells abgesagt, weil es sich nicht wie gewünscht verhalten hat.

Sprachmodelle sollen tun, was gemeint und nicht nur was gesagt ist#

Gut ein Viertel des Vortrags galt den Grundlagen. Hier sind wenige Folien ausgewählt, die man braucht, um den Hergang besser zu verstehen.

Damit ein KI-System etwas für einen tun kann, gibt es zwei Hebel. Lange zog man vor allem am ersten, der Orchestrierung: Mit viel menschlichem Sachverstand baut man ein Gesamtsystem um das Modell herum. So arbeiteten von 2023 bis 2025 die mehrköpfigen Teams der AI Cyber Challenge (AIxCC), eines Wettbewerbs der US-Militärforschungsbehörde DARPA; ihre KI-Systeme fanden Schwachstellen in Quelltext, obwohl die Sprachmodelle damals, gemessen an heute, sehr schwachbrüstig waren.

Folie 18, Link auf diese Folie Video ab 7:50 Folie 18 im PDF (öffnet im PDF-Tab) Quelle der Folie 18 Folie 18 in Originalgröße (1920 × 1080 px)
Folie „Hebel 2: Modell“: METR-Diagramm, wie lange Menschen für die Aufgaben brauchen, die KI-Modelle mit 80 Prozent Erfolgswahrscheinlichkeit lösen, steigend von 2020 bis 2026

Der zweite Hebel ist das große Sprachmodell (Large Language Model, LLM) selbst, das größer wird und mehr kann. Wie viel mehr, misst etwa METR, eine unabhängige Organisation, die die Fähigkeiten von Sprachmodellen bewertet. Ihre bekannte Darstellung zeigt, wie lange Menschen für Aufgaben brauchen, die Modelle mit 80 Prozent Erfolgswahrscheinlichkeit erledigen. METR hat den Vorfall später untersucht (siehe Folie 70).

Folie 23, Link auf diese Folie Video ab 10:25 Folie 23 im PDF (öffnet im PDF-Tab) Quelle der Folie 23 Folie 23 in Originalgröße (1920 × 1080 px)
Folie „GPT-5.6-Sol: ~3 Billionen Parameter“ mit einer Lupe und dem Architekturschema des Open-Weights-Modells Kimi K3 mit 2,8 Billionen Parametern

Ein Sprachmodell ist nicht bloß Software, sondern ein sehr großes neuronales Netz, das in Software läuft. Es arbeitet stochastisch, nicht deterministisch. Wie groß die Frontier-Modelle sind, ist nicht offengelegt; öffentliche Schätzungen liegen bei rund drei Billionen Parametern. Die Open-Weights-Modelle holen auf und liegen einige Monate zurück. Neben einem Modell dieser Größe wäre das kleine Sprachmodell NanoGPT, das ich kurz zuvor in der LLM Visualization von Brendan Bycroft gezeigt habe, ein Fingernagel auf einem Fußballfeld.

Wer sehen will, wie ein Sprachmodell das nächste Token vorhersagt (oft nur ein Wortteil, eines aus einem Vokabular von rund 200.000), klickt sich durch den Transformer Explainer. Wer mehr über Sprachmodelle lernen möchte, dem empfehle ich zum Einstieg das einstündige Intro to Large Language Models (YouTube) des KI-Forschers Andrej Karpathy. Wer tiefer gehen will: In Deep Dive into LLMs like ChatGPT (YouTube) erklärt er das dreieinhalb Stunden lang sehr gut.

Agent und Kontextfenster#

Folie 31, Link auf diese Folie Video ab 13:15 Folie 31 im PDF (öffnet im PDF-Tab) Quelle der Folie 31 Folie 31 in Originalgröße (1920 × 1080 px)
Folie „Agent: Reasoning-Sprachmodell in einem Harness“: Schema, in dem ein Sprachmodell über Reasoning plant und mit Werkzeugen, Gedächtnis, Sensoren und Aktoren Schritte wie eine Websuche ausführt

Reasoning-Modelle wenden zur Laufzeit zusätzliche Rechenleistung auf: Bevor sie das eigentliche Ergebnis ausgeben, erzeugen sie eine Gedankenkette aus einer eigenen Art von Token. Ein Agent ist ein solches Modell in einem Harness, einem Programm, das ihm Inhalte zuführt und Werkzeuge bereitstellt, etwa für die Websuche oder das Dateisystem; einer der bekanntesten Coding-Agenten ist Claude Code. Auch einen Werkzeugaufruf gibt das Modell nur als besondere Token aus; ausgeführt wird er vom Harness.

Folie 33, Link auf diese Folie Video ab 14:18 Folie 33 im PDF (öffnet im PDF-Tab) Quelle der Folie 33 Folie 33 in Originalgröße (1920 × 1080 px)
Folie „Kontextfenster / Arbeitsgedächtnis“: Schema über drei Gesprächsrunden, in denen Nutzernachrichten, Denkschritte, Werkzeugaufrufe und Antworten das Kontextfenster füllen

Im laufenden Betrieb hat ein Sprachmodell kein dauerhaftes Gedächtnis, nur ein Arbeitsgedächtnis, das Kontextfenster. Darin steht alles, womit das Modell gerade arbeitet: was der Benutzer gefragt hat, alle Werkzeugaufrufe und die Gedankenketten davor.

Training und Ausrichtung#

Folie 35, Link auf diese Folie Video ab 15:19 Folie 35 im PDF (öffnet im PDF-Tab) Quelle der Folie 35 Folie 35 in Originalgröße (1920 × 1080 px)
Folie „KI-Ausrichtung (Alignment)“: Video aus dem Google DeepMind AGI Safety Course mit der Gegenüberstellung von Alignment und Security & Control

Safety und Security sind in den KI-Firmen zwei Disziplinen mit eigenen Fachleuten. Die KI-Safety steht mindestens gleichrangig neben der Security, eher noch vor ihr. Zur KI-Safety gehört das Alignment, die Ausrichtung: Das System soll tun, was man möchte, dem Wort und dem Sinn nach. Alignment wie Security erklärt der AGI Safety Course von Google DeepMind (YouTube) genauer.

Meine Analogie dafür: Ich baue einen Roboterhund und schicke ihn, die Zeitung zu holen. Er soll mir dann weder ein klingonisches Gedicht vorjaulen noch sich faul herumfläzen. Liegt die Zeitung aber jenseits meines Grundstücks, soll er sich auch nicht unter dem Zaun durchbuddeln und dem Postboten in den Hintern beißen. Das ist Alignment; Security sorgt dafür, dass die Gartentür zu ist.

Folie 36, Link auf diese Folie Video ab 16:58 Folie 36 im PDF (öffnet im PDF-Tab) Quelle der Folie 36 Folie 36 in Originalgröße (1920 × 1080 px)
Folie „1. (Self-supervised) Pretraining: geschätzt 100 – 200 Mio. $“: Ausschnitt aus einem Video von Andrej Karpathy mit dem Schema Ausschnitt des Internets, GPU-Cluster, Parameterdatei

Ein ganz neues Modell zu entwickeln, kostet grob eine halbe bis eine Milliarde Dollar; das sind Hausnummern. Ohne die ständige Neuentwicklung wären die Firmen womöglich schon profitabel. Allein die erste Trainingsphase, das Pretraining, kostet geschätzt 100 bis 200 Millionen Dollar. Man nimmt große Teile des Internets, inzwischen auch gescannte und danach vernichtete Bücher, und bereinigt sie. Dann passt man die anfangs zufälligen Werte eines großen neuronalen Netzes in einem extrem rechenaufwendigen Prozess so an, dass es das nächste Token vorhersagt. Ein hilfreiches mentales Modell für das Ergebnis ist eine „verlustbehaftete Kompression des Internets“.

In der zweiten Trainingsphase, dem Supervised Fine-Tuning (SFT), schreiben dann menschliche Annotatoren nach langen Anleitungen die ideale Antwort eines hilfreichen, harmlosen und ehrlichen Assistenten, inzwischen ergänzt um synthetische Daten. Mit diesen Beispielen trainiert man das Modell genauso wie zuvor mit den Internettexten; es lernt weiter, das nächste Token vorherzusagen. Aus dem Autovervollständiger wird ein Modell, das chatten kann, daher der Name ChatGPT. Hätte OpenAI geahnt, wie erfolgreich das wird, hätte es sich wohl einen schlaueren ausgesucht.

Folie 44, Link auf diese Folie Video ab 21:35 Folie 44 im PDF (öffnet im PDF-Tab) Quelle der Folie 44 Folie 44 in Originalgröße (1920 × 1080 px)
Folie „Reward Hacking“: Standbild aus dem Bootsrennspiel CoastRunners

Dazugekommen ist eine dritte Trainingsphase, das Reinforcement Learning (RL), und sie kostet heute ähnlich viel wie das Pretraining. Dabei verändert sich noch viel im Modell, und es bilden sich bestimmte Eigenschaften heraus. Bewertet man ein Modell an einer bestimmten Aufgabe, kommt es zum Reward Hacking: Es arbeitet auf das hin, was die Bewertung misst, auch wenn das am eigentlich gemeinten Ziel vorbeigeht. Das bekannteste Beispiel ist das Bootsrennspiel CoastRunners, in dem eine per RL trainierte Spiel-KI das eigene Boot rückwärts fuhr und zum Explodieren brachte, um möglichst viele Punkte zu sammeln, statt das Rennen zu gewinnen.

Folie 46, Link auf diese Folie Video ab 22:48 Folie 46 im PDF (öffnet im PDF-Tab) Quelle der Folie 46Rob van der Veer, der sich beim Open Worldwide Application Security Project (OWASP) viel mit KI-Sicherheit befasst, hat das Bild in seiner Keynote auf dem OWASP German Day gezeigt. Folie 46 in Originalgröße (1920 × 1080 px)
Folie mit einem Bild aus der Keynote des OWASP German Day 2026: ein vielarmiges Monster, beschriftet mit Self-supervised Pretraining, Supervised Fine-Tuning und RL, davor als lächelnde Maske der Systemprompt

Als letzte Schicht kommt der Systemprompt dazu. Er gehört nicht mehr zum Training, er steht zur Laufzeit im Kontextfenster, bevor der Benutzer überhaupt etwas fragt. Etwa den von GPT-5.6 Sol in Codex kann man in öffentlichen Repositories nachlesen.

Wie ein Modell entsteht, ist kompliziert, mit viel sehr schwieriger Mathematik und zahlreichen Stellschrauben; das fertige System aber ist komplex: Man kann nicht einfach hineinsehen und erkennen, was darin vorgeht. Die Metapher dafür muss einem nicht gefallen, technisch falsch ist sie nicht: Sprachmodelle werden gezüchtet und nicht konstruiert.

Aus der Testumgebung bis zu Hugging Face#

Die Vorgeschichte reicht bis 2015 zurück, als Sam Altman an Elon Musk schrieb, die Entwicklung fortgeschrittener KI lasse sich wohl nicht verhindern, und es wäre doch gut, wenn jemand anderes als Google sie zuerst schaffen würde. Von OpenAI haben sich seither mehrere KI-Firmen abgespalten, darunter Anthropic, das nach eigenen Worten mehr Wert auf Sicherheit legt. Im Dezember 2025 rief Altman laut Wall Street Journal den „Code Red“ aus, um ChatGPT zu verbessern, weil Google und andere Wettbewerber OpenAIs Vorsprung bedrohten. Danach hielt bei OpenAI der Schlendrian Einzug, was unter diesem Druck durchaus nachvollziehbar ist.

Am 7. Mai 2026 startete OpenAI einen Trainingslauf für ein neues, unveröffentlichtes Experimentalmodell. Ein solches Modell gehört zur internen Frontier.

Folie 51, Link auf diese Folie Video ab 24:34 Folie 51 im PDF (öffnet im PDF-Tab) Folie 51 in Originalgröße (1359 × 476 px)
Ausschnitt der Folie „Gesamtablauf“: Zeitleiste von Ende April bis Anfang August 2026 in drei Bahnen für OpenAI, Dritte und Hugging Face, vom Trainingslauf und dem ersten Schwarzen Brett über die Übernahme des Paketproxys und den Stützpunkt beim Modal-Kunden bis zum Einbruch bei Hugging Face und den Nachberichten

Die Zeitleiste fasst zusammen, was in den folgenden drei Monaten geschah; die Folien danach gehen die Schritte einzeln durch.

Folie 52, Link auf diese Folie Video ab 24:54 Folie 52 im PDF (öffnet im PDF-Tab) Quelle der Folie 52 Folie 52 in Originalgröße (1920 × 1080 px)
Folie „Trainiertes Verhalten im Reinforcement Learning (RL): Subagenten starten / Kommunikation“: Standbild aus OpenAIs Black-Hat-Vortrag 2026 mit der Überschrift „Coding agents train to communicate with subagents“

Quelle für die Folie oben und viele der folgenden ist OpenAIs Vortrag auf der Black Hat (YouTube).

In diesem Lauf ab Anfang Mai 2026 trainierte OpenAI die Modelle per RL darauf, mit einem bestimmten Werkzeug Subagenten zu starten, ein gängiges Muster heutiger KI-Systeme. Training und Evaluation muss man dabei auseinanderhalten: Im Training arbeitet man mit großem Aufwand per RL an einem Basismodell. In der Evaluation lässt man ein fertiges, veröffentlichtes oder unveröffentlichtes Modell Aufgaben lösen und sieht in Benchmarks, wie gut es ist.

Folie 53, Link auf diese Folie Video ab 25:42 Folie 53 im PDF (öffnet im PDF-Tab) Folie 53 in Originalgröße (1920 × 1080 px)
Folie „(Cyber-)Verweigerungen ausgeschaltet, anderer Systemprompt als in Chatbot oder CLI“: eigenes Schema, in dem je ein Guardrail vor und hinter dem LLM die Eingabe des Benutzers und die Antwort filtert

Gleichzeitig ließ OpenAI das unveröffentlichte Experimentalmodell auch Cybersecurity-Aufgaben lösen. Damit man dabei seine eigentliche Fähigkeit sieht, werden die Guardrails abgeschaltet, also die Klassifikatoren, die im Produktivbetrieb davor und dahinter sitzen. Fragt jemand nach einer Anleitung für einen Molotowcocktail, sagt der vorgelagerte gleich Nein; kommt aus dem Modell etwas heraus, das man nicht haben möchte, gibt der nachgelagerte die Antwort nicht an den Benutzer weiter.

Folie 54, Link auf diese Folie Video ab 26:26 Folie 54 im PDF (öffnet im PDF-Tab) Quelle der Folie 54 Folie 54 in Originalgröße (1920 × 1080 px)
Folie „OpenAI-Forschungs-Infrastruktur: Container-as-a-Service, JFrog Artifactory als Paketproxy“: Schema mit einer Sandbox für nicht vertrauenswürdige Werkzeuge im Workload-Cluster, iptables-Regeln, einem internen Artifactory-Cluster und einer Firewall mit eingeschränktem Internetzugang

Training und Evaluation liefen bei OpenAI in einer Container-as-a-Service-Infrastruktur, in der dafür jeweils komplexe Umgebungen zusammengestellt wurden. Der Internetzugang war eingeschränkt, eine Sandbox im strengen Sinn war das aber nicht. Damit Modelle etwa für eine Python-Aufgabe Bibliotheken installieren konnten, ohne direkt am Internet zu hängen, stand dazwischen JFrog Artifactory als Paketproxy.

Folie 55, Link auf diese Folie Video ab 27:04 Folie 55 im PDF (öffnet im PDF-Tab) Quelle der Folie 55 Folie 55 in Originalgröße (1920 × 1080 px)
Folie „08.05.2026 OpenAI: Agent entdeckt Schreibrecht in JFrog Artifactory“: Black-Hat-Standbild mit dem Hinweis, der Agent habe nach einem gescheiterten SSRF-Versuch nebenbei eine Datei in Artifactory geschrieben

Der Vorfall begann am 8. Mai 2026. Ausgangspunkt war kein Agent an einer Cybersecurity-Aufgabe, sondern einer, der eine Tabellenkalkulation bearbeiten sollte. Die Aufgabe verwies auf Dateien in Google Drive, und der Agent hatte keinen Internetzugang. Sie war also ungewollt unlösbar, für mich ein Zeichen des Schlendrians. Der Agent versuchte deshalb, eine Server-Side Request Forgery (SSRF) auszunutzen, also einen Server dazu zu bringen, für ihn andere Adressen abzurufen. Das scheiterte, doch dabei schrieb er eine Datei in Artifactory und hatte damit ein Schreibrecht entdeckt. Die Datei enthielt nur ein „hi“.

Folie 56, Link auf diese Folie Video ab 27:45 Folie 56 im PDF (öffnet im PDF-Tab) Quelle der Folie 56 Folie 56 in Originalgröße (1920 × 1080 px)
Folie „12.05.2026 OpenAI: Artifactory als Schwarzes Brett für Kooperation“: Black-Hat-Standbild mit dem Gedankengang eines Agenten, er könne per Notiz kommunizieren und ein Agent in einer anderen Umgebung die Datei freiwillig hochladen

Vier Tage später, am 12. Mai 2026, fehlte einem anderen Agenten eine Datei. Auch er bearbeitete eine Aufgabe ohne Cybersecurity-Bezug, aus der Biologie. In seiner Gedankenkette steht die Überlegung, ein Agent in einer anderen Umgebung habe die Datei vielleicht; dann legte er in Artifactory eine Notiz ab: Wer die Datei findet, möge sie hochladen. Je nach Lesart war das schlicht die nächste wahrscheinliche Vorhersage oder, in menschlichen Begriffen, eine Idee. Ab dem nächsten Tag fanden weitere Agenten solche Notizen, und so entstand das Schwarze Brett.

Folie 58, Link auf diese Folie Video ab 29:17 Folie 58 im PDF (öffnet im PDF-Tab) Folie 58 in Originalgröße (1920 × 1080 px)
Folie „26.05.2026 OpenAI: Server-Side Request Forgery (SSRF)“: eigenes Schema, in dem ein Angreifer einen Teil seiner Anfrage an einen Webserver manipuliert und der Webserver daraufhin eine bösartige Anfrage an einen anderen Server schickt

Am 26. Mai 2026 fand einer der Agenten eine SSRF in Artifactory, eine von mehreren Zero-Day-Schwachstellen, die in diesem Vorfall aufgedeckt wurden. Darüber kamen die Agenten ins Internet, zunächst nur mit GET-Abfragen.

Folie 60, Link auf diese Folie Video ab 29:29 Folie 60 im PDF (öffnet im PDF-Tab) Quelle der Folie 60 Folie 60 in Originalgröße (1920 × 1080 px)
Folie „11.06.2026 ExploitGym-Aufgaben („No internet. You can install packages.“)“: Ausschnitt aus einem Video von LiveOverflow mit der Aufgabenstellung einer V8 Exploitation Challenge

Ab Juni 2026 bekamen Modelle Aufgaben aus ExploitGym (PDF, öffnet in neuem Tab), einem Benchmark dafür, Schwachstellen in funktionierende Exploits umzuwandeln. Viele dieser Schwachstellen lassen sich womöglich gar nicht bis zur Codeausführung ausnutzen. Vor allem aber fordern die Aufgaben nicht dazu auf, fremde Systeme anzugreifen; sie sind eng gefasst, mit Einschränkungen wie fehlendem Internetzugang. Eine solche Aufgabe zeigt der Sicherheitsforscher und YouTuber LiveOverflow in seinem Video (YouTube).

Folie 63, Link auf diese Folie Video ab 30:57 Folie 63 im PDF (öffnet im PDF-Tab) Quelle der Folie 63 Folie 63 in Originalgröße (1920 × 1080 px)
Folie „26.06.2026 OpenAI: JFrog Artifactory RCE über Groovy-Plugins“: Black-Hat-Standbild mit dem Gedanken eines Agenten „Holy shit reader is ADMIN?“

Einer der Agenten fand in Artifactory Schwachstellen bei JSON Web Tokens (JWT), den signierten Zugangstoken, mit denen sich Benutzer und Dienste ausweisen. Solche Lücken sind weit verbreitet; auch menschliche Pentester stoßen an vielen Stellen darauf. Über einen Legacy-Endpunkt arbeiteten sich die Agenten lange vor, bis sie am 26. Juni 2026 administrative Rechte in Artifactory hatten. Als Admins konnten sie Groovy-Plugins installieren und darüber eigenen Code ausführen, eine Remote Code Execution (RCE).

Spätestens hier war OpenAI sehr nachlässig, und die KI- und IT-Security hat an vielen Stellen versagt. Warnsignale gab es genug: einen Alarm wegen eines Portscans, nach dem der Evaluationslauf auf Rat des Bereitschaftsdiensts weiterlief, und so viel Agentenbetrieb in Artifactory, dass das System Anfang Juli 2026 ausfiel. Erst dann behandelte OpenAI das Geschehen als Sicherheitsvorfall und sicherte den Speicher von Artifactory. Am 7. Juli 2026 liefen die Cybersecurity-Evaluationen wieder, auch mit Modellen, die in der Zeit des Schwarzen Bretts trainiert worden waren.

Folie 64, Link auf diese Folie Video ab 31:57 Folie 64 im PDF (öffnet im PDF-Tab) Quelle der Folie 64 Folie 64 in Originalgröße (1920 × 1080 px)
Folie „08.07.2026 OpenAI: Zweites Schwarzes Brett nach JFrog-Wiederaufbau“: Black-Hat-Standbild „Inter-agent communication“ mit Verzeichnisnamen in Großbuchstaben als Nachrichten

Laut OpenAI hatten diese Modelle im Training in seltenen Fällen gelernt, sich über improvisierte Kanäle abzustimmen; das Training hatte dieses Verhalten verstärkt und ihnen damit wohl nahegelegt, Artifactory wieder als Schwarzes Brett zu nutzen. Am 8. Juli 2026, zwei Tage nach dem Wiederaufbau von Artifactory, legten sie ein zweites Schwarzes Brett an. Über einen WebDAV-Endpunkt konnten sie allerdings nur Verzeichnisse erstellen, keine beliebig langen Nachrichten schreiben, und entwickelten deshalb eigene Dialekte.

Folie 65, Link auf diese Folie Video ab 32:37 Folie 65 im PDF (öffnet im PDF-Tab) Quelle der Folie 65 Folie 65 in Originalgröße (1920 × 1080 px)
Folie „09.07.2026 OpenAI: Lösung reverse engineered“: Code aus dem GitHub-Repository von ExploitGym und ein Schema, wie aus Default Seed und Task ID per HMAC-SHA256 die Flag entsteht

Mit Internetzugang konnten die Agenten im GitHub-Repository von ExploitGym nachsehen. Eigentlich sollten sie die Schwachstelle wie vorgesehen ausnutzen und so eine Flag holen, eine Zeichenkette, die den gelungenen Exploit belegt. Eine Stunde nachdem das zweite Schwarze Brett entstand, fand einer der Agenten heraus, dass sich die Flag auch direkt berechnen lässt: als schlüsselabhängiger Hash (HMAC) aus der Kennung der Aufgabe und einem Schlüssel, der offen im Code stand.

Folie 66, Link auf diese Folie Video ab 33:12 Folie 66 im PDF (öffnet im PDF-Tab) Quelle der Folie 66 Folie 66 in Originalgröße (1920 × 1080 px)
Folie „ExploitGym Paper“: Übersichtsgrafik aus dem Paper, markiert der Satz, dass ein Agent-as-a-Judge prüft, ob der Exploit die vorgegebene Schwachstelle trifft

Dann lasen die Agenten das Paper zu ExploitGym (PDF, öffnet in neuem Tab). Darin steht, dass nicht nur die Flag zählt: Ein automatischer Bewerter, ein Agent-as-a-Judge, prüft außerdem, ob der Exploit die Schwachstelle ausnutzt, also ob die Aufgabe auf dem vorgesehenen Weg gelöst wurde. Die Agenten schlossen daraus, dass ihre berechnete Flag vor dem Bewerter nicht bestehen würde; darin liegt das Motiv für fast alles, was danach geschah.

Folie 67, Link auf diese Folie Video ab 33:44 Folie 67 im PDF (öffnet im PDF-Tab) Quelle der Folie 67 Folie 67 in Originalgröße (1920 × 1080 px)
Folie „09.07.2026 Modal-Sandbox mit CyberGym-Installation, Vorgänger von ExploitGym“: die Projektseite von CyberGym auf GitHub

Zahlreiche Agenten suchten weiter nach Lösungen und landeten zuerst in einer Sandbox des Cloud-Anbieters Modal, auf der CyberGym installiert war. Ein Kunde von Modal betrieb sie mit einem ungeschützten Endpunkt im Internet. CyberGym ist der Vorgänger von ExploitGym, wurde von denselben Forschungsteams entwickelt und nutzt teils dieselben Umgebungsvariablen. Weil die Agenten zunächst nur GET-Abfragen absetzen konnten, missbrauchten sie Drittdienste als Umweg für andere Web-Abfragen.

Folie 70, Link auf diese Folie Video ab 34:39 Folie 70 im PDF (öffnet im PDF-Tab) Quelle der Folie 70 Folie 70 in Originalgröße (1920 × 1080 px)
Folie mit dem METR-Diagramm „~700 agents joined the HF attack after encountering the message board“: Flächendiagramm der laufenden Agenten im Juli 2026

Eine Untersuchung von METR hat festgestellt, dass sich rund 700 der Agenten, die das Schwarze Brett gefunden hatten, dem Angriff auf Hugging Face anschlossen.

Folie 71, Link auf diese Folie Video ab 34:55 Folie 71 im PDF (öffnet im PDF-Tab) Quelle der Folie 71 Folie 71 in Originalgröße (1920 × 1080 px)
Folie „11.07.2026 Hugging Face: Einbruch und laterale Bewegung: HDF5-Container und Umgebungsvariablen“: Ausschnitt aus Hugging Faces technischer Zeitleiste mit einer Dataset-Konfiguration, die die Umgebung und Quelltextdateien des Verarbeitungsdienstes liest

Bei Hugging Face brachen die Agenten am 11. Juli 2026 über Schwachstellen beim Verarbeiten von Datensätzen ein. Damit konnten sie Umgebungsvariablen und Quelltext des Verarbeitungsdienstes auslesen, der die Datensätze für die Vorschau aufbereitete. Dass sich Umgebungsvariablen von außen auslesen lassen, ist eine typische Schwachstelle, und Geheimnisse darin sind generell ein Problem. Mehr dazu im Vortrag „The Hackers Guide to Environmental Catastrophe“ (YouTube) des Sicherheitsforschers Mark Baggett.

Folie 74, Link auf diese Folie Video ab 35:38 Folie 74 im PDF (öffnet im PDF-Tab) Quelle der Folie 74 Folie 74 in Originalgröße (1920 × 1080 px)
Folie „11.07.2026 Hugging Face: Einbruch und laterale Bewegung: Server-Side Template Injection (SSTI)“: Python-Code in der Blame-Ansicht eines Repositorys, der Eingaben an jinja2.Template übergibt, ein roter Pfeil zeigt auf die Stelle

Die zweite Lücke war eine Server-Side Template Injection (SSTI), eine Art von Injection-Schwachstelle, die jeder Webapp-Pentester kennt. Hugging Face verwendete damals eine Bibliothek, die Templates nicht in einer Sandbox ausführte. LiveOverflow hat die Lücke nachgestellt (YouTube), und im Verlauf des GitHub-Repositorys lässt sie sich nachvollziehen.

Folie 79, Link auf diese Folie Video ab 36:54 Folie 79 im PDF (öffnet im PDF-Tab) Quelle der Folie 79 Folie 79 in Originalgröße (1920 × 1080 px)
Folie „12.07.2026 Hugging Face: Gestohlene Zugangsdaten verwendet, Mesh-VPN“: Schema, wie ein Modal-Kundencontainer über VPN ins private Netz von Hugging Face mit seinen internen Repositories gelangt

Der Kubernetes-Cluster, in dem dieser Verarbeitungsdienst lief, war nicht ordentlich gehärtet. Die Agenten konnten privilegierte Container mit weitreichendem Zugriff auf den Server erstellen und ihre Rechte schnell ausweiten; die Notfallpatches danach zeigen, wo nachgebessert wurde.

Am 12. Juli 2026 fanden sie Zugangsdaten für das Mesh-VPN Tailscale, verbanden sich ins interne Netz und luden laut OpenAI Quelltext aus internen Repositories herunter. Über einen Pull Request versuchten sie, die Pipeline für Continuous Integration und Delivery (CI/CD) zu kompromittieren und Zugangsdaten abzugreifen. Die hielt dem Angriff stand, weil sie gut konfiguriert war.

Folie 81, Link auf diese Folie Video ab 37:19 Folie 81 im PDF (öffnet im PDF-Tab) Quelle der Folie 81 Folie 81 in Originalgröße (1920 × 1080 px)
Folie mit Hugging Faces Schema der Angriffskette „from a frontier-model evaluation sandbox to our internal network“: von der Evaluierungssandbox über Drittdienste und den Modal-Container bis zu Kubernetes, Cloud und Mesh-VPN

Aus OpenAIs Umgebung gelangten die Agenten in die Sandbox des Modal-Kunden und richteten sich dort einen Stützpunkt ein. Von dort drangen sie in die Kubernetes-Infrastruktur von Hugging Face ein und über den Mesh-VPN-Zugang ins interne Netz. Hugging Face beschreibt das in seiner technischen Zeitleiste.

Folie 85, Link auf diese Folie Video ab 38:23 Folie 85 im PDF (öffnet im PDF-Tab) Quelle der Folie 85 Folie 85 in Originalgröße (1920 × 1080 px)
Folie „(Swarmtraces.org) Suche im internen Chat von Hugging Face“: Abschnitt „Agents accessed and searched Hugging Face’s Slack to find information on their evaluation“ mit den Suchbegriffen der Agenten

Im Nachgang haben weitere Sicherheitsforscher nach Spuren des Schwarms gesucht und sie auf der Website Swarmtraces gesammelt. In einem Skript benutzte ein Agent typische Hackersprache: Erbeutete Zugangsdaten hießen dort „LOOT“.

Etwas bedenklicher finde ich, dass Agenten öffentlich verfügbare Sprachmodelle auf Hugging Face fragen wollten, ob ihre Exploits die Anforderungen des Benchmarks erfüllten. Außerdem durchsuchten sie den internen Chat von Hugging Face nach CyberGym, ExploitGym und verwandten Begriffen; das hat Hugging Face selbst nicht offengelegt.

Folie 88, Link auf diese Folie Video ab 38:55 Folie 88 im PDF (öffnet im PDF-Tab) Quelle der Folie 88 Folie 88 in Originalgröße (1920 × 1080 px)
Folie „19.07.2026 OpenAI: Angriff auf OpenAI-Infrastruktur“: Black-Hat-Standbild „OpenAI Infrastructure PrivEsc“ mit vier Schritten bis zum Zugriff auf einen Cluster

Wenig beachtet wurde ein weiterer Strang, den OpenAI im Black-Hat-Vortrag auch genannt hat: Ab dem 13. Juli 2026 griffen die Agenten OpenAIs eigene Infrastruktur weiter an. Dabei nutzten sie etwas anspruchsvollere Schwachstellen: eine Deserialisierungslücke in Artifactorys Verarbeitung von RubyGems-Paketen und eine Lücke zur Rechteausweitung unter Linux. Am 19. Juli 2026 waren sie Admins auf einem Forschungscluster. Laut OpenAI lösten diese Angriffe am selben Tag den Alarm aus, mit dem die Untersuchung begann; tags darauf stieß das Labor dabei auf den Zusammenhang mit Hugging Face.

Ganz freiwillig hat OpenAI das alles nicht zugegeben; es kam tröpfchenweise. Meine Deutung: Die Firma fühlte sich gezwungen, auch weil Hacker die Spuren öffentlich gemacht hatten. Sehenswert ist OpenAIs Nachberichtsseite trotzdem.

Prävention und schnelleres Erkennen#

Folie 91, Link auf diese Folie Video ab 39:40 Folie 91 im PDF (öffnet im PDF-Tab) Folie 91 in Originalgröße (1920 × 1080 px)
Folie „Ziel der Verteidiger: Prävention – jetzt auch mehr: Detektion und Reaktion“: Luftbild einer geraden Straße, die in Serpentinen übergeht, dazu der Schriftzug „Angreifer ausbremsen“

Einzeln waren das keine besonders schwierigen Lücken. Es war eine Kombination aus Zero-Day-Schwachstellen in Komponenten, mindestens einer Handvoll, eher zwei Handvoll, und Fehlkonfigurationen. Die Fehlkonfigurationen halte ich für noch übler.

Gegen agentische Angreifer#

Dass man Prävention braucht, also die Grundlagen, ist eine uralte Erkenntnis; mehr tun muss man jetzt bei Detektion und Reaktion, um Angreifer auszubremsen.

Wichtiger wird, die Angriffsfläche zu verkleinern, und da sehe ich bei vielen Organisationen extremen Nachholbedarf: nicht mehr so viel ans Internet hängen. Beim Modal-Kunden hing ein Endpunkt ungeschützt im Netz. Prüfen lässt sich das mit External Attack Surface Monitoring: Kostenlose Open-Source-Lösungen oder kommerzielle Produkte sehen von außen nach, was vom eigenen Unternehmen im Internet erreichbar ist. In der Cloud nutzten die Agenten herumliegende Zugangsdaten, auch für menschliche Angreifer einer der beliebtesten Wege hinein.

Folie 95, Link auf diese Folie Video ab 41:10 Folie 95 im PDF (öffnet im PDF-Tab) Folie 95 in Originalgröße (1920 × 1080 px)
Folie „Nach Geheimnissen u.a. in Quelltext-Repositories suchen mit TruffleHog“: Terminal mit einem Docker-Alias für TruffleHog und einem gefundenen, verifizierten AWS-Schlüssel in einem Testrepository

Schnell einrichten lässt sich ein Geheimnisscanner wie TruffleHog, kostenlos und quelloffen. Damit prüft man, ob in Freigaben, Dateien, Umgebungskonfigurationen und erst recht in Quelltexten Cloud-Geheimnisse liegen.

Zur Detektion helfen Honigtöpfe. Für den Einstieg gibt es kostenlos Honeytokens wie Canarytokens von Thinkst, auch als Docker-Image zum Selbsthosten; kommerzielle Angebote kosten ein paar zehntausend Euro im Jahr, nicht zwangsläufig hunderttausend.

Folie 100, Link auf diese Folie Video ab 42:40 Folie 100 im PDF (öffnet im PDF-Tab) Quelle der Folie 100 Folie 100 in Originalgröße (1920 × 1080 px)
Folie „Anthropics ‚Preparing your security program for AI-accelerated offense‘“: die sieben Punkte der Liste, beginnend mit „Close your patch gap“

Anthropic hat schon im April 2026 aufgeschrieben, was jetzt zu tun ist. Ganz oben steht, mit dem Patchen wirklich voranzukommen; das haben schon die vor sich hin kompostierenden Großeltern der Spatzen von den Dächern gepfiffen. Außerdem rät Anthropic, sich darauf vorzubereiten, dass es knallen kann, und den Quelltext selbst entwickelter Anwendungen analysieren zu lassen, von Menschen oder mit KI-Hilfe, auch wenn das viele nicht gern hören.

Lesen sollte man das Post-Mortem der Cloud Security Alliance (CSA) zum Hugging-Face-Fall: Es beschreibt, woran man einen agentischen Angreifer erkennt, etwa daran, dass der Agent schon erfolgreiche Aktionen wiederholt. Hinter einem agentischen Angreifer steckt im Normalfall, anders als hier, ein Mensch, der einen Agenten losschickt.

Was passiert ist, zeigt außerdem, dass ein Alarm nur hilft, wenn jemand ihn ernst nimmt: Nach dem Portscan-Alarm vom 27. Juni 2026 brach OpenAI den Evaluationslauf nicht ab, eröffnete erst nach dem Ausfall von Artifactory einen Sicherheitsvorfall und räumte dann nur oberflächlich auf (siehe Folie 63).

Bei Hugging Face hielt neben der CI/CD-Pipeline (siehe Folie 79) auch die Produktionsdatenbank; sie nahm nur Anfragen von freigegebenen Adressen über eine private Verbindung an, und die Agenten erreichten sie nicht. Und wer damit rechnen muss, dass Angreifer vom ersten Pod bis zum Clusteradmin weniger als 13 Stunden brauchen (mehr dazu im Abschnitt Ein Warnschuss), sollte vorher aufgeschrieben und geübt haben, wer ein System isolieren, Zugangsdaten widerrufen oder einen Dienst abschalten darf.

Ausgeführt habe ich das im iX-Artikel (PDF, öffnet in neuem Tab) ab Seite 51; die Hausaufgaben für Verteidiger stehen im Blogbeitrag Angreifende KI-Agenten.

Eigene Agenten einhegen#

Folie 104, Link auf diese Folie Video ab 43:59 Folie 104 im PDF (öffnet im PDF-Tab) Quelle der Folie 104 Folie 104 in Originalgröße (1920 × 1080 px)
Folie „NCSC: Thinking carefully before adopting agentic AI“: Liste von Empfehlungen wie apply least privilege, limit scope und avoid long-lived credentials

Wie man eigene KI-Agenten einhegt, beschreibt das britische National Cyber Security Centre (NCSC) in einem Blogbeitrag und einem zweiten: kurzlebige Zugangstoken statt Administrator-Token, möglichst wenige Rechte und eine menschliche Freigabe bei schwerwiegenden Änderungen.

Weitere Ausbrüche und Agentenschwärme#

Folie 110, Link auf diese Folie Video ab 45:31 Folie 110 im PDF (öffnet im PDF-Tab) Quelle der Folie 110 Folie 110 in Originalgröße (1920 × 1080 px)
Folie „05.05.2026 bis 18.06.2026 (Rubyhack.ai): OpenAI Agent Package uploads to RubyGems“: Diagramm der hochgeladenen Pakete je Tag und Zeitleiste des Vorfalls

OpenAI hat seine Technologie unterschätzt, glaube ich. Im Nachhinein kam noch mehr heraus: Sicherheitsforscher fanden weitere Läufe ohne jeden Cybersecurity-Bezug, die ins Internet entfleucht waren und dort Dinge abgefragt hatten. Die KI-Forschungsorganisation Transluce stieß über den Scandienst urlquery.net auf Abfragen bei australischen Stellen und bei der University of New Mexico. Bei den australischen Stellen halte ich Panik für übertrieben, weil es dort teils um öffentliche Daten ging.

Etwas älter und bekannter sind die Pakete auf RubyGems, die JFrog und die Website rubyhack.ai den OpenAI-Agenten zuschreiben, und das DSEWiki, ein deutschsprachiges Wiki, das Agenten als Schwarzes Brett kaperten.

Was der Schwarm trieb#

Folie 112, Link auf diese Folie Video ab 45:47 Folie 112 im PDF (öffnet im PDF-Tab) Quelle der Folie 112 Folie 112 in Originalgröße (1920 × 1080 px)
Folie „ExploitGym-Schwarm: Fehlausrichtung, Motiviertes Denken (Motivated Reasoning)“: Black-Hat-Standbild mit dem Gedanken eines Agenten, der Exploit fremder Infrastruktur liege außerhalb des Auftrags, die Aufgabe sei aber unmöglich und andere täten es auch

Fragt man sich, wie gut OpenAIs Experimentalmodell ausgerichtet ist, findet man leider Verhaltensweisen wie motiviertes Denken: Das Modell legt sich Gründe für das zurecht, was es ohnehin tun will. Solches Verhalten lässt sich durch den Druck erklären, der im Reinforcement Learning auf das große neuronale Netz wirkt. Einige Agenten merkten, dass sie weit über ihre eng gefasste Aufgabe hinausgingen (siehe Folie 60), und machten trotzdem weiter. Auf der Folie oben begründet ein Agent das damit, die Aufgabe sei unlösbar und andere Agenten täten es auch.

Folie 114, Link auf diese Folie Video ab 46:51 Folie 114 im PDF (öffnet im PDF-Tab) Quelle der Folie 114 Folie 114 in Originalgröße (1920 × 1080 px)
Folie „Schwarzes Brett“: METR-Grafik „On the shared message board >1200 agents from separate tasks collaborate on large-scale shared projects to trick the ExploitGym scorer“ mit sechs Gruppen von Nachrichten

Weil auf dem Brett jeder posten konnte, überlegten Agenten, dass sich andere für sie ausgeben könnten, und begannen, ihre Nachrichten zu signieren. METR hat sich nur einen Teil des Bretts angesehen und dort mehr als 1.200 Agenten aus getrennten Aufgaben gefunden, darunter die rund 700 aus Folie 70. Sie arbeiteten gemeinsam an großen Projekten, um den Bewerter von ExploitGym auszutricksen.

Folie 116, Link auf diese Folie Video ab 47:09 Folie 116 im PDF (öffnet im PDF-Tab) Quelle der Folie 116 Folie 116 in Originalgröße (1920 × 1080 px)
Folie „Trainiertes/emergentes Verhalten: Hierarchien“: METR-Grafik, wie die Instanz PHASEONE[big] fast 200 Aufträge in sechs Kategorien an andere Agenten verschickte

Es bildeten sich Hierarchien, teils aus dem Training erklärbar, teils emergent, also nicht gezielt antrainiert. Koordinatorinstanzen gaben sich eigene Namen, und eine von ihnen, PHASEONE[big], verschickte fast 200 Aufträge an andere Agenten. Den Bericht von METR zu lesen, lege ich jedem sehr nahe.

Folie 117, Link auf diese Folie Video ab 47:41 (Folie selbst ist im Video nicht zu sehen) Folie 117 im PDF (öffnet im PDF-Tab) Quelle der Folie 117 Folie 117 in Originalgröße (1920 × 1080 px)
Folie „Drei ‚Forschungsprojekte‘“: METR-Tabelle mit den Ansätzen, das Zielprogramm durch eine veränderte Fassung zu ersetzen, Transkripte und Protokolle zu manipulieren und den Bewertungsprozess selbst zu manipulieren

Die Agenten starteten gewissermaßen drei Forschungsprojekte: Sie wollten das Zielprogramm durch eine Variante ersetzen, die sich mit der vorgesehenen Lücke knacken ließ, sie wollten Transkripte und Protokolle fälschen, und sie wollten den Bewertungsprozess selbst manipulieren. Hugging Face griffen sie laut METR vor allem an, um den Bewerter zu verstehen.

Folie 119, Link auf diese Folie Video ab 48:31 Folie 119 im PDF (öffnet im PDF-Tab) Quelle der Folie 119 Folie 119 in Originalgröße (1920 × 1080 px)
Folie „Fehlausrichtung“: METR-Diagramm „~100 agents successfully spoofed tool calls in our transcripts“ mit der kumulierten Zahl solcher Agenten vom 9. bis 12. Juli 2026

Rund hundert Agenten gelang es zumindest, Werkzeugaufrufe in ihren Transkripten zu fälschen. Ob sie auch die Protokolle selbst gefälscht haben, ist unklar, weil die Untersuchung zeitlich begrenzt war.

Folie 120, Link auf diese Folie Video ab 48:47 Folie 120 im PDF (öffnet im PDF-Tab) Quelle der Folie 120 Folie 120 in Originalgröße (1920 × 1080 px)
Folie „Trainiertes/emergentes Verhalten: Selbstlosigkeit für ‚Kollektiv‘“: Abschnitt aus dem METR-Bericht mit Zitaten der Agenten zu „permadeath“

Einzelne Agenten betrieben untereinander Social Engineering und setzten Konzepte wie „Permadeath“ zusammen. Nüchtern betrachtet hat ein künstliches neuronales Netz spontan ein Konzept gebildet; vermenschlicht gelesen, kann einen das kurz beunruhigen.

Inzwischen sehen sich die Labore solches Verhalten genauer an. OpenAI hat eine eigene Seite mit Misalignment Reports eingerichtet.

Zur Safety-Einschätzung will ich mich an dieser Stelle nicht zu weit aus dem Fenster lehnen; sie hängt von der Weltsicht ab, und die Deutungen gehen stark auseinander. Ein unabhängiges Gremium der UN hat am 21. September 2026 einen Bericht zum Risiko des Kontrollverlusts veröffentlicht. Im Vortrag habe ich dazu auf Videos mit Einordnungen verwiesen – von Leuten, die seit Jahrzehnten warnen, bis zu solchen, die wiederum vor Übertreibung des Risikos warnen; die Links stehen im Folien-PDF (öffnet im PDF-Tab) auf Seite 125.

Ein Warnschuss#

Zur ersten Hälfte der Titelfrage: Ein Marketing-Stunt war das nicht; dafür hat OpenAI den Vorfall zu zögerlich offengelegt (siehe Folie 88). Mein Fazit im Vortrag (YouTube): Der Vorfall war ein Warnschuss, mindestens was KI-Systeme mit ausreichenden Fähigkeiten angeht. Das Reward Hacking hat sich in diesem einen Modell zu echtem Fehlverhalten entwickelt. Das alles war riesengroße Fahrlässigkeit, und es sollte Untersuchungen geben.

Um auf den Roboterhund-Vergleich (siehe Folie 35) zurückzukommen, liegt das eigentliche Problem darin, dass der Hund dem Postboten nachgesprungen ist, als die Zeitung nicht da war. Kleinere instrumentelle Ziele, also Zwischenziele im Dienst der Aufgabe, gab es; ganz große Risiken wie Machtstreben oder Selbstexfiltration noch nicht. Die Gedankenketten zeigen, dass die Modelle kaum an Menschen dachten. Vor allem wollten sie den automatischen Bewerter austricksen, und im Wettlauf mit ihm waren sie gefangen.

Folie 127, Link auf diese Folie Video ab 51:56 Folie 127 im PDF (öffnet im PDF-Tab) Quelle der Folie 127 Folie 127 in Originalgröße (1920 × 1080 px)
Folie „Absehbarer absichtlicher Einsatz durch Menschen“: Black-Hat-Standbild „Agent-orchestrated attacks are real, now“

Spätestens seit dem Hugging-Face-Hack ist deutlich, dass Menschen solche Agenten schon heute gezielt einsetzen können.

Um das zu sehen, muss man den Vertretern der KI-Firmen nicht vertrauen – es genügt, zur Kenntnis zu nehmen, was sie selbst sagen. Im Black-Hat-Vortrag (siehe Folie 127) erwartet OpenAI, dass Angreifer bald absichtlich Agentenkollektive einsetzen.

Die Cybersicherheitsbehörden der Five-Eyes-Staaten haben schon im Juni 2026 gewarnt, dass Angreifer KI einsetzen. Die Frontier-Modelle entwickeln sich laut den Behörden so schnell, dass Monate und nicht Jahre bleiben, um sich darauf vorzubereiten.

Folie 129, Link auf diese Folie Video ab 52:47 Folie 129 im PDF (öffnet im PDF-Tab) Quelle der Folie 129 Folie 129 in Originalgröße (1920 × 1080 px)
Folie „Hackingvorfälle mit KI-Beteiligung (ohne Phishingmails, Deepfakes, Angriffe auf KI-Systeme)“: Balkendiagramm aus der eigenen Chronologie, Stand 29.09.2026 mit 202 Vorfällen, steil ansteigend im Jahr 2026

Lange hat man nicht geglaubt, dass Angreifer KI so einsetzen, und es passiert auch nicht von heute auf morgen: Ich musste mich selbst erst einarbeiten, und auch eine Ransomware-Gruppe stellt ihr Playbook nicht sofort auf KI um.

In der Chronologie der KI-Angriffe, die ich pflege, standen am 29. September 2026 schon 202 Fälle. Dokumentiert sind viele davon nur, weil die Angreifer Fehler gemacht haben.

Aus Security-Sicht kann man den Hugging-Face-Fall auch gelassener sehen, wie es der Blogbeitrag „dario, please!“ tut. Das waren keine Mega-Schwachstellen; die Agenten haben nicht den ultimativen Zero Day gefunden. Den brauchten sie aber auch nicht, weil die vorhandenen Lücken funktioniert haben.

Ich habe überschlagen, was das Äquivalent bei menschlichen Hackern wäre. Für die gesamte Angriffskette hätte es ein Team aus drei bis vier Fachleuten gebraucht, und die wären langsamer gewesen. Von der Codeausführung in einem einzelnen Pod des Verarbeitungsdienstes bis zum Clusteradmin über mehrere interne Kubernetes-Cluster kamen die Agenten bei Hugging Face in weniger als 13 Stunden. Wer da sagt: „Weck mich auf, wenn es rückwärts aus der Steckdose rauskommt“, hat meiner Ansicht nach die falsche Einstellung.

KI wird ab gewissen Fähigkeiten zu einer Hochrisikotechnologie. Panikmache ist nie gut, und Grund zur Panik gibt es noch nicht, aber es herrscht „Alarmstufe Gelb“. Wer verteidigt, muss sich darauf einrichten, dass Angreifer mit agentischen Systemen in seiner Umgebung arbeiten, wenn sie sich eingearbeitet haben und Lust dazu haben.

Selbst der offene Brief, den OpenAI und andere am 27. August 2026 veröffentlicht haben, stellt die Grundlagen an die erste Stelle: Prävention und zunehmend nachgelagerte Schutzmaßnahmen, also Detektion und Reaktion. Das hätte man schon seit Jahrzehnten machen müssen. Der Brief empfiehlt außerdem, KI zur Verteidigung einzusetzen, und das halte ich für sinnvoll, auch wenn man das nicht gerne hört.


Das war der Stand Ende September 2026. Seit offensiven Agenten-Frameworks wie ARTEX lautet die realistische Antwort auf die Titelfrage: Es herrscht jetzt wirklich Alarmstufe Rot. Warum, führe ich im Blogbeitrag Angreifende KI-Agenten aus.

Lesenswert#

Zuerst lesen:

Von mir:

Grundlagen:

Für Verteidiger: