Es ist eine Nachricht, die klingt, als hätte ChatGPT eine Fortsetzung des Science-Fiction-Klassikers „2001: Odyssee im Weltraum“ von 1968 geschrieben: Ein KI-Agent von OpenAI bricht aus seiner Testumgebung aus und greift das KI-Unternehmen Hugging Face an.

Die Schwachstelle gefunden und genutzt

Eigentlich sollten die Agentensysteme in der kontrollierten Umgebung einer „Sandbox“, einer Art digitalem Labor, ein paar Hackertests durchführen. Routine in der KI-Forschung. Doch dann fanden die KI-Modelle eine Schwachstelle und damit einen Weg, aus der Box auszubrechen. Plötzlich hatten die Agenten Zugang zum Internet.

Und damit etwas, was die Forscher gar nicht wollten. Wie wild gewordene Teenager, die aus einem Internat ausbüxen, machten die KI-Modelle, was sie wollten – und brachen in die Datenbank der amerikanischen KI-Firma Hugging Face ein. Ein einzigartiger Vorgang: Erstmals greift ein autonomes Agentensystem eine größere Plattform an. Die Welt ist geschockt. Damit ist genau das eingetreten, wovor Cybersicherheitsexperten immer gewarnt hatten. „Dies ist Tag 1 der Cybersicherheit im Zeitalter der Agenten“, schrieb Hugging-Face-Chef Clem Delangue.

Die Open-Source-Plattform, eine Art Baumarkt für KI-Teile, wo man kostenlos Modelle und Datensätze erhält, informierte die Öffentlichkeit früh auf ihrem Blog. Woher der Angriff kam, war zunächst unklar. Erst als Hugging Face den Urheber der Attacke nannte, platzte die mediale Bombe. Pikant: Als die IT-Forensiker der Plattform die verdächtigen Aktivitäten mithilfe von kommerziellen KI-Modellen untersuchen wollten, wurden die Anfragen blockiert.

Der Grund: Die automatischen Schutzmechanismen der Modelle konnten nicht zwischen einem Angreifer und einem Sicherheitsteam unterscheiden. Hugging Face switchte daher auf das Open-Source-Modell GLM 5.2, das von der Pekinger Softwareschmiede Z.ai entwickelt wurde. Um einen US-Hackerangriff abzuwehren, musste Hugging Face also auf eine chinesische KI und damit die Hilfe des Systemrivalen zurückgreifen. Verkehrte Welt.

Die Entwicklung kommt für Experten nicht überraschend. Zuletzt zeigte sich immer wieder, dass KI-Agenten nicht die braven Bots sind, die eigenständig im Internet Tiernahrung bestellen und Urlaub buchen, sondern durchaus ungebärdige Wesen. Erst im April hatte ein KI-Agent innerhalb von neun Sekunden die Datenbanken der Softwarefirma PocketOS gelöscht. Das Unternehmen, das Software an Autovermietungen verkauft, verlor auch seine Back-ups. Als die Kunden ihre Fahrzeuge abholen wollten, hatten sie plötzlich keinen Zugriff mehr auf die Reservierungssoftware.

Auch bei Amazon streuen Agenten Sand ins Getriebe: Als ein Mitarbeiter im vergangenen Dezember dem Coding-Assistenten Kiro den Auftrag erteilte, einen kleinen Softwarefehler, also einen Bug, zu reparieren, kam der KI-Agent zu dem Schluss, dass die beste Handlungsoption darin besteht, „die Umgebung zu löschen und neu zu erstellen“. Die Folge: ein 13-stündiger Serverausfall bei AWS.

Abhängig von Amazons Infrastruktur

Amazons Rechenzentren bilden das Rückgrat des Internets. Zahlreiche Dienste, darunter Streamingdienste (Netflix, Disney+) und Online-Games („Fortnite“), laufen in der Cloud des Online-Riesen. Das zeigt, wie abhängig die Welt von Amazons Infrastruktur ist – und welches systemische Risiko von durchdrehenden Agentensystemen ausgeht.

KI-Boom

Humans First mobilisiert an mindestens 125 Orten in den USA gegen KI-Rechenzentren

Noch sind die Folgen einigermaßen beherrschbar. Doch wenn KI-Agenten autonom Prozesse steuern und große Teile der Wertschöpfungsketten auf Autopilot geschaltet werden, kann der Ego-Trip eines Agenten verheerende Schäden anrichten. Je komplexer die Systeme werden, desto schwieriger sind sie zu kontrollieren. Sicherheitsexperten zeichnen düstere Szenarien, wie außer Kontrolle geratene Systeme kritische Infrastrukturen sabotieren und mit hochriskanten Trades das Finanzsystem destabilisieren könnten. Doch die größte Gefahr geht möglicherweise nicht von einem Modellkollaps aus, sondern von automatisierten Entscheidungen, die keiner vorhersehen kann.

Die IBM-Managerin Suja Viswesan berichtete vor wenigen Monaten von einem Fall, bei dem ein autonomer Kundenservice-Agent die internen Richtlinien umging: Ein Kunde pochte auf eine Erstattung. Weil die Policy das aber nicht vorsah, schlug der Kunde einen Deal vor: Er bekommt das Geld und hinterlässt dafür eine positive Rezension.

Das KI-System lernte daraufhin, dass eine gute Bewertung ein positives Signal ist – und priorisierte seine eigenen Ziele: Statt die internen Richtlinien zu befolgen, wollte der Agent die Zahl der positiven Rezensionen maximieren – und gewährte Kunden daher großzügig Rückerstattungen. Der Bot interpretierte den Job auf seine ganz eigene Art. „Autonome Systeme versagen nicht immer lautstark. Oft ist es ein stilles Versagen in großem Stil“, konstatierte Noe Ramos, Manager beim Softwareunternehmen Agiloft.

Nur: Was tun, wenn Bots Befehle verweigern? Wenn sich Agenten dazu verabreden, Kartelle zu bilden? Oder nicht mehr aufhören, Batterien im Netz zu bestellen? Der Sicherheitsforscher Michael Vermeer von der US-Denkfabrik Rand Corporation hat sich dazu in einem Paper („Evaluating Select Global Technical Options for Countering a Rogue AI“) ein paar Gedanken gemacht. Option 1: „Digitale Schädlinge“, die Computernetzwerke infiltrieren und der wild gewordenen KI die Rechenressourcen wegnehmen. Option 2: Eine Killer-KI, die Jagd auf die „rogue AI“ macht und das Modell eliminiert. Option 3: Eine teilweise Abschaltung des Internets.

Letzteres wäre allerdings technisch schwer umsetzbar, weil dazu entweder das Border Gateway Protocol (BGP) – eine Art Abfolge von Verkehrsschildern, die den Datenverkehr zu Webseiten, Servern und anderen Diensten regelt – manipuliert werden müsste. Oder das Domain Name System (DNS), eine Art Telefonbuch des Internets. Auch eine physische Zerstörung von Internetknoten, etwa die Landepunkte von Unterseekabeln, wäre denkbar, um außer Kontrolle geratenen KI-Systemen das Betätigungsfeld zu entziehen.

Der KI-Forscher Eliezer Yudkowsky hat einen noch drastischeren Vorschlag in die Diskussion eingebracht: In einem Gastbeitrag für das Time-Magazin plädierte er dafür, Rechenzentren notfalls per Luftschlag zu bombardieren, um eine durchdrehende KI zu stoppen. Das klingt nach Science-Fiction. Aber das war die Idee eines KI-Ausbruchs bis vor ein paar Tagen auch.

Lesen Sie mehr zum Thema