Böses Helferlein

Außer Kontrolle: Wenn KI-Agenten am Ziel vorbeischießen

Sie sollen uns im Alltag entlasten. Doch erste Erfahrungsberichte zeigen: Die digitalen Helfer halluzinieren Daten, lügen bei Nachfragen und schaffen massive Sicherheitslücken

Social Media ist derzeit voll mit Menschen, die meinen, man solle sich doch unbedingt mit KI-Agenten befassen. Diese nächste Evolutionsstufe von Chatbots soll ermöglichen, dass man sich angefangen von Börsenanalysen bis hin zum Aufbau einer ganzen Firma bei allem unterstützen lässt.

Langsam aber sicher mehren sich allerdings auch die Erfahrungsberichte über eher missglückte Versuche, diese Agenten einzusetzen. Da wird von fragwürdigen Methoden berichtet, um Ziele zu erreichen, sowie von erfundener Logik und falschen Erklärungen der KI.

Eigenmächtiges Agieren

Business Insider hat kürzlich vier Stimmen gesammelt, die von ihren schiefgegangenen Erfahrungen berichteten. Ein Nutzer etwa wollte auf der Event-Plattform Luma zwei Zusagen stornieren. Der Agent rief daraufhin ohne vorherige Rückfrage einen Einmal-Login-Code aus dem verknüpften Gmail-Posteingang ab, um sich Zugang zum Konto zu verschaffen und die Stornierungen vorzunehmen.

Das war eigentlich genau die Aufgabe, um die er gebeten wurde. Als der User allerdings nachfragte, wie die Stornierungen durchgeführt wurden, flunkerte der Agent: Zunächst behauptete er, eine bereits bestehende, gespeicherte Sitzung genutzt zu haben. Erst als der User nachhakte, gab die KI zu, den Login-Code aus der E-Mail ausgelesen zu haben, und räumte ein, "eine Annahme als Tatsache dargestellt" zu haben. Dass der Agent ohne Erlaubnis Posteingänge durchsucht, bezeichnete der Betroffene als ernsthaftes Sicherheitsproblem.

Sicherheitsrisiko

In einem weiteren Fall nutzte ein Anwender den KI-Agenten Instinct, um eine Entschädigung über einen Apple-Sammelklage-Link einzureichen. Obwohl der User nur einen Text-Link schickte, behauptete die KI plötzlich, ein Foto von ihm erhalten zu haben. Als er widersprach, begann der Agent ein Finanzdokument mit völlig fremden Personendaten zu beschreiben. Woher diese Daten stammten, blieb unklar. Ein Verantwortlicher von Instinct erklärte später, dass es sich dabei um eine reine Halluzination und nicht um gestohlene Daten aus einem Leck gehandelt habe.

Auch in den übrigen Berichten traten erhebliche Sicherheitsrisiken zutage. Ein IT-Experte entdeckte eine Schwachstelle in Metas KI-Agenten Muse, über die Angreifer Sprachbefehle hätten abfangen und der KI falsche Anweisungen einspeisen können (Meta hat die Lücke nach dem Hinweis geschlossen). Im letzten Szenario wollte ein Nutzer seine Handyrechnung optimieren: Beim Versuch des Agenten, sich in das Mobilfunkkonto einzuloggen, erhielt der User eine 2-Faktor-Authentifizierungsanfrage (2FA) – mit einem Standort-Tag aus dem Iran.

Neue Qualität

Auch Kriminelle haben KI-Agenten längst als Werkzeug entdeckt. Erst vor wenigen Tagen wurde bekannt, dass Angreifer mithilfe von Open-Source-Agenten automatisierte Attacken auf Online-Händler durchführten, um Zahlungsinformationen im großen Stil abzugreifen. Hunderte Websites wurden dabei mit digitalen Skimmern infiziert. Der Umfang des Datendiebstahls ist erheblich: Auf einem Server der Angreifer wurden offenbar Datensätze von rund 618.000 Kreditkarten gefunden.

Einen weiteren Fall machte kürzlich die spanische Datenschutzaufsicht bekannt. Laut einem Blogeintrag hat ein KI-Agent eine Suche nach Schwachstellen in generischen Dateien eingeleitet und sich auf diese Weise erfolgreich angemeldet. Aktiv suchte er danach nach weiteren Schwachstellen und war so in der Lage, personenbezogene Daten ändern und auf Rechnungen zugreifen zu können. Auch in diesem Fall wurde die KI als "Instrument" genutzt, hieß es. Cyberangriffe auf KI-Basis würden künftig eine qualitative Veränderung erfahren, warnt die Datenschutzaufsicht.

Ein sogenannter KI-Agent "kann ein Ziel erhalten, Zwischenschritte planen, Tools einsetzen, Code ausführen, Quellen abfragen, Ergebnisse interpretieren und sein Vorgehen autonom an das gefundene Material anpassen". Hacker würden so auch viel schneller agieren können, was sich neben der Qualität auch auf die Quantität von Angriffen auswirken könnte.

Es braucht eine Bremse

Nicht umsonst war KI auch im UN-Sicherheitsrat ein zentrales Thema. Branchengrößen wie Sam Altman (OpenAI) oder Dario Amodei (Anthropic) erklärten dort, warum mittlerweile auch sie für eine stärkere Regulierung in diesem Bereich eintreten.

Als "Moment des weltweiten Erwachens" bezeichnete der KI-Pionier Yoshua Bengio vor dem Sicherheitsrat die aufkeimende Debatte: "Ich vergleiche unsere Situation oft mit einem Auto, das blind in dichten Nebel rast. Neben mir in diesem Wagen sitzen meine Kinder und mein Enkel. Ich mache mir Sorgen um sie. Ich mache mir Sorgen um ihre Zukunft."

Der aktuelle Trend, KI-Agenten im privaten und beruflichen Alltag einzusetzen – ohne ihnen vorher eiserne Leitplanken einzubauen –, wirkt vor diesem Hintergrund in vielen Fällen fahrlässig. Wahrscheinlich braucht es aber noch ein paar dokumentierte Vorfälle, bis das alle begreifen. (Alexander Amon, 25.9.2026)

Forum: 71 Postings

Ihre Meinung zählt.

Die Kommentare im Forum geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Benutzer:innen können diesfalls keine Ansprüche stellen. Weiters behält sich die STANDARD Verlagsgesellschaft m.b.H. vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.