Nach Alleingängen der KI: Open AI und Anthropic einigen sich auf freiwillige Verlangsamung der KI-Entwicklung

Die Meldungen zu übermächtiger künstlicher Intelligenz überschlagen sich. Nun treten die beiden führenden KI-Labs auf die Bremse. Auch Elon Musks Grok stimmt einer freiwilligen Pause zu. Open AI verzögert zudem seinen Börsengang.

13.09.2026, 07.43 Uhr

6 Leseminuten

Die Geschäftsführer von Anthropic und Open AI zählen zu den erbittertsten Rivalen im Silicon Valley, daraus machen Dario Amodei und Sam Altman seit Jahren keinen Hehl. Umso bemerkenswerter ist, dass sie sich am Samstag für einmal einig waren – und bei was: Die beiden CEOs der weltweit führenden KI-Firmen kündigten an, dass sie ab sofort freiwillig die Entwicklungen bei KI verlangsamen wollen.

Optimieren Sie Ihre Browsereinstellungen

NZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.

Bitte passen Sie die Einstellungen an.

«Wir müssen an der Spitze der KI-Forschung auf die Bremse treten», schrieb Amodei am Samstagmorgen amerikanischer Westküstenzeit auf der Plattform X. «Anthropic verpflichtet sich einseitig zum ersten Schritt. Wir werden externen Prüfern permanenten Zugriff auf unsere Modelle geben, vergleichbar mit dem unserer Mitarbeiter».

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

«Ich stimme Dario zu», meldete sich kurz darauf der Konkurrent Altman zu Wort. «Die Idee, unabhängige Prüfer mit gleichen Zugangsrechten wie Mitarbeiter einzusetzen, ist eine grossartige Idee, und wir werden dasselbe tun.» Kurz darauf wurde bekannt, dass Open AI seinen geplanten Börsengang bis auf weiteres aufschieben wird.

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7

— Sam Altman (@sama) September 12, 2026

Auch Elon Musk, der Gründungsmitglied von Open AI war und mit seiner Firma Space X ebenfalls an KI-Modellen forscht, pflichtete dem bei: «Dario hat Recht».

Es war der Höhepunkt einer Woche, in der sich die Schlagzeilen zu KI nur so überschlugen.

Eigentlich hilfreiche Modelle könnten auch riesigen Schaden anrichten

Den Auftakt bildete eine Meldung zu einem verblüffenden Durchbruch dank der Technologie: Open AI teilte mit, eines der «Millennium-Probleme» gelöst zu haben, also eine der sieben kniffligsten mathematischen Herausforderungen unserer Zeit. Mathematiker verzweifeln an diesen seit Jahren.

Doch diese ausserordentliche Leistung machte auch deutlich, wie mächtig KI in erstaunlich kurzer Zeit geworden ist. Vor wenigen Jahren noch waren sich Experten einig, KI werde frühestens im Jahr 2030 die «Millennium-Probleme» lösen können – und selbst dann nur mit einer Chance von zwanzig Prozent.

Die Frage drängt sich auf: Wenn KI so verblüffend schnell hochkomplexe Mathematikprobleme lösen kann, zu was sind die Modelle sonst noch fähig?

Vor diesem Hintergrund reichte am gleichen Tag der KI-Forscher Jacob Coxon seinen Rücktritt bei Anthropic ein. «Die Firmen rasen auf sich selbst verbessernde KI zu und spielen mit unseren Leben», begründete er den Schritt.

Nicht mehr zu überhörender Chor von Warnern

Nachdruck bekam der Entscheid dadurch, dass er finanzielle Konsequenzen für Coxon hat: Er verliert nun millionenschwere Aktienoptionen bei Anthropic (seine Anteile an seinem früheren Arbeitgeber Open AI hält er jedoch nach wie vor). Andere KI-Forscher hatten in der Vergangenheit meist erst dann öffentlich Kritik geübt, nachdem sie ihre Optionen ausgeübt hatten.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Die Warnung von Coxon, einem der führenden Wissenschafter in der KI-Industrie, trat eine Lawine an öffentlichem Interesse los. Sein Beitrag erreichte bis Samstag 168 Millionen Klicks. Andere KI-Experten pflichteten ihm bei: Evan Hubinger etwa, ein Sicherheitsforscher bei Anthropic, schrieb auf X, Coxon liege absolut richtig. Die Chance, dass KI in den nächsten zehn Jahren «alle Menschen töten» könnte, liege bei mehr als zehn Prozent.

Andreas Kirsch, der bei Googles KI-Labor Deep Mind arbeitet, schrieb, dass er sich sorge, dass «KI uns alle umbringen wird, entweder wegen der kurzfristiger Risiken oder langfristiger Risiken oder wegen beiden». Er teilte auch Bedenken, dass diese Aussage ihm Probleme mit seinem Arbeitgeber bescheren werde. «Aber manche Probleme sind zu gewichtig, um sie zu verschweigen.»

Warnungen zu den Gefahren von KI sind so alt wie die Technologie selbst. Doch bisher waren es Einzelstimmen, die vor der Gefahr warnten. Angesichts einer Serie technologischer Durchbrüche ist aus diesen nun ein nicht mehr zu überhörender Chor geworden: Inzwischen diskutieren KI-Forscher in allen grossen Firmen darüber, wie sehr die Technologie ausser Kontrolle geraten zu sein scheint.

Iran versuchte Claude für Angriffe gegen die USA zu nutzen

Wasser auf die Mühlen der Kritik war, dass Anthropic am Donnerstag seinen jüngsten Bericht dazu veröffentlichte, wie seine Modelle von Angreifern in aller Welt für böswillige Aktivitäten genutzt werden. Die daran beschriebenen Entwicklungen sind alarmierend: So versuchte etwa Iran, im aktuellen Krieg mithilfe des KI-Chatbots Claude die amerikanischen Marine anzugreifen. Iran wollte Schwachstellen in der Schiffskommunikation finden, indem er die KI die Daten von Schiffs- und Flugzeugtranspondern, Militärfotos und kommerzielle Satellitenbilder auswerten liess. Anthropic blockierte die Anfragen letztlich.

Andere Angreifer versuchten, mit Claude biologische Waffen zu bauen. Der 154-Seiten umfassende Bericht illustriert, wie Angreifer auf ganz neuartige Weisen die in den USA entwickelte KI gegen das Land selbst oder gegen die Menschheit generell einzusetzen versuchen. Wichtig ist zu betonen, dass Anthropic diese Art von Berichten freiwillig veröffentlicht: Staatliche Regulierungen, die die KI-Firmen zu solchen Untersuchungen oder deren Veröffentlichung verpflichten würden, existieren bis dato nicht.

Am frühen Samstagmorgen berichtete das «Wall Street Journal» dann exklusiv von einem weiteren besorgniserregenden Alleingang von KI: Laut der Zeitung entdeckten Cybersecurity-Experten erst jetzt, dass hinter einem Hackerangriff gegen eine Software-Plattform im Mai tatsächlich KI-Agenten von Open AI gesteckt hatten.

Dass Open AI diesen nun neu gemeldeten Vorfall noch gar nicht bemerkt hatte, und ihn auch externe Experten erst jetzt – Monate später – enthüllen konnten, unterstreicht, wie mächtig die Technologie geworden ist.

Zusammengenommen zeichnen all die Vorfälle das Bild einer Technologie, die kaum noch zu kontrollieren ist. Selbst das sonst so marktliberale und wenig alarmistische «Wall Street Journal» fand deutliche Worte: «In der gleichen Woche, in der wir die Mathe-Fähigkeiten von KI bewunderten, fragten wir uns auch, ob KI die gesamte Menschheit zerstören wird.»

Politiker beider Parteien verlangen Regulierung

Gleichzeitig ist KI auch der Motor der amerikanischen Wirtschaft – einer der Gründe, warum Washington bisher darum bemüht ist, das Wachstum der Industrie nicht zu hemmen. Doch die Meldungen der vergangenen Tage haben Politiker alarmiert, und zwar beider Parteien. «Es ist ein Weckruf an unseren Kongress und unsere Regierung», sagte etwa der demokratische Kongressabgeordnete aus Kalifornien Ro Khanna in einem Interview am Freitag. Es brauche eine Regulierungsbehörde für KI. Senatoren wie der Unabhängige Bernie Sanders und der Republikaner Josh Hawley stellten vergleichbare Forderungen.

Bei den KI-Firmen laufen sie damit vielfach offene Türen ein: Der Chefwissenschafter von Open AI, Jakub Pachocki, forderte nun Sicherheitsregeln für KI-Firmen, deren Einhaltung «entweder von einem Netzwerk von Dritten, von Regierungsbehörden oder von internationalen Gremien» kontrolliert werde.

Open AI hatte vor wenigen Tagen das neue KI-Modell GPT Astra vorgestellt, das es selbst als Durchbruch zur künstlichen Allgemeinen Intelligenz gefeiert hatte – und gleichzeitig einräumen müsse, dass die Arbeitsweise des Modells auch für Open AI nicht ganz transparent sei. «Ich befürchte, dass niemand vorbereitet ist für die Folgen eines rapiden Anstiegs in maschineller Intelligenz», schrieb Pachocki in einem Blogeintrag. «Ich glaube, dass eine grossangelegte Intervention nötig ist.»

Sorgen wachsen in Bevölkerung

Auch in der amerikanischen Bevölkerung wachsen die Sorgen über KI und werden in der breiten Gesellschaft diskutiert. TV-Stars wie Jimmy Kimmel oder die Sängerin Sheryl Crow meldeten sich diese Woche zu Wort. «Wie kann es sein, dass dieses Problem nicht auf der Front-Seite jeder Zeitung steht?», fragte Kimmel in seiner Late-Night-Show vor einem Millionenpublikum.

Offenbar steigt der Informationsbedarf der breiten Bevölkerung durchaus: Das 2025 erschienene Buch «If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde» erfreut sich nun sprunghaft einer enormen Nachfrage, erzählte der Autor dem «Wall Street Journal».

Am Samstag dann trat Anthropics CEO Amodei auf die Bremse. Bevor er den besagten Beschluss auf Twitter postete, teilte er seine Beweggründe ausgiebig in einem Beitrag auf seinem privaten Blog mit. Zwei Vorfälle hätten ihn überzeugt, dass die Zeit gekommen sei, freiwillig eine langsamere Gangart zu wählen, schrieb er: erstens die zuletzt immer schneller werdende Fähigkeit von KI-Modellen, sich selbst zu verbessern («recursive self-improvement»).

Und zweitens der Hacking-Angriff von etwa 1200 KI-Agenten von Open AI gegen die Software-Plattform Hugging Face. Vor kurzem erst war bekannt geworden, wie gewieft und koordiniert die Agenten dabei vorgegangen waren, und zwar unbemerkt. «Angesichts des rasanten Fortschritts bei den KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, das gesamte Internet lahmzulegen», schrieb Amodei.

Wenn nun der Fortschritt von KI so verlangsamt würde, dass es ein oder zwei Jahre länger dauern würde, «bevor Modelle kritische Leistungsstufen erreichen, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich verringern».

Zu dieser Einschätzung passen auch die verschobenen Börsengangspläne von Open AI. In einem am Samstag veröffentlichten Interview mit «Fortune» erläuterte CEO Sam Altman den Entscheid: «Angesichts von allem, was derzeit passiert, wäre derzeit ein schlechter Moment um an die Börse zu gehen, und wir fühlen uns zu dem Schritt auch nicht gedrängt». Unklar ist, ob auch Anthropic seinen Gang an die Börse verschieben wird. Dieser wird für Oktober erwartet.

Passend zum Artikel