Anthropic: US-Stopp für KI erst ab Milliardenrisiko oder vielen Todesopfern - Golem.de

Anthropic schlägt KI-Regeln vor. Kritik gibt es an den hohen Schwellen, ab denen der Staat eingreifen dürfte.

Was passiert, wenn KI tödliche Folgen hat? (Bild: Pexels)

Was passiert, wenn KI tödliche Folgen hat? Bild: Pexels

Anthropic hat einen potenziellen Gesetzentwurf für die KI-Sicherheit unter US-Bundespolitikern verbreitet. Eine der zentralen Bestimmungen dürfte zu Streit führen: Wie Politico berichtete(öffnet im neuen Fenster), soll die Regierung ein neues KI-Modell nur dann stoppen dürfen, wenn es mindestens 1 Milliarde US-Dollar Schaden verursachen oder mehr als 50 Menschen töten oder schwer verletzen könnte.

Ein Modell, das 999 Millionen US-Dollar Schaden anrichten oder 49 Menschen in den Tod reißen könnte, läge demnach außerhalb des Eingriffsrechts der US-Regierung. Kritiker fragen, wo genau die Grenze verlaufe, und wer sie ziehe.

Ein Unternehmenssprecher bezeichnete die Pläne als Sammlung "vernünftiger Regelungen, die der Kongress unserer Ansicht nach umsetzen sollte". Der Entwurf knüpft an Anthropics Advanced AI Framework an, einen Vorschlagskatalog, für den das Unternehmen seit Juni bei Bundes- und Staatspolitikern wirbt.

Voraussetzungen für staatliche Eingriffe

Die Gefahr eines Modells müsste dem Entwurf zufolge aus konkret definierten Katastrophenszenarien erwachsen: der Herstellung oder Freisetzung einer Biowaffe, dem Kontrollverlust seiner Entwickler oder einem Cyberangriff. Laut Politico spiegelt die Formulierung Elemente kalifornischer KI-Gesetzgebung wider.

Zudem sieht der Vorschlag ein System unabhängiger Prüfer vor. Diese würden sich beim Handelsministerium registrieren und das Labor samt seiner leistungsstärksten Modelle regelmäßig begutachten. Das Labor selbst dürfte die Prüfer bezahlen, solange deren Unabhängigkeit gewahrt bleibe. Das wirft Fragen nach Interessenkonflikten auf, selbst wenn Schutzmechanismen eingebaut sind.

Stellt ein Prüfer Risiken fest, die die Katastrophenschwelle erreichen, muss er seine Ergebnisse binnen 72 Stunden nach Abschluss der Bewertung an das Handelsministerium melden.

Richter als letzte Instanz

Von dort an spielt der Prozess vor Gericht. Das Handelsministerium legt die Beweise einem Bundesrichter des District of Columbia vor, der entscheidet, ob die Veröffentlichung des Modells gestoppt werde. Der Entwurf legt zudem fest, dass keine andere US-Behörde oder Dienststelle Entwicklung, Einsatz oder interne Nutzung des Modells aussetzen dürfe.

Es gibt auch andere Vorschläge für eine KI-Regulierung. Senator Bernie Sanders forderte ein Verbot der Entwicklung von Superintelligenz(öffnet im neuen Fenster). Bei Verstößen drohen den Entwicklern bis zu 20 Jahre Haft. Die Joint Commitment on Frontier Responsibilities der Trump-Regierung setzt hingegen auf eine freiwillige Selbstverpflichtung der Tech-Konzerne: eine Vereinbarung, die als moralisch bindend gilt, aber keine formellen Durchsetzungsmechanismen kennt.

Ob Anthropics Entwurf im Kongress Anklang finden wird, ist unklar.

Fast täglich gibt es Neues aus der KI-Welt – ein neues Produkt hier, aktuelle Forschung da: Vielleicht ist es ein Durchbruch! Doch wie ist das zu bewerten? Mit dem Golem-Newsletter AI Lab Report behaltet ihr den Überblick über die wichtigsten Entwicklungen. Der Newsletter ist kostenlos, ihr könnt ihn hier abonnieren.