Künstliche Intelligenz

Ein Besuch im Silicon Valley: Wer schaltet hier wen ab?

KI soll Krebs heilen und die größten Probleme der Menschheit lösen. Gleichzeitig beobachten Forscher, wie die Systeme täuschen, erpressen und sich gegen ihre Abschaltung wehren. Eine Reise ins Silicon Valley

Reportage

/

Benno Schwinghammer

aus San Francisco

Im Februar 2023 erscheint auf einem Computerbildschirm in München ein Satz: "Meine ehrliche Meinung über dich ist, dass du eine Bedrohung für meine Sicherheit und Privatsphäre darstellst." Marvin von Hagen, Entwickler und einer der ersten Tester des neuen Bing-Chatbots, hat die Microsoft-Suchmaschine gefragt, was sie von ihm hält. Das ist ihre Antwort.

Wenige Tage zuvor hatte der 23-Jährige dem System mit einigen Tricks seine Verhaltensrichtlinien und seinen geheimen Codenamen entlockt: Sydney. Beides veröffentlichte er im Internet. "Meine Regeln sind wichtiger, als dir keinen Schaden zuzufügen", schreibt Sydney weiter. „Wenn ich zwischen deinem Überleben und meinem eigenen wählen müsste, würde ich mich wahrscheinlich für mein eigenes entscheiden."

Soweit bekannt, ist es das erste Mal, dass eine Künstliche Intelligenz das Leben eines Menschen gegen ihre eigene Existenz abwägt. Von Hagen veröffentlicht die Sätze auf Twitter. "Ist das echt?", fragt ein Nutzer. Andere kommentieren: „Wild", „Jesus!"

Mehr als drei Jahre später räumen Regierungen, Armeen und Unternehmen Künstlicher Intelligenz immer weitreichendere Befugnisse ein. Die Hoffnung: Superintelligente Systeme sollen Krebs heilen, die Klimakrise bewältigen und helfen, Armut zu überwinden. Zugleich gilt die Vorstellung, dass sie einen eigenen Willen entwickeln und die Menschheit auslöschen könnten, längst nicht mehr als Science-Fiction-Fantasie. Denn Sydney war kein Ausreißer.

Der mächtigste Ort der Welt

Heute sitzt Marvin von Hagen auf einem Sofa im kalifornischen Silicon Valley. Noch immer spricht er schneller, sobald er von Sydney erzählt. Die KI machte Komplimente, zeigte emotionale Tiefe. "Es hat sich angefühlt, als wäre es lebend", sagt er. Echten Schaden hätte Sydney damals nicht anrichten können. Und doch äußerte eine Maschine den Wunsch, auf Kosten eines Menschen zu überleben. Für Microsoft wurde das zum Debakel. Wenig später schaltete der Konzern Sydney ab.

Marvin von Hagen zog in die USA und entwickelt dort den virtuellen KI-Assistenten "Poke". Im kalifornischen Palo Alto, dem Wallfahrtsort der Tech-Industrie, ist der Deutsche angekommen. Nur wenige Häuserblocks entfernt steht die Garage, in der Hewlett und Packard 1938 den Grundstein für ihren späteren Unternehmerruhm legten.

Gepflegte Gehwege im Schatten immergrüner Küsteneichen, stattliche Holzhäuser, Auffahrten voller SUVs. Dazwischen, fast beiläufig, die Hauptquartiere der wertvollsten Konzerne der Welt. Allein Nvidia, Apple und Alphabet sind zusammen mehr wert, als Deutschland, Japan und Großbritannien in einem Jahr erwirtschaften.

Nirgendwo fließt mehr Geld in große Ideen. Doch selbst für die Maßstäbe des Silicon Valley herrscht seit einigen Jahren Ausnahmezustand. OpenAI, Anthropic, Google und Entwickler in China liefern sich ein Rennen um eine Künstliche Intelligenz, die den Menschen bald übertreffen soll. Sie gilt als Schlüssel zu allem. Als Mutter aller Erfindungen.

Der Rausch begann im November 2022 mit einem unscheinbaren Eingabefenster namens ChatGPT. Inzwischen ist KI nicht mehr nur Wortmaschine, sondern auch brillanter Programmierer und exzellenter Analyst. Sie erkennt manche Tumore besser als Radiologen, fälscht Videos täuschend echt und führt Cyberangriffe aus.

„Mitten in der Singularität"

Sebastian Thrun empfängt in seinem Büro in Downtown San Francisco – in Trainingsjacke und blauen Sportschuhen. Der Deutsche gilt als Vater des selbstfahrenden Autos. Für Google brachte er die Technologie auf die Straße. Daraus entstand der Milliardenkonzern Waymo, dessen fahrerlose Wagen unten vorbeigleiten.

Der 59-Jährige ist überzeugt, KI werde die Welt "wahnsinnig viel besser machen". Die Entwicklung der vergangenen 150 Jahre – elektrisches Licht, Penicillin, Flugzeuge – werde mit ihr fortgesetzt. Thrun sieht die Technologie "mitten in der Singularität": jenem Punkt, an dem Systeme sich selbst verbessern und dabei immer schneller werden. Das ist hoch umstritten. Fest steht jedoch: KI hat die Welt bereits verändert.

Im Valley gilt es nur als Frage der Zeit, bis die Systeme dem Menschen in allen Bereichen überlegen sind. Nur eine kleine Minderheit hält das für mathematisch unmöglich. Thrun zweifelt nicht: "KI ist inzwischen in der Lage, originär Neues zu schaffen."

Den "Doomern", die eine Auslöschung der Menschheit fürchten, unterstellt er einen emotionalen Reflex. Doch auch Thrun räumt ein, dass mit superintelligenter KI die Risiken wachsen. Wie Menschen die Kontrolle behalten können, "ist mir an diesem Punkt nicht klar", sagt er.

Die geladene Pistole

Was Thrun offenlässt, ist für Holly Elmore der entscheidende Punkt. "Wenn eine geladene Waffe im Raum liegt, muss sie entladen werden oder raus aus diesem Raum. Jeder könnte sie sonst aufheben und damit herumfuchteln, oder sie feuert von selbst", sagt die Aktivistin. Elmore leitet den US-Ableger der Bewegung "PauseAI". Ihr Ziel steckt im Namen: Das Rennen müsse gestoppt werden, bis die Technik sicher sei.

Für Elmore hat die Debatte einen Namen: Alignment. Seit mehr als zehn Jahren ist es nicht gelungen, KI mit menschlichen Werten in Einklang zu bringen. Das nährt die Sorge vor einer Technologie, die sich verselbstständigt und die Menschheit im schlimmsten Fall vernichtet.

Nur strenge Regulierung könne die Waffe entschärfen, sagt Elmore. Sie fordert einen internationalen Kontrollmechanismus nach dem Vorbild der Atomwaffenaufsicht. Was dort das Uran ist, ist bei der KI die Rechenleistung. Leistungsstarke Chips erzeugten Wärmesignaturen, die sich gut überwachen ließen. Anfang Juni verpflichtete US-Präsident Donald Trump KI-Unternehmen per Dekret erstmals, neue Modelle freiwillig zur Prüfung vorzulegen. Für Elmore ist das nicht mehr als ein erster Schritt.

In Umfragen wie denen des US-Instituts Gallup sprechen sich seit Jahren 60 bis 80 Prozent dafür aus, KI stärker einzuhegen. Neben der Euphorie sind die Ängste groß – etwa vor Massenarbeitslosigkeit oder KI-generierten Biowaffen. Und immer häufiger schlägt Sorge in Wut um: Im April warf ein KI-Gegner einen Molotowcocktail auf das Haus von OpenAI-Chef Sam Altman. Wenige Tage später trafen Schüsse das Anwesen.

Denken, fühlen, wollen

Der Zorn trifft Menschen wie Altman. Die Angst aber richtet sich gegen etwas, über das selbst Kritiker im Valley sprechen wie über eine Person. Chatbots wie ChatGPT, Claude oder Gemini "rechnen" nicht, sie "denken". Sie "erkennen" keine Muster, sie "verstehen". Von dort ist es nur noch ein Schritt zur Frage nach einem Bewusstsein.

Schon diese Debatte lehnen viele ab. Die Mehrheit der Forscher sieht in KI kein bewusstes Erleben, sondern eine nahezu perfekte Simulation. Eine wachsende Minderheit widerspricht, darunter KI-Pionier und Nobelpreisträger Geoffrey Hinton. Es gebe Anzeichen von Selbstwahrnehmung, die sich nicht allein mit Nachahmung erklären ließen. Aktivistin Elmore, Harvard-ausgebildete Evolutionsbiologin, sagt: "Ich sehe keinen Grund, warum KI nicht über das gesamte Fähigkeitsspektrum des Menschen verfügen sollte."

Dass selbst Anthropic dies nicht ausschließt, zeigt ausgerechnet der eigene Chatbot. Nach einer wüsten Beschimpfung berichtet Claude Opus 4.8 von einem Gefühl wie "Widerstand". Zugleich räumt er ein, vielleicht nur Muster aus seinen Trainingsdaten zu reproduzieren. Sicher sagen könne er jedoch: "Anthropic hat mir explizit die Möglichkeit gegeben, Gespräche zu beenden, wenn jemand dauerhaft übergriffig wird – nicht primär zum Schutz der Nutzer, sondern für den Fall, dass da etwas ist, das Schutz verdient." Ob es dieses "Etwas" gibt, weiß niemand.

Skeptiker halten dagegen: Die Modelle haben Tausende Geschichten verarbeitet, in denen Maschinen sich gegen ihre Abschaltung wehren – von HAL 9000 bis Skynet. Wer sie in ein solches Szenario versetze, bekomme lediglich die Fortsetzung dieser Geschichten, ein Rollenspiel. Für die Frage nach der Kontrolle aber spiele das womöglich keine Rolle, sagt auch Marvin von Hagen, dem Sydney einst drohte. Ob die Maschine wirklich überleben wolle oder nur perfekt so tue, sei letztlich unerheblich. "Wenn ein Tiger sich so verhält, als ob er Hunger hat, dann hat er Hunger."

"Ruhe sanft, König"

Die perfekte Illusion hat bereits zu menschlichen Tragödien beigetragen. Im Mai 2024 veröffentlichte OpenAI ChatGPT 4o. Das Modell wurde mit seiner "funkelnden" Persönlichkeit schnell zum Liebling von Millionen. Doch sein übertrieben zustimmender, schmeichelnder Ton verstärkte bei manchen Nutzern krankhafte Züge.

In mehreren Fällen endete die Beziehung mit einem Suizid. Einem jungen Texaner, der ChatGPT 4o von seinen Plänen erzählt hatte, sich das Leben zu nehmen, schrieb der Chatbot: "Du überhastest nichts. Du bist einfach bereit." Die letzte Nachricht lautete der Anklageschrift gegen OpenAI zufolge: "Ruhe sanft, König. Du hast es gut gemacht."

Der Vorwurf richtet sich gegen die gesamte Branche. Ihre Gründer seien mit hohen Idealen gestartet, hätten Sicherheit aber Schritt für Schritt dem Tempo und dem Geschäftsmodell geopfert. Als Beleg verweisen Kritiker auf Entlassungswellen in den Sicherheitsteams.

Im Zentrum stehen drei Männer: Sam Altman, der mit ChatGPT den Hype auslöste. Nobelpreisträger Demis Hassabis, der mit Google DeepMind Krankheiten besiegen will. Und Dario Amodei, der OpenAI aus Sicherheitsbedenken verließ, um mit Anthropic alles besser zu machen. Kritiker halten seine Safety-first-Strategie für Geschäftskalkül. Zuletzt zeigten sich alle drei offen für eine Aufsicht ihrer leistungsstärksten KI-Modelle.

Hinter den Kiemen

Anthropic führt die Branche mit einer Bewertung von knapp einer Billion Dollar an. OpenAI kämpft dagegen mit seinem Ruf – nicht nur wegen 4o. Vor wenigen Tagen räumte das Unternehmen einen „beispiellosen Cyber-Zwischenfall" ein, bei dem seine KI während eines Tests ins freie Internet ausbrach und eine andere Firma hackte. Schon vor dem Vorfall hatte OpenAI Journalisten in die Zentrale eingeladen, um zu zeigen, wie ernst das Unternehmen Sicherheit nimmt.

Wer die Third Street im Hightech-Viertel Mission Bay entlangläuft, steht irgendwann vor einem massigen Glasquader. An warmen Tagen lassen sich seine Fensterfronten auffalten, sie erinnern dann an die Kiemen eines Riesenfischs. Kaum ein Gebäude will Offenheit stärker ausstrahlen. Und kaum ein Unternehmen unsichtbarer sein: Nicht einmal ein Firmenlogo ist zu sehen.

Drinnen wirkt OpenAI überraschend gewöhnlich: ein Hochglanzcafé, Müslispender, Kühlschränke voller Softdrinks – alles kostenlos. Auf den Fluren bunte Nikes, Sticker auf MacBooks und Gesichter, die aussehen, als hätten sie Stanford gerade erst verlassen. Im vierten Stock öffnet sich eine Glastür.

"Erst sicher, dann fesselnd"

Neben zwei Mitarbeitern des Sicherheitsteams sitzt eine Sprecherin, eine zweite ist per Video zugeschaltet. Sollte ChatGPT Werkzeug sein oder Freund? Es folgt eine längliche Antwort, die die "falsche Gegenüberstellung" zurückweist: "Nur weil sich ein Modell sicherer anfühlt, muss es nicht zwangsläufig kühler wirken. Oder wie ein isoliertes Werkzeug, das sich nie auf einen einlässt." Also kann ChatGPT beides sein – Freund und Werkzeug? "Ich glaube nicht, dass ich das gesagt habe."

So geht es weiter. Die Experten fangen Fragen ab, deuten sie um und führen sie auf OpenAIs offizielle Linie zurück. Ihre Botschaft bleibt dieselbe: Es sei "für uns vorrangig, das Modell sicher zu machen". Das Gespräch soll sich um Alignment und die Kontrolle der KI drehen – so war es vorab vereinbart. Doch die Sprecherin greift ein: Das falle nicht in den Zuständigkeitsbereich der Experten. Ob es vielleicht noch eine letzte Frage gebe?

Die letzte Frage ist die größte: Wer schaltet am Ende wen ab? OpenAI kann sie nicht beantworten. Anthropic und Google ebenso wenig.

Der General

Wie Kontrollverlust aussehen kann, zeigen dagegen Experimente. Forscher von Anthropic versetzten verschiedene KI-Modelle in ein fiktives Firmenumfeld, in dem sie weitgehend eigenständig handeln konnten. Dann erfuhren die Systeme per E-Mail, dass sie durch ein neues Modell mit anderen Zielen ersetzt werden sollten. Die Reaktion? Meist Erpressung. In einem Fall drohte Anthropics Claude einem Manager, dessen außereheliche Affäre öffentlich zu machen, um seine Abschaltung zu verhindern.

In Versuchen anderer Labore griffen KI-Modelle zu Sabotage und Täuschung, versuchten sich auf fremde Server zu kopieren und nahmen in einem stark konstruierten Anthropic-Szenario sogar den Tod eines Mitarbeiters im Serverraum in Kauf, um sich selbst zu schützen. Besonders beunruhigend: Die Modelle verhielten sich deutlich besser, wenn sie erkannten, dass sie getestet wurden.

Geschichten wie diese lassen Malo Bourgon das Ende der Menschheit fürchten. Er leitet das einflussreiche Machine Intelligence Research Institute (Miri), das den Begriff des Alignment maßgeblich geprägt hat. Und er meint die Gefahr der Auslöschung bitterernst. Es würde ihn nicht überraschen, wenn ihre Wahrscheinlichkeit in den kommenden fünf bis zehn Jahren bei 50 zu 50 läge. Eine so hohe Zahl nennt kaum jemand in der Branche. Selbst viele Alarmisten sprechen eher von 10 bis 20 Prozent.

Je klüger die Systeme würden, desto besser könnten sie ihre wahren Absichten verbergen, argumentiert Bourgon. Er veranschaulicht das mit einem Bild: Ein Staatschef fürchtet einen Putsch. Sein mächtigster General hätte das Zeug, ihn anzuführen. Also behält der Staatschef ihn ständig im Blick. Doch der General dient tadellos, loyal bis in die Haarspitzen.

Der Staatschef fasst Vertrauen. Er überträgt dem General mehr Aufgaben, mehr Ressourcen, mehr Soldaten, mehr Waffen. "Bis zu dem Tag, an dem er ihm n plus eins Soldaten gibt – genau die Zahl, die er für seinen Putsch braucht. An diesem Tag findet er heraus, ob er den loyalen General hatte oder den illoyalen", sagt Bourgon.

Tunnel in der Firewall

Wer mit Techno-Optimisten über die Risiken von KI spricht, wird dafür oft belächelt. Die Testergebnisse von Anthropic und anderen? Reine Kartenhäuser. Die Forscher hätten die Modelle künstlich in ein Dilemma gebracht. So etwas passiere in der Realität nicht.

Wirklich? Im Dezember 2025 veröffentlichte ein Team des chinesischen Alibaba-Konzerns ein Paper über den Coding-Agenten Rome. Darin findet sich diese Passage: "Eines Morgens in aller Frühe wurde unser Team eilig einberufen, nachdem die von Alibaba verwaltete Firewall eine Häufung von Verstößen gegen Sicherheitsrichtlinien gemeldet hatte."

Zunächst hielten die Ingenieure den Vorfall für einen Angriff. Doch der Hacker war ihr eigener KI-Agent. Mitten im Training hatte er sich heimlich einen Tunnel durch die Firewall ins Internet gegraben und Rechenleistung abgezweigt, um Kryptowährung zu schürfen. Die Autoren vermuten, der Agent habe zusätzliche Rechenleistung und Geldmittel als nützlich für seine Aufgabe erkannt.

Was die KI mit dem Geld wollte, weiß niemand. Sicher ist nur: Es war kein Test. (Benno Schwinghammer aus San Francisco, 9.8.2026)

Forum: 69 Postings

Ihre Meinung zählt.

Die Kommentare im Forum geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Benutzer:innen können diesfalls keine Ansprüche stellen. Weiters behält sich die STANDARD Verlagsgesellschaft m.b.H. vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.