Was passiert, wenn KI-Systeme nicht mehr nur Code schreiben, sondern eines Tages an ihrer eigenen Weiterentwicklung mitarbeiten? Anthropic fordert deshalb eine weltweit koordinierte Möglichkeit, die Entwicklung besonders leistungsfähiger KI-Modelle zu verlangsamen oder vorübergehend auszusetzen.
Anthropic-Mitgründer Jack Clark und Forscherin Marina Favaro argumentieren, gesellschaftliche Strukturen und Forschung zur sicheren Ausrichtung von KI müssten mit dem technischen Fortschritt Schritt halten können. Eine solche Bremse wäre aus ihrer Sicht aber nur sinnvoll, wenn Staaten und Unternehmen sie glaubhaft, global und überprüfbar koordinieren. Sonst könnten weniger vorsichtige Akteure eine Pause nutzen, um technologisch aufzuholen oder sich Vorteile zu sichern.
Im Zentrum steht das Szenario der „rekursiven Selbstoptimierung“. Gemeint ist eine KI, die irgendwann eigenständig neue KI-Modelle entwickeln kann. Anthropic sieht darin einerseits großes technologisches Potenzial, andererseits das Risiko, dass menschliche Kontrolle zunehmend schwieriger wird.
Als Hinweis verweist das Unternehmen auf eigene Zahlen: Stand Mai 2026 stammten 80 Prozent des Codes, den Anthropic in seine Codebasis einpflegt, vom Modell Claude. Im Februar 2025 habe dieser Anteil noch im niedrigen einstelligen Bereich gelegen. Gleichzeitig lieferten Anthropic-Entwickler dank KI pro Quartal im Schnitt achtmal so viel Code aus wie im Zeitraum von 2021 bis 2025.
Auch qualitativ sieht Anthropic Fortschritte. Mitarbeiter müssten Claude-Code seltener korrigieren oder selbst eingreifen, selbst bei offen formulierten Aufgaben. Viele Beschäftigte hätten Claude-Code Ende 2025 noch schlechter bewertet als menschlichen Code, inzwischen aber auf ähnlichem Niveau. Wenn KI Code schneller erzeugt, als Menschen ihn prüfen können, wird die menschliche Kontrolle selbst zum Engpass.
Ganz ohne Einschränkung formuliert Anthropic die Warnung jedoch nicht. Ohne menschliche Urteils- und Entscheidungskraft sei KI bislang eher ein leistungsfähiger Helfer. Offen bleibe zudem, ob heutige Trainingsmethoden und Architekturen menschliches Potenzial überhaupt erreichen können.
Bemerkenswert ist der Zeitpunkt: Anthropic gilt als führender KI-Anbieter und hat gerade vertraulich einen Börsengang bei der US-Finanzaufsicht SEC beantragt. Die Forderung passt zum Image eines besonders verantwortungsbewussten Unternehmens, ist aber auch Teil einer Branche, die in ihrer Kommunikation häufig mit starken Risiko- und Leistungsversprechen arbeitet.
Ob der Vorstoß Wirkung zeigt, ist fraglich. Bereits 2023 forderte ein offener Brief eine Pause bei der Entwicklung besonders mächtiger KI-Modelle. Mehr als 1000 Personen aus Forschung und Wirtschaft unterzeichneten, darunter Elon Musk und Steve Wozniak. Auf die weitere Entwicklung hatte diese Initiative offenbar kaum Einfluss.
Anthropic will nun Gesprächsrunden mit Politik, Forschung, Zivilgesellschaft und KI-Unternehmen organisieren sowie an Sicherungssystemen für eine mögliche globale KI-Bremse forschen. Eine eigene Verlangsamung stellt das Unternehmen aber nur dann in Aussicht, wenn andere führende Entwickler überprüfbar mitziehen.