Verschlüsselung soll interne Denkprozesse leistungsfähiger KI-Modelle vor fremden Blicken schützen. Doch was passiert, wenn ausgerechnet kleinere Modelle desselben Anbieters diese geschützten Inhalte wieder im Klartext ausgeben können?
Ein internationales Forschungsteam hat eine Architektur-Schwachstelle untersucht, die KI-Systeme von OpenAI, Anthropic und Google betrifft. Moderne Modelle verarbeiten vor einer Antwort interne Gedankengänge, den sogenannten Chain of Thought. Diese Informationen werden nicht im Klartext übertragen, sondern serverseitig verschlüsselt und als „encrypted reasoning blocks“ an die Anwendung zurückgegeben. Bei Folgefragen können diese Datenblöcke erneut an den Server gesendet werden, damit der bisherige Kontext erhalten bleibt.
Kleinere Modelle als Entschlüsselungshilfe
Nach Angaben der Forschenden nutzen die untersuchten Anbieter offenbar globale Verschlüsselungsschlüssel innerhalb ihrer jeweiligen Modellfamilien. Ein verschlüsselter Denkblock ist dadurch weder fest an einen bestimmten Nutzer noch an eine konkrete Sitzung oder ein einzelnes Modell gebunden.
Genau diese Kompatibilität ermöglicht den Angriff: Während Spitzenmodelle wie GPT-5 oder Claude Opus darauf trainiert sind, ihre internen Überlegungen nicht offenzulegen, fehlen kleineren Varianten teilweise entsprechende Sicherheitsbarrieren. Die Forschenden übergaben deshalb verschlüsselte Denkblöcke leistungsfähiger Modelle an kleinere Modelle desselben Anbieters und ließen deren Inhalt ausgeben. So konnten vollständige Denkprozesse im Klartext rekonstruiert werden.
Dass die Schwachstelle praktische Folgen haben kann, zeigte eine Untersuchung öffentlich zugänglicher Quelltext-Repositories und Logdateien. Dort fanden die Forschenden insgesamt 315.320 verschlüsselte Denkblöcke, die Entwickler offenbar in der Annahme veröffentlicht hatten, die Daten seien nicht lesbar.
In den entschlüsselten Informationen befanden sich unter anderem 367 personenbezogene Identifikatoren, 182 Zugangsdaten, 62 API-Schlüssel, 33 Klartext-Passwörter und 30 private E-Mail-Adressen. Teilweise enthielten die internen Denkprozesse sensiblere Angaben als die eigentliche Antwort des KI-Systems.
Die möglichen Auswirkungen reichen noch weiter. Präparierte Denkblöcke könnten auch für verdeckte Prompt Injections genutzt werden, bei denen schädliche Anweisungen für menschliche Prüfer unsichtbar in den KI-Kontext gelangen. Auch ein unbefugtes Klonen von Modellfähigkeiten wird als mögliches Risiko beschrieben.
Die betroffenen Unternehmen wurden vor Veröffentlichung der Ergebnisse informiert und haben erste Gegenmaßnahmen umgesetzt. Für Unternehmen und Entwickler macht der Fall deutlich, dass verschlüsselte KI-Kontextdaten nicht allein deshalb als sicher gelten sollten, weil sie für Menschen zunächst unlesbar erscheinen. Entscheidend ist, wie konsequent solche Daten an Nutzer, Sitzung und Modell gebunden sind.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.