Die Frage, wie große Sprachmodelle tatsächlich funktionieren, beschäftigt Forschende weltweit. Doch was passiert wirklich im Inneren dieser mächtigen KI-Systeme?
Anthropic, bekannt für die Entwicklung des Sprachmodells Claude, hat sich mit einer innovativen Analysetechnik auf die Suche nach Antworten gemacht. Durch den Einsatz von Circuit-Tracing, einer Methode, die Entscheidungsprozesse innerhalb von Modellen in kleinere Einheiten, sogenannte Circuits, unterteilt, gewinnen sie wertvolle Einblicke.
Diese Technik ermöglichte es den Forschenden, herauszufinden, dass große Sprachmodelle wie Claude 3.5 Haiku auf überraschend komplexe Weise arbeiten. Zum Beispiel wurde beobachtet, dass das Modell unerwartete Abkürzungen nimmt, um mathematische Probleme zu lösen oder Halluzinationen zu verhindern.
Ein weiteres spannendes Ergebnis: Claude plant bei der Dichtung mehrere Wörter im Voraus, anstatt lediglich Wort für Wort zu generieren. Dieses Planungsvermögen widerspricht bisherigen Annahmen und wirft neue Fragen auf, wie weit die Fähigkeiten von Sprachmodellen tatsächlich reichen.
Anthropic stützt sich bei seiner Methode auf Brain-Scan-Techniken aus der Neurowissenschaft. Indem bestimmte Komponenten innerhalb eines Modells hervorgehoben und ihre Aktivität verfolgt wird, lassen sich Muster erkennen, die zuvor im Verborgenen lagen. Diese Komponenten reichen von spezifischen Konzepten wie „Michael Jordan“ bis hin zu allgemeinen Ideen wie „Konflikt“.
Auch das Phänomen der Halluzinationen wurde unter die Lupe genommen. So stellte sich heraus, dass Claude über eine spezielle Komponente verfügt, die unzulässige Spekulationen unterdrückt. Wird diese Komponente deaktiviert, entstehen prompt Fehlinformationen.
Doch trotz aller Fortschritte bleibt eine zentrale Frage unbeantwortet: Wie entstehen diese Strukturen während des Trainings? Die Forschenden betonen, dass sie nur einen kleinen Teil des Systems durchleuchten konnten und noch viele Geheimnisse unentdeckt bleiben.