Je mehr Kontext, desto besser? Neue Forschungsergebnisse zeigen das Gegenteil. Woran liegt es, dass große Sprachmodelle mit langen Texten ins Straucheln geraten?
Warum große Kontexte problematisch sind
Eine aktuelle Studie von Chroma Research liefert spannende Einblicke in die Schwächen moderner KI-Modelle. Die Forscher testeten 18 der bekanntesten Systeme wie GPT, Claude, Gemini und Qwen auf ihre Fähigkeit, mit langen Kontexten umzugehen. Das Ergebnis: Je länger der Text, desto schlechter die Ergebnisse – vor allem bei Fragen, die ein semantisches Verständnis und keine exakte Wortübereinstimmung verlangen.
Besonders deutlich wurde das bei sogenannten „Distraktoren“: inhaltlich ähnliche, aber falsche Antworten führten oft zu Fehlinterpretationen. Claude-Modelle verweigerten lieber eine Antwort, während GPT-Modelle zwar antworteten, jedoch mit plausibel klingendem Unsinn.
Struktur schlägt Inhalt?
Überraschend war, dass die Textstruktur ebenfalls großen Einfluss hat. Zufällig durchmischte Sätze führten zu besseren Ergebnissen als logisch aufgebaute Texte. Warum das so ist, bleibt offen – doch klar ist: Nicht nur der Inhalt, sondern auch die Struktur zählt.
Tests mit extrem langen Chatverläufen (über 100.000 Tokens) im LongMemEval-Benchmark bestätigten die Probleme: Viele Modelle fanden relevante Informationen nicht und produzierten kuriose Fehler. Die Empfehlung der Forscher lautet daher: gezieltes „Context Engineering“, also das bewusste Auswählen und Anordnen relevanter Informationen im Prompt.
Andere Forscher bestätigen den Trend
Auch Deepmind, die LMU München, Adobe Research sowie Microsoft und Salesforce fanden ähnliche Schwächen in ihren Untersuchungen. Das zeigt: Der Traum von „endlos langen Kontexten“ ist technisch zwar möglich, praktisch aber aktuell kaum nutzbar.