Microsoft Research hat mal wieder etwas Spannendes in der Pipeline – und diesmal geht es um eine effizientere Verbindung von Sprachmodellen mit externem Wissen. Klingt technisch? Ist es auch. Aber das Konzept hinter KBLaM hat das Potenzial, den Umgang mit großen Wissensdatenbanken grundlegend zu vereinfachen. Warum? Das klären wir hier.
Wie funktioniert das Ganze überhaupt?
KBLaM steht für „Knowledge Base-Augmented Language Models“ und ist ein frischer Ansatz zur Einbindung strukturierter Wissensdatenbanken in KI-Sprachmodelle. Im Gegensatz zu bisherigen Methoden wie Retrieval-Augmented Generation (RAG) kommt KBLaM ohne separate Retrieval-Module aus. Die Technik folgt dem Plug-and-Play-Prinzip: Man nehme ein vortrainiertes Sprachmodell und füge das externe Wissen über spezielle Vektoren direkt ein – ganz ohne Umweg über Zwischenschritte oder komplexe Umstrukturierungen.
Das Highlight? Eine sogenannte rechteckige Attention-Struktur sorgt dafür, dass die Rechenlast bei der Integration großer Wissensbasen nicht aus dem Ruder läuft. Während bei RAG der Aufwand quadratisch steigt, wächst er bei KBLaM nur linear. Das heißt konkret: mehr Wissen, weniger Rechenpower.
Effizient, transparent – aber noch nicht ganz am Ziel
Microsofts Methode zeigt sich im Praxistest vor allem bei der Reduktion von Halluzinationen stark. Sobald mehr als 200 strukturierte Wissenseinträge vorhanden sind, wird das Modell vorsichtiger und gibt keine Vermutungen mehr ab, wenn Informationen fehlen. Zusätzlich lässt sich der Ursprung des Wissens auf einzelne Tokens zurückverfolgen – ein klarer Pluspunkt in Sachen Transparenz.
KBLaM unterstützt derzeit Modelle wie Llama 3 und Phi-3, der Code ist Open Source auf GitHub verfügbar. Eine Integration in die Hugging Face Transformers-Bibliothek ist bereits geplant. Dennoch: Für komplexe Schlussfolgerungsaufgaben reicht das System noch nicht aus – hier ist weitere Forschung nötig.
Was bedeutet das für die Zukunft von Sprachmodellen?
Trotz immer größerer Kontextfenster bleibt die Herausforderung bestehen, KI-Modelle mit aktuellen und spezifischen Informationen zu versorgen – ohne dass dabei Unsicherheit oder Rechenaufwand überhandnehmen. KBLaM bietet hierfür einen vielversprechenden Ansatz, der die bisherige Dominanz von RAG-Modellen durchaus herausfordern könnte.