Die neueste Entwicklung von Google verspricht eine bedeutende Verbesserung bei der Zuverlässigkeit von KI-Sprachmodellen – was steckt hinter den DataGemma-Modellen?
Präzision und Verlässlichkeit im Fokus: DataGemma und die neuen Ansätze
Google hat mit DataGemma eine Reihe von offenen Modellen vorgestellt, die darauf abzielen, die Genauigkeit und Zuverlässigkeit von großen Sprachmodellen (LLMs) signifikant zu erhöhen. Ein zentrales Anliegen ist die Minimierung sogenannter Halluzinationen, bei denen KI-Modelle überzeugend, aber faktisch falsche Informationen liefern. Diese neuen Modelle greifen auf reale Datenquellen zurück, um ihre Aussagen abzusichern.
Im Mittelpunkt steht dabei die Nutzung von Data Commons, einem öffentlichen Wissensgraphen, der über 240 Milliarden geprüfte Datenpunkte enthält – darunter Informationen von globalen Organisationen wie den Vereinten Nationen und der Weltgesundheitsorganisation. Das Ziel: KI-Modelle, die auf fundierte und vertrauenswürdige Informationen zugreifen.
Google setzt bei DataGemma auf zwei Ansätze, die sogenannte Retrieval Interleaved Generation (RIG) und Retrieval Augmented Generation (RAG).
- RIG: Dieses Modell verwendet das Gemma-2-Modell, das in der Lage ist, statistische Informationen in seinen Antworten zu erkennen. Es kombiniert diese Fähigkeit mit dem Abruf von Daten aus Data Commons, um die Ausgabe des Modells zu validieren. Statt bloßer Aussagen gibt es beispielsweise „Die Bevölkerung Kaliforniens beträgt [DC(Wie hoch ist die Bevölkerung Kaliforniens?) → ‚39 Millionen‘]“ aus – eine präzise Antwort, gestützt auf eine überprüfbare Quelle.
- RAG: Hier analysiert ein speziell angepasstes Gemma-Modell die Nutzerfrage und formuliert diese so, dass Data Commons darauf zugreifen kann. Diese Methode erlaubt es, die ursprüngliche Frage mit umfangreichen Informationen anzureichern, bevor das größere Sprachmodell, wie das leistungsstarke Gemini 1.5 Pro, die finale Antwort generiert. Dank eines Kontextfensters von bis zu 1,5 Millionen Token ist dieses Modell in der Lage, riesige Datenmengen zu verarbeiten und so präzise Antworten zu liefern.
Beide Ansätze haben ihre Stärken: Während RIG in fast allen Kontexten zuverlässig funktioniert, aber keine neuen Daten nach dem Finetuning lernt, kann RAG durch die kontinuierliche Entwicklung profitieren – birgt aber auch das Risiko, weniger intuitiv auf komplexe Prompts zu reagieren. Google hat die Modelle bereits auf Plattformen wie Hugging Face und Kaggle zum Download bereitgestellt, um die Entwicklung weiter voranzutreiben.