Anthropic hat eine innovative Methode vorgestellt, die die Genauigkeit bei Wissensdatenbank-Abfragen signifikant erhöht.
Bisher hatten Retrieval-Augmented Generation (RAG)-Systeme das Problem, dass wertvolle Kontextinformationen verloren gingen, wenn Dokumente in kleinere Einheiten (Chunks) zerlegt wurden. Anthropic löst dieses Problem durch die Einführung von „Contextual Retrieval“, einer Methode, die jedem Chunk eine kurze Zusammenfassung des Gesamtdokuments hinzufügt, bevor es in der Datenbank indexiert wird. Dies soll die Präzision bei der Abfrage von Wissensdaten erheblich verbessern.
Laut Anthropic führt diese Technik zu einer Reduktion der Fehlerrate um bis zu 49 Prozent. Wenn zusätzlich eine Neusortierung der Ergebnisse erfolgt, könnten sogar Verbesserungen von bis zu 67 Prozent erreicht werden. Besonders interessant: Die Integration von Contextual Retrieval in bestehende RAG-Systeme ist laut Anthropic mit geringem Aufwand möglich, was es für Entwickler, die an der Leistungssteigerung solcher Systeme arbeiten, attraktiv macht. Zusätzlich untermauern Forscher der Cornell University die Vorteile der kontextbasierten Methode. In ihrem Paper über „Contextual Document Embeddings“ (CDE) werden zwei Techniken beschrieben: kontextuelles Training und eine kontextuelle Architektur mit einem zweistufigen Encoder. Beide Ansätze führten in Experimenten zu signifikanten Verbesserungen, insbesondere in Bereichen wie Medizin und Finanzen. Allerdings bleiben Fragen zur Anwendung auf größere Wissensdatenbanken offen.