4. Juli 2024

Qdrant präsentiert BM42: Ein neuer Algorithmus für die KI-gestützte Suche

Qdrant hat einen innovativen Suchalgorithmus namens BM42 vorgestellt, der die Zukunft der KI-gestützten Suche neu definiert.

Qdrant, ein aufstrebendes Startup im Bereich der Vektordatenbanken, hat einen neuen Algorithmus entwickelt, der unter dem Namen BM42 bekannt ist. Dieser Algorithmus soll gezielt moderne Anwendungsfälle in den Bereichen Künstliche Intelligenz und Suche, insbesondere Retrieval Augmented Generation (RAG), adressieren.

BM42 wird als Alternative zu etablierten Suchalgorithmen wie BM25 und SPLADE positioniert und kombiniert das Beste aus beiden Welten. Laut Andrey Vasmetsov, CTO und Mitgründer von Qdrant, vereint BM42 die Einfachheit und Interpretierbarkeit des klassischen BM25-Algorithmus mit der semantischen Intelligenz von Transformer-basierten KI-Modellen.

Der neue Algorithmus adressiert die Herausforderungen, die bei RAG-Systemen auftreten, indem er die semantische Bedeutung von Wörtern innerhalb kürzerer Dokumente besser erfasst. Anstelle der statistischen Termhäufigkeit innerhalb eines Dokuments nutzt BM42 die Attention-Werte aus Transformer-Modellen, um die Bedeutung eines Wortes für das gesamte Dokument zu bestimmen. Dabei behält er die aus BM25 bekannte Inverse Document Frequency (IDF) bei, um die Wichtigkeit eines Terms im Bezug auf die gesamte Dokumentensammlung zu messen.

Ein weiterer Vorteil von BM42 ist seine spezielle Tokenisierungsmethode, die für Suchaufgaben besser geeignet ist. Der Token „CLS“ repräsentiert die gesamte Sequenz in Klassifizierungsaufgaben und ermöglicht durch seine Aufmerksamkeitszeile eine präzisere Bestimmung der Bedeutung jedes Tokens im Dokument. Entwicklerinnen und Entwickler profitieren von BM42 durch seine einfache Integration in bestehende Systeme, hohe Effizienz und geringen Speicherbedarf. Der hybride Suchansatz von BM42, der Dense Embeddings für semantische Ähnlichkeiten und Sparse-Modelle für exakte Token-Übereinstimmungen kombiniert, liefert die bestmöglichen Ergebnisse und bietet mehr Flexibilität bei der Nutzung verschiedener Transformer-Modelle.


Wir führen seit Jahren Beratung zu KI (Künstlicher Intelligenz) für KMUs (Klein- und Mittelständische Unternehmen) erfolgreich durch.

Mehr zu aktuellen Themen der #KI (Künstlichen Intelligenz) oder zu

Ihrem individuellen, optimalen "KI-Masterplan" für Ihr Unternehmen finden Sie in unserem Newsletter.

Abonnieren Sie den Newsletter hier:


Tags


Das könnte Sie auch interessieren

Abonnieren Sie jetzt unseren Newsletter!

>