Meta präsentiert mit dem Byte Latent Transformer (BLT) eine KI-Architektur, die ein grundlegendes Problem heutiger Sprachmodelle adressiert. Wie verändert BLT die Verarbeitung von Text und Daten?
Aktuelle KI-Modelle stoßen bei der Verarbeitung einzelner Buchstaben an ihre Grenzen. Diese Schwäche liegt in der Tokenisierung begründet, bei der Texte in kleine Zeichenketten zerlegt werden. Dieses Verfahren ist nicht nur fehleranfällig, sondern erschwert auch die Integration neuer Datenformate wie Bilder oder Audiodaten. Der Grund: Training auf der Byte-Ebene galt bisher als zu teuer und rechenintensiv.
Meta will dieses Problem mit BLT lösen. Anders als herkömmliche Modelle arbeitet BLT direkt auf Byte-Ebene und vermeidet so die Tokenisierung. Um den Rechenaufwand zu reduzieren, werden Bytes dynamisch zu sogenannten Patches zusammengefasst. Die Patch-Größe passt sich automatisch an die Komplexität des Textes an – einfache Passagen werden in größere Patches zusammengefasst, komplexere in kleinere, die intensiver verarbeitet werden.
Durch eine mehrstufige Verarbeitung, bei der Bytes zunächst lokal kodiert, dann durch einen latenten Transformer verarbeitet und schließlich wieder dekodiert werden, erzielt BLT beeindruckende Ergebnisse. Mit nur 8 Milliarden Parametern übertrifft es Modelle wie Llama 3.1, das mit 16-mal mehr Daten trainiert wurde.
Die neue Architektur überzeugt zudem durch Skalierbarkeit und Effizienz. Durch gleichzeitiges Vergrößern der Patch- und Modellgröße können die Kosten stabil gehalten werden, während die Leistung steigt. Laut Meta sind Effizienzgewinne von bis zu 50 Prozent möglich. Besonders hervorzuheben sind die Robustheit und Flexibilität von BLT, etwa bei der Verarbeitung seltener oder fehlerhafter Textsequenzen. Bereits zuvor hatte Meta mit MegaByte einen ähnlichen Ansatz vorgestellt, der jedoch weniger dynamisch war. Laut Experten wie Andrej Karpathy ist die Abschaffung der Tokenisierung ein wichtiger Meilenstein für die Weiterentwicklung von KI-Systemen.
Meta hat den Code und die Forschungsergebnisse auf Github veröffentlicht und hofft, damit Fortschritte in der Verarbeitung ressourcenarmer Sprachen, Programmcode und der Faktentreue von KI-Systemen voranzutreiben. Die Einführung von BLT könnte die Art und Weise, wie KI-Modelle mit Text und Daten arbeiten, nachhaltig verändern.