Kurz gesagt: Multi Token Prediction (MTP) kann die Textgenerierung lokaler LLMs deutlich beschleunigen, ohne zusätzliche Hardware zu benötigen. Wie groß der Geschwindigkeitsgewinn ausfällt, hängt vor allem von Modell, Inferenz-Software, MTP-Konfiguration und vorhandener Hardware ab.
Lokale Sprachmodelle sind leistungsfähig, doch bei der Textgenerierung zählt neben Modellqualität vor allem die Geschwindigkeit. Multi Token Prediction, kurz MTP, setzt genau dort an: Statt ausschließlich Token für Token zu arbeiten, kann das Verfahren mehrere mögliche nächste Token vorbereiten und gemeinsam prüfen lassen. Wie viel zusätzliche Leistung dabei entsteht, hängt allerdings stark von Modell, Software und Hardware ab.
Bei klassischer autoregressiver Textgenerierung erzeugt ein Sprachmodell zunächst ein Token, bevor es mit dem nächsten fortfährt. MTP versucht, diesen sequenziellen Ablauf effizienter zu gestalten. Mehrere folgende Token werden vorab vorgeschlagen und anschließend durch das eigentliche Modell verifiziert. Werden mehrere dieser Vorschläge akzeptiert, kann das Modell innerhalb eines Verarbeitungsschritts entsprechend weiter vorankommen.
In Verbindung mit Inferenzverfahren wie Speculative Decoding kann das die Generierungsleistung erheblich steigern. Tests mit verschiedenen lokalen LLMs zeigen Unterschiede von rund 25 bis über 250 Prozent mehr Token pro Sekunde gegenüber einer Ausführung ohne MTP. Eine pauschale Verdopplung der Geschwindigkeit lässt sich daraus allerdings nicht ableiten: Die Ergebnisse unterscheiden sich je nach Modell und System deutlich.
Unterstützung gibt es inzwischen bei mehreren bekannten Modellfamilien. Gemma 4 sowie Qwen3.5 und Qwen3.6 lassen sich in geeigneten Varianten mit MTP einsetzen, auch Qwen3.8 unterstützt die Technik. Einige Modelle sind kompakt genug, um auf leistungsfähigen lokalen PCs mit ausreichend Grafikspeicher betrieben zu werden.
Entscheidend ist jedoch nicht allein, ob ein Modell grundsätzlich MTP unterstützt. Auch die verwendete Inferenz-Engine muss mit der jeweiligen Architektur umgehen können. Llama.cpp beispielsweise unterstützt entsprechende Verfahren zur spekulativen Generierung und kann dafür die MTP-Komponenten kompatibler Modelle nutzen.
Ein zentraler Faktor ist die Akzeptanzrate der vorhergesagten Token. Je häufiger das Hauptmodell die vorgeschlagenen Token übernimmt, desto größer kann der Geschwindigkeitsvorteil ausfallen. Liegt die Vorhersage dagegen häufig daneben, müssen Token verworfen und neu berechnet werden. Der zusätzliche Aufwand reduziert dann den Leistungsgewinn und kann ihn unter ungünstigen Bedingungen weitgehend aufheben.
Deshalb sollte auch die Zahl der vorab erzeugten Token nicht einfach möglichst hoch eingestellt werden. Größere Blöcke bieten theoretisch mehr Beschleunigung, können bei niedriger Trefferquote aber zusätzlichen Rechenaufwand verursachen. Inferenz-Engines wie Llama.cpp bieten entsprechende Parameter, deren optimale Einstellung von Modell, Aufgabe und Hardware abhängt.
Hinzu kommen technische Faktoren wie Speicherbandbreite, verfügbaren GPU- und Systemspeicher sowie das verwendete Rechen-Backend. Müssen Daten zwischen unterschiedlichen Speicherbereichen oder Recheneinheiten häufig übertragen werden, kann ein Teil des theoretischen Vorteils verloren gehen.
Für den praktischen Einsatz bedeutet das: MTP sollte nicht anhand einzelner Benchmarkwerte beurteilt werden. Aussagekräftiger ist ein direkter Vergleich desselben Modells auf derselben Hardware mit identischen Prompts und Generierungseinstellungen – einmal mit und einmal ohne MTP. Dabei lassen sich auch verschiedene MTP-Parameter gegeneinander testen.
Bei korrekt umgesetztem Speculative Decoding bleibt das Hauptmodell die entscheidende Instanz: Vorgeschlagene Token werden geprüft, bevor sie übernommen werden. Ziel von MTP ist damit nicht, Modellqualität gegen Geschwindigkeit einzutauschen, sondern vorhandene Rechenleistung effizienter für die Generierung zu nutzen.
Gerade für Unternehmen und Anwender, die KI-Modelle aus Datenschutz-, Kosten- oder Infrastrukturgründen lokal betreiben, kann diese Optimierung interessant sein. Ob daraus ein kleiner Geschwindigkeitsgewinn oder ein deutlicher Leistungssprung wird, entscheidet letztlich das Zusammenspiel aus Modell, MTP-Unterstützung, Konfiguration, Inferenz-Software und Hardware.
Weitere Entwicklungen rund um lokale KI, neue Modelle und praktische Einsatzmöglichkeiten ordnen wir regelmäßig im Newsletter „Beratung-KI“ ein.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.