Bytedance hat ein spannendes neues KI-Modell für die Code-Generierung vorgestellt – und das arbeitet laut eigenen Angaben mehr als fünfmal schneller als bisherige Systeme. Doch wie gelingt dieser Performance-Sprung?
Mit Seed Diffusion Preview verfolgt Bytedance einen radikal anderen Ansatz zur Code-Generierung. Statt Token nacheinander zu erzeugen, werden sie parallel generiert – und das mit beeindruckenden 2.146 Token pro Sekunde auf industriellen Nvidia-H20-GPUs.
Kern des Verfahrens ist der sogenannte „Discrete-State Diffusion“-Ansatz, der ursprünglich aus der Bildverarbeitung stammt, aber für diskrete Daten wie Text und Code angepasst wurde. Dabei wird der Code zunächst komplett mit Platzhaltern gefüllt und anschließend in mehreren Bereichen gleichzeitig vervollständigt. Die Transformer-Technologie sorgt dafür, dass die Vorhersage von Code-Abschnitten parallel und nicht mehr rein sequenziell abläuft.
Laut Benchmarks erreicht das Modell konkurrenzfähige Qualität und übertrifft insbesondere bei Code-Editieraufgaben viele etablierte Ansätze. Ein zweistufiges Trainingsverfahren stellt sicher, dass das Modell auch nicht-maskierte Token kritisch überprüft. Zusätzlich optimierte Bytedance die Generierungsreihenfolge, um logische Code-Abhängigkeiten – etwa Variablen-Definitionen vor deren Nutzung – einzuhalten.
Ein weiteres Highlight ist das „On-Policy Learning“-Verfahren, mit dem das Modell seinen eigenen Generierungsprozess optimiert. Das Ziel: die Anzahl der Generierungsschritte so weit wie möglich reduzieren, ohne Qualität einzubüßen. Hierfür kombiniert das System block-weise parallele Verarbeitung (parallel innerhalb eines Blocks, sequenziell zwischen den Blöcken) mit einer speziell angepassten Software-Infrastruktur.
Mit diesem experimentellen Modell reiht sich Bytedance in eine Entwicklung ein, die auch Google mit seinem Gemini Diffusion verfolgt. Künftig will das Team den Ansatz skalieren und auf komplexere Reasoning-Aufgaben ausweiten.