Nvidia verbindet ein neues offenes Sprachmodell mit einer Open-Source-Lösung für intelligentes Modell-Routing. Nemotron 3.5 Lightning soll vor allem dauerhaft arbeitende KI-Agenten in Unternehmensumgebungen schneller machen. Gleichzeitig stellt sich eine praktische Frage: Muss für jede Aufgabe überhaupt dasselbe KI-Modell zum Einsatz kommen?
Nemotron 3.5 Lightning verfügt über 30 Milliarden Parameter und basiert auf einer Mixture-of-Experts-Architektur (MoE). Nvidia kombiniert dabei Mamba-2-State-Space-Layer, MoE-Routing und selektive Attention-Layer zu einem Hybrid-Design.
Nach Angaben des Unternehmens erreicht das Modell gegenüber vergleichbaren Modellen derselben Gewichtsklasse eine bis zu viermal höhere Ausgabegeschwindigkeit. Agenten-Aufgaben sollen dadurch rund 30 Prozent schneller abgewickelt werden. Auch beim Artificial Analysis Intelligence wird die Geschwindigkeit hervorgehoben: Dort liegt Nemotron 3.5 Lightning in seiner Gewichtsklasse auf Platz drei.
NeMo Switchyard verteilt Aufgaben zwischen KI-Modellen
Parallel zum neuen Modell veröffentlicht Nvidia die Open-Source-Bibliothek NeMo Switchyard. Sie enthält Bausteine, mit denen sich Router für unterschiedliche KI-Modelle entwickeln lassen. Solche Router entscheiden, welches Modell für eine bestimmte Anfrage eingesetzt werden soll.
Unternehmen können damit eigene Routing-Lösungen aufbauen und an ihre jeweiligen Anforderungen anpassen. Dabei soll NeMo Switchyard nicht auf Nvidia-Modelle beschränkt sein: Die Bibliothek ist laut Nvidia auch mit KI-Systemen anderer Anbieter kombinierbar.
Gerade für agentische Anwendungen ist diese Kombination relevant. Statt sämtliche Aufgaben durch ein einziges Modell bearbeiten zu lassen, können unterschiedliche Modelle abhängig vom jeweiligen Einsatzzweck eingebunden werden. Nemotron 3.5 Lightning adressiert dabei vor allem Geschwindigkeit und kontinuierlich laufende Agenten-Workloads, während Switchyard die technische Grundlage für eine flexiblere Verteilung der Aufgaben bereitstellt.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.