Nvidia beeindruckt erneut mit herausragenden Ergebnissen im MLPerf Inference v4.1 Benchmark und setzt neue Maßstäbe in der KI-Hardware-Leistung.
Nvidia hat beim neuesten MLPerf Inference Benchmark (v4.1) absolute Rekordwerte erzielt, vor allem dank der neuen Blackwell-Architektur. Diese Architektur sorgt bei Modellen wie Llama 2 70B für eine bis zu viermal höhere Leistung pro GPU im Vergleich zur H100. Das Geheimnis hinter diesem Leistungssprung liegt in der Verwendung von niedrigeren Genauigkeiten sowie der Einführung der FP4-Präzision durch die Transformer Engine – eine Premiere für Nvidia. Trotz der geringeren Präzision betont Nvidia, dass dies keinerlei Einfluss auf die Ergebnisse habe.
Inferenz ist ein wesentlicher Schritt in der Nutzung von KI-Modellen. Während des Trainings lernt ein KI-Modell anhand von großen Datenmengen, Muster zu erkennen. Bei der Inferenz hingegen wird das gelernte Wissen angewendet, um neue Daten zu interpretieren oder Vorhersagen zu treffen. Zum Beispiel nutzt ein KI-gestütztes Bildanalyseprogramm die Inferenz, um auf Basis des zuvor trainierten Modells Objekte in neuen Bildern zu erkennen. Effiziente Inferenz ist entscheidend für die praktische Nutzung von KI in Echtzeit-Anwendungen, wie Sprachassistenten oder autonomes Fahren.
Neben der Blackwell-GPU wurde auch die H200-GPU mit HBM3e-Speicher präsentiert, die eine bis zu 1,5-fache Leistungssteigerung im Vergleich zur H100 bietet. Nvidia schaut dabei bereits in die Zukunft und plant, 2025 die „Blackwell Ultra“ (B200) und 2026 die „Rubin“ (R100) auf den Markt zu bringen. Mit der „Rubin Ultra“ soll 2027 eine weitere Leistungsstufe folgen.
Interessant ist auch der Vergleich mit AMD. Die GPU MI300X von AMD war ebenfalls Teil des Benchmarks, doch konnte sie bislang nicht mit Nvidias Leistungsfähigkeit mithalten. AMD führt dies auf fehlende Softwareoptimierungen zurück, die gerade für diesen Benchmark von zentraler Bedeutung sind. Seit einigen Jahren dominiert Nvidia den MLPerf-Benchmark, der von MLCommons entwickelt wurde, um eine transparente Vergleichsplattform für unterschiedliche Chip-Architekturen und KI-Systeme zu bieten. Jährlich werden die Resultate für das Training und die Inferenz von KI-Modellen veröffentlicht, und Nvidia steht dabei meist an der Spitze. Es bleibt spannend zu sehen, ob die fortschreitende Skalierung und die enorme Rechenleistung grundlegende Probleme in aktuellen KI-Systemen lösen können. Mit der neuen Hardware könnte dies in naher Zukunft experimentell überprüft werden.