Haben Sie sich jemals gefragt, was die nächste große Innovation im Bereich der künstlichen Intelligenz sein könnte? Intel liefert mit Gaudi 3 die Antwort.
Intel hat kürzlich die Einführung seiner neuesten Generation von KI-Beschleunigern, bekannt als „Gaudi 3“, bekanntgegeben. Diese neuen Beschleuniger treten direkt in Konkurrenz zu Nvidias H100, mit dem Versprechen, die Leistung in KI-Training und Inferencing zu revolutionieren. Mit Varianten wie dem Open Accelerator Module (OAM) für bis zu 900 Watt beim KI-Training, einem Achterpack auf einem Universal Baseboard und einer PCI-Express-Steckkarte für bis zu 600 Watt Thermal Power, bietet Gaudi 3 eine beeindruckende Flexibilität für verschiedene Einsatzszenarien.
Eine der herausragenden Eigenschaften von Gaudi 3 ist seine Kommunikationsfähigkeit in Rechenverbünden oder -zentren über standardkonforme Ethernet-Schnittstellen. Dies bietet Kunden die Freiheit, zwischen verschiedenen Netzwerkanbietern zu wählen, ein klarer Vorteil gegenüber Nvidias Angeboten. Mit der Fertigung in der fortschrittlichen 5-Nanometer-Technik durch TSMC verspricht Intel, dass Gaudi 3 nicht nur leistungsstark, sondern auch effizient ist.
Die Architektur von Gaudi 3, bestehend aus zwei großen, identischen Chips, ist speziell für KI-Anwendungen konzipiert. Mit 64 Tensor-Processor-Cores, der fünften Generation von Matrix-Math-Engines und der Fähigkeit, bis zu 64.000 Operationen parallel auszuführen, setzt Gaudi 3 neue Standards in der KI-Leistung. Die Steigerung gegenüber dem Vorgängermodell Gaudi 2 ist beeindruckend: FP8-Genauigkeit wurde um den Faktor 2 und BF16-Genauigkeit um den Faktor 4 verbessert.
Besonders bemerkenswert ist, dass Gaudi 3 im Training von Large Language Models (LLMs) bis zu 70% schneller als Nvidias H100 sein soll. Obwohl Gaudi 3 beim Inferencing etwas langsamer als Nvidias neuester H200 ist, übertrifft es diesen bei größeren Modellen wie dem Falcon-LLM um bis zu 280%. Diese Leistungssteigerungen werden durch eine doppelte Netzwerktransferrate und eine 50% höhere Speichertransferrate im Vergleich zu Gaudi 2 ermöglicht.