Der kürzlich fertiggestellte Supercomputer Colossus könnte die Art und Weise, wie wir künstliche Intelligenz trainieren, auf ein völlig neues Niveau bringen.
Das von Elon Musk gegründete Unternehmen xAI hat mit Colossus einen Supercomputer erschaffen, der in der Liga der schnellsten Rechensysteme mitspielt. In nur vier Monaten gebaut, beeindruckt Colossus mit einer schier unglaublichen Leistung: 100.000 Nvidia H100-Beschleuniger liefern eine theoretische Rechenleistung von bis zu 3,4 Exaflops bei Gleitkomma-Operationen mit doppelter Genauigkeit (FP64). Für KI-spezifische Aufgaben, bei denen leichtere Berechnungen wie FP8 oder INT8 zum Einsatz kommen, sind sogar unglaubliche 396 Exaflops möglich.
Im Vergleich zu aktuellen Spitzenreitern wie dem Frontier-Supercomputer, der bei 1,7 Exaflops liegt, könnte Colossus mühelos die Top500-Liste der schnellsten Supercomputer anführen – wenn xAI ihn im Linpack-Benchmark testen lassen würde. Doch private Firmen reichen selten solche Ergebnisse ein, sodass Colossus wahrscheinlich nicht offiziell in der Liste auftauchen wird.
Besonders bemerkenswert ist die Geschwindigkeit, mit der Colossus gebaut wurde. Normalerweise dauern Inbetriebnahmen solcher Systeme lange, da Fehlerkorrekturen komplex und zeitintensiv sind. Doch die beeindruckende Leistung hat ihren Preis: Colossus verbraucht immense Mengen an Energie. Allein die 100.000 H100-Module benötigen 70 Megawatt, wobei zusätzliche Komponenten und die Kühlung den Verbrauch in die Höhe treiben. Musk plant bereits die Erweiterung um weitere 50.000 H100- und 50.000 H200-Module, was den Energiebedarf in den Bereich von 200 Megawatt treiben könnte.