Elon Musk, Gründer von xAI, hat seine ehrgeizigen Pläne zur Entwicklung von KI-Modellen konkretisiert und lässt dabei aufhorchen.
Bereits im März 2024 kündigte Musk das KI-Modell Grok 2 an, das ursprünglich im Mai veröffentlicht werden sollte. Trotz der Verzögerung begründete Musk die Verschiebung damit, dass der aufwendige Prozess der Bereinigung von Trainingsdaten aus dem Internet eine größere Herausforderung darstellte als erwartet. Dabei betonte er, dass Grok 2 in diesem Bereich „gigantische Fortschritte“ machen werde.
Für das Training von Grok 2 hat xAI 24.000 H100-GPUs von Oracle gemietet. Derzeit befindet sich das Modell in der Finetunings- und Fehlerhebungs-Phase. Doch Musk ruht sich nicht auf den Lorbeeren aus: Anfang Juli kündigte er bereits Grok 3 an, das Ende des Jahres erscheinen soll. Dieses Modell soll auf „100k H100s“ laufen und wird als „wirklich etwas Besonderes“ beschrieben.
Interessanterweise setzt xAI für Grok 3 auf eine eigene Hardware-Infrastruktur und löst sich somit aus der Kooperation mit Oracle. Das Unternehmen baut nach eigenen Angaben das „leistungsstärkste Trainingscluster der Welt“. Musk erklärte, dass das KI-Training auf diesem Cluster noch in diesem Monat beginnen soll. Mit dem Weggang von Oracle zielt Musk darauf ab, schneller zu sein als andere KI-Unternehmen, was er mit den Worten untermauerte: „Wenn unser Schicksal davon abhängt, bei Weitem der Schnellste zu sein, müssen wir selbst am Steuer sitzen und nicht auf dem Rücksitz.“
Die „Gigafactory of Compute“, die in Memphis entsteht, wird wohl das Zentrum dieser neuen Infrastruktur sein. Trotz der bisherigen beeindruckenden Fortschritte erreicht das aktuelle Grok-Modell im X-Chatbot jedoch noch nicht das Niveau von Konkurrenzmodellen wie ChatGPT und Claude.