Kurz gesagt: Moonshot AI hat die vollständigen Modellgewichte von Kimi K3.1 Pro veröffentlicht. Das multimodale KI-Modell unterstützt ein Kontextfenster von rund einer Million Token und lässt sich auf eigener Infrastruktur betreiben. Die insgesamt 1,56 Terabyte großen Modelldaten stellen allerdings hohe Anforderungen an die Hardware.
Leistungsfähige KI-Modelle unabhängig von der Infrastruktur ihres Anbieters betreiben – welche Möglichkeiten eröffnet das für Entwickler? Mit der Veröffentlichung der Open Weights von Kimi K3.1 Pro auf Hugging Face ermöglicht Moonshot AI nun den eigenständigen Betrieb seines KI-Modells.
1,56 Terabyte Modellgewichte für den eigenen Betrieb
Die veröffentlichten Modellgewichte verteilen sich auf 96 Dateien im Safetensors-Format. Das gesamte Repository umfasst 1,56 Terabyte. Entsprechend umfangreich fallen die Anforderungen an Speicherplatz und Rechenleistung aus.
Für die technische Bereitstellung nennt Moonshot AI die Lösungen vLLM, SGLang und TokenSpeed. Die Veröffentlichung erfolgt unter der herstellereigenen „Kimi K3.1 Pro License“.
Multimodale Verarbeitung mit großem Kontextfenster
Kimi K3.1 Pro verarbeitet sowohl Texte als auch Bilder und unterstützt ein Kontextfenster von rund einer Million Token. Dadurch lassen sich umfangreiche Dokumente oder große Codebestände innerhalb eines einzelnen Auftrags berücksichtigen.
Das Modell basiert auf Kimi K3 und wurde unter anderem für Programmierung, 3D-Erstellung und Finanzrecherchen weitertrainiert.
Bereits vor der Veröffentlichung der Modellgewichte war Kimi K3.1 Pro über Kimi sowie über eine API verfügbar. Mit der Bereitstellung der Open Weights erfüllt Moonshot AI seine Ankündigung, die vollständigen Gewichte bis zum 4. November zugänglich zu machen.
Mehr Kontrolle über den KI-Betrieb
Die Veröffentlichung eröffnet Entwicklern die Möglichkeit, Kimi K3.1 Pro auf eigener Infrastruktur einzusetzen, statt ausschließlich auf die bereitgestellten Dienste zurückzugreifen. Der erhebliche Ressourcenbedarf bleibt dabei eine zentrale technische Hürde.
Für Unternehmen und Entwickler, die leistungsfähige KI-Modelle selbst betreiben möchten, sind insbesondere die verfügbare Infrastruktur, das große Kontextfenster und die jeweiligen Lizenzbedingungen relevant.
Welche weiteren Möglichkeiten offen verfügbare KI-Modelle für die praktische Anwendung eröffnen, erfahren Sie im Newsletter Beratung-KI.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.