Mit Soofi S 30B-A3B veröffentlicht ein deutsches Forschungskonsortium ein offenes Sprachmodell, das gezielt für Deutsch und Englisch trainiert wurde. Kann der Ansatz eine leistungsfähige europäische Alternative zu internationalen Open-Weight-Modellen schaffen?
Das vom KI Bundesverband koordinierte Projekt setzt auf eine Mixture-of-Experts-Architektur mit insgesamt 31,6 Milliarden Parametern. Pro erzeugtem Token werden jedoch nur rund 3,2 Milliarden Parameter aktiviert. Dadurch liegen die Rechenkosten deutlich unter denen eines klassischen Modells vergleichbarer Gesamtgröße.
Technisch übernimmt Soofi S die Hybridarchitektur von Nvidias Nemotron 3 Nano. Sie kombiniert Mamba-2- mit klassischen Attention-Layern. Nur sechs der insgesamt 52 Layer benötigen einen KV-Cache, dessen Speicherbedarf bei herkömmlichen Transformer-Modellen mit der Kontextlänge wächst.
In den veröffentlichten Messungen bleibt der Durchsatz von Soofi S deshalb auch bei langen Eingaben vergleichsweise stabil. Bei 40.000 Token Kontext und 32 parallelen Anfragen erzeugt das Modell pro GPU etwa achtmal mehr Token pro Sekunde als untersuchte dichte Modelle mit 14 bis 24 Milliarden Parametern.
Deutscher Trainingsanteil gezielt erhöht
Das Konsortium verarbeitete rund 27 Billionen Token in drei Trainingsphasen. Der Anteil deutschsprachiger Inhalte stieg dabei von 7,2 auf 15,3 Prozent. Zu den Quellen gehören unter anderem HPLT, German Commons, FinePDFs, FineWiki und der lizenzierte Genios-Korpus mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen.
Laut Pretraining-Report erreicht Soofi S bei aggregierten deutschen und englischen Benchmarks die höchsten Werte unter den untersuchten vollständig offenen Modellen. Bei Code-Tests erzielt es unter anderem 73,8 Prozent auf HumanEval und 84,2 Prozent auf der deutschen MBPP-Variante. Auch beim Deutschland-spezifischen Wissenstest INCLUDE-DE gehört es zur Spitzengruppe.
Das Modell zeigt jedoch nicht in allen Bereichen Bestwerte. Bei deutscher Wettbewerbsmathematik liegt es hinter Qwen3.5 35B-A3B und Gemma 3 27B. Schwächen bestehen zudem bei offenen Faktenabfragen und einer speziellen Long-Context-Aufgabe zur Extraktion häufig vorkommender Wörter. Oberhalb von 32.000 Token sinkt die Trefferrate dort deutlich.
Training auf deutscher Cloud-Infrastruktur
Trainiert wurde Soofi S zwischen März und Mai auf bis zu 512 Nvidia-B200-GPUs in der Industrial AI Cloud der Deutschen Telekom in München. Insgesamt kamen rund 253.000 GPU-Stunden zum Einsatz. Laut Report wird die Anlage mit erneuerbarer Energie betrieben, über Wasser aus dem Eisbach-Kanal gekühlt und zur Einspeisung von Abwärme in das umliegende Viertel genutzt.
Neben den Modellgewichten veröffentlicht das Konsortium ausgewählte Zwischenstände, Trainings- und Evaluationscode sowie eine detaillierte Dokumentation der Datenquellen. Nach eigener Einschätzung erfüllt Soofi S die Open Source AI Definition 1.0. Eine strengere Open-Data-Definition wird wegen eines kommerziell lizenzierten Datenanteils von 1,3 Prozent jedoch nicht erreicht. Auch die konkrete Modelllizenz war zunächst noch nicht eindeutig geklärt.