Meta hat mit Llama 4 Scout und Llama 4 Maverick zwei spannende multimodale Modelle auf den Markt gebracht. Doch während die neuen Systeme durch ihre beeindruckende Architektur und Leistung auf sich aufmerksam machen, bleibt die EU außen vor. Warum ist das so?
Die neuen Llama-4-Modelle bieten spannende Möglichkeiten, denn sie können nicht nur Text, sondern auch Bilder verarbeiten. Basierend auf der innovativen Mixture-of-Experts-Struktur (MoE) eröffnet Meta damit eine neue Ära der KI-Anwendungen. Während die beiden kleineren Modelle bereits erhältlich sind, befindet sich das leistungsstärkste Modell, Llama 4 Behemoth, noch in der Entwicklung.
Llama 4 Scout: Klein, aber leistungsstark
Mit Llama 4 Scout stellt Meta ein Modell vor, das mit 17 Milliarden aktiven Parametern (von insgesamt 109 Milliarden) auf 16 Experten verteilt ist. Es wurde speziell für Aufgaben wie Langtextverarbeitung, visuelle Frage-Antwort-Systeme, Codeanalyse und Multi-Image-Verständnis entwickelt.
Das beeindruckende Kontextfenster von bis zu 10 Millionen Token – was etwa fünf Millionen Wörtern entspricht – soll dabei helfen, auch komplexe Informationen effizient zu verarbeiten. Doch Kritiker bemängeln, dass Meta noch immer veraltete Benchmarks verwendet und tatsächliche Langzeittestungen mit dieser Menge an Daten nicht ausreichend nachweisen konnte.
Llama 4 Maverick: Meta’s Antwort auf GPT-4 und Gemini
Llama 4 Maverick ist das größere Modell mit 17 Milliarden aktiven Parametern, verteilt auf 128 Experten. Die MoE-Architektur sorgt dafür, dass bei jeder Anfrage nur ein Teil der Parameter aktiviert wird, was die Rechenleistung erheblich senkt. Mit einer Kontextlänge von einer Million Token kann Maverick in Benchmarks mit OpenAI’s GPT-4o und Googles Gemini 2.0 Flash mithalten – und das bei nur der Hälfte der aktiven Parameter.
Besonders in der experimentellen Chatversion zeigt Maverick Stärke: Mit 1417 Punkten in der LMArena ELO-Rangliste gehört es zu den Top-Modellen.
Llama 4 Behemoth: Das Trainingsmonster
Auch wenn Behemoth als eigenständiges Modell noch nicht veröffentlicht ist, spielt es für die Entwicklung von Scout und Maverick eine entscheidende Rolle. Mit 288 Milliarden aktiven Parametern, verteilt auf 16 Experten, und insgesamt 2 Billionen Parametern ist es ein echtes Schwergewicht.
Behemoth wird zur Verbesserung der kleineren Modelle eingesetzt – durch ein mehrstufiges Trainingsverfahren bestehend aus Supervised Fine-Tuning, Online Reinforcement Learning und Direct Preference Optimization. Meta setzt hier vor allem auf schwierige Aufgabenstellungen, um die Präzision und Zuverlässigkeit der Modelle zu erhöhen.
Warum bleibt die EU außen vor?
Trotz der beeindruckenden Technologie bleibt die EU außen vor. Laut Meta sind „regulatorische Unsicherheiten“ der Grund für den Ausschluss europäischer Unternehmen und Einzelpersonen. Diese dürfen die Modelle zwar einsehen, jedoch nicht nutzen.
Der Grund: Meta befindet sich in einem offenen Schlagabtausch mit der EU um die Regeln des EU-AI-Acts. Während die EU auf striktere Vorgaben drängt, möchte Meta diese aufweichen oder zumindest klarer formuliert sehen.
Große Plattformanbieter mit mehr als 700 Millionen monatlich aktiven Nutzern benötigen zudem eine Sondergenehmigung von Meta, um die Modelle verwenden zu dürfen. Das dürfte einige Tech-Giganten ordentlich ärgern.