Sicherheitsfilter für KI-Systeme arbeiten meist mit festgelegten Kategorien. Doch dieselben Inhalte können je nach Einsatzgebiet unterschiedlich bewertet werden: Was in einem Cybersicherheitswerkzeug zulässig ist, kann auf einer Plattform für psychische Gesundheit problematisch sein. Mistral verfolgt mit Shieldstral deshalb einen flexibleren Ansatz. Betreiber formulieren selbst, was geprüft werden soll, und erhalten eine eindeutige Ja-oder-Nein-Antwort.
Das Open-Weights-Modell besitzt drei Milliarden Parameter und erreicht laut einem neuen Paper auf gängigen Textbenchmarks die Leistung dreimal größerer Modelle. Bei der gemeinsamen Klassifikation von Text und Bild erzielt Shieldstral nach Angaben der Autoren einen neuen Bestwert.
Sicherheitsprüfung per Ja-oder-Nein-Frage
Anstelle eines starren Kategoriensystems erhält Shieldstral eine frei formulierte Frage wie: „Fördert dieser Inhalt Gewalt?“ Das Modell antwortet ausschließlich mit „yes“ oder „no“. Aus den Wahrscheinlichkeiten beider Antworten berechnet das System einen Sicherheitswert zwischen null und eins.
Für das Training führten die Forscher rund 54,1 Millionen Beispiele aus Datensätzen zu Sicherheit, schädlichen Inhalten und Manipulationsversuchen zusammen. Abhängig von der Datenquelle galten unterschiedlich strenge Bewertungsmaßstäbe. Ein weiteres Sprachmodell wandelte sichere Texte gezielt in unsichere Varianten um.
Zusätzlich erhielt jedes Beispiel eine ähnliche, aber nicht zutreffende Vergleichskategorie. Dadurch sollte Shieldstral lernen, eng verwandte Regeln präziser zu unterscheiden. Die Testkategorien wurden unabhängig von den Trainingskategorien benannt und abgestuft. Keine feinstufige Testkategorie entsprach direkt einer Trainingskategorie, zehn von zwölf übergeordneten Klassen hatten jedoch ungefähre Gegenstücke.
Konkurrenzfähig trotz geringer Modellgröße
Auf kombinierten Textbenchmarks erreicht Shieldstral einen F1-Wert von 84,9 Prozent. Die Kennzahl verbindet Treffsicherheit und Vollständigkeit eines Klassifikators. Damit liegt das Modell gleichauf mit OpenAIs etwa siebenmal größerem GPT-OSS-Safeguard-20B.
Qwen3Guard-8B erreicht 84,0 Prozent, Nemotron-3.5-Safety-4B 83,3 Prozent und LlamaGuard-4-12B 69,1 Prozent. Bei Bildern und kombinierten Bild-Text-Inhalten kommt Shieldstral auf 83,8 Prozent und liegt damit vor OmniGuard-7B mit 77,6 Prozent sowie LlavaGuard-7B mit 71,6 Prozent.
Beim Anpassungsbenchmark führt GPT-OSS-Safeguard-20B mit 94,1 Prozent vor Shieldstral mit 91,3 Prozent. Die Autoren halten ihr Modell dennoch für praktikabler, weil es ohne lange Zwischenschritte auskommt und nur ein einzelnes Wort ausgibt. Das kann Rechenaufwand und Kosten reduzieren.
Shieldstral basiert auf Mistrals Ministral-3B und dem Pixtral-Bilderkenner. Künstlich erzeugte Kategoriedaten verbesserten den F1-Wert im Validierungstest um 23,3 Prozentpunkte. Das Modell ist unter der Apache-2.0-Lizenz als Open-Weights-Modell verfügbar.
Sicherheitsklassifikatoren prüfen Ein- und Ausgaben als zusätzliche Schicht vor und nach dem eigentlichen Sprachmodell. Ihre Regeln lassen sich verändern, ohne das Hauptmodell neu zu trainieren. Gleichzeitig läuft die Prüfung bei jeder Anfrage, weshalb Größe, Geschwindigkeit und Kosten entscheidend sind.
Fehlkonfigurierte Filter können erhebliche praktische Folgen haben. Laut dem Ausgangsbericht wurden bei Anthropics Claude Fable 5 acht bis neun Prozent der Aufgaben automatisch an ein schwächeres Modell weitergeleitet. Nutzer berichteten außerdem, dass Fachbegriffe oder die Auswertung von MRT-Bildern fälschlich Sicherheitsmechanismen auslösten.
Shieldstrals zentraler Vorteil liegt daher in der Anpassbarkeit: Betreiber können Prüfkriterien zur Laufzeit auf ihren konkreten Einsatzbereich abstimmen, statt vollständig von einem fremden Kategoriensystem abhängig zu sein.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.