Kurz gesagt: Mistral stellt mit Voxtral 3 neue KI-Modelle und ein SDK für Sprachagenten vor. Die Technologie verbindet Spracherkennung, Reasoning und Sprachausgabe, ermöglicht automatisierte Aktionen während eines Gesprächs und soll Antworten in weniger als einer Sekunde liefern.
Sprachagenten sollen künftig nicht nur Fragen beantworten, sondern direkt während eines Telefonats Aufgaben erledigen. Wie funktioniert das, ohne dass zwischen Zuhören, Verarbeiten und Antworten längere Pausen entstehen? Mistral setzt dafür auf eine durchgängige Verarbeitung von Sprache und KI-Aktionen.
Sprachagenten verbinden Gespräche und Geschäftsprozesse
Das neue SDK basiert auf LiveKit und führt Spracheingabe, Reasoning, Tool-Aufrufe und Sprachausgabe in einem kontinuierlichen Datenstrom zusammen. Dadurch können KI-Agenten beispielsweise die Identität eines Anrufers überprüfen, Rechnungen abrufen oder Termine buchen.
Function Calling, Websuche und die Anbindung eigener Unternehmensdaten ermöglichen entsprechende Aktionen. Telefonverbindungen werden über SIP integriert, während Browser und Anwendungen WebRTC verwenden.
Die Architektur bleibt modular: Entwickler können Sprachmodelle, Stimmen oder Sprachen austauschen, ohne den Agenten vollständig neu aufzubauen. Unterbricht ein Anrufer die laufende Antwort, stoppt auch die Sprachausgabe.
Spracherkennung mit niedriger Latenz
Voxtral Small Transcribe 3 und Voxtral Mini Transcribe 3 erkennen mehr als 50 Sprachen, unterscheiden Sprecher und lassen sich mit Fachbegriffen, Namen sowie Schlüsselwörtern auf bestimmte Anwendungsbereiche vorbereiten.
Für besonders schnelle Gespräche bietet Mistral Voxtral Mini Transcribe Realtime 3. Das Modell unterstützt mehr als 35 Sprachen, arbeitet mit einer Latenz unter 500 Millisekunden und erkennt automatisch das Ende einer Äußerung.
Im FLEURS-35-Benchmark erreicht die Echtzeitversion bei 480 Millisekunden eine Wortfehlerrate von rund 6 Prozent. GPT Live Transcribe liegt im angegebenen Vergleich bei 8 Prozent, Scribe v2 Realtime bei 9 Prozent. Die mitgelieferte Offline-Version von Voxtral erreicht 4 Prozent.
Natürliche Stimmen, flexible Bereitstellung und Kosten
Für die Sprachausgabe bietet Voxtral Speech 3 mehr als 35 Sprachen und über 50 Dialekte. Emotionen, Sprechtempo und Betonung werden an den Gesprächskontext angepasst. Mit Pro Voice lassen sich anhand von 30 Minuten Audiomaterial Stimmcharakter und Sprechweise auch sprachübergreifend klonen.
Mistrals API ist über europäische, US-amerikanische und globale Endpunkte verfügbar. Alternativ können Unternehmen die Technologie in ihrer eigenen Infrastruktur oder einer privaten Cloud betreiben.
Die Preise beginnen bei 0,0035 US-Dollar pro Audiominute für Voxtral Mini Transcribe 3. Echtzeit-Transkription kostet 0,008 US-Dollar pro Minute, während Voxtral Speech 3 mit 13 US-Dollar pro Million Zeichen berechnet wird.
Damit verbindet Mistral schnelle Sprachverarbeitung mit automatisierten Geschäftsabläufen und unterschiedlichen Bereitstellungsmodellen. Besonders die Integration eigener Unternehmensdaten und die austauschbaren Komponenten sind für die Entwicklung individuell angepasster Sprachagenten relevant.
Welche Möglichkeiten solche KI-Technologien für betriebliche Prozesse eröffnen, ist auch Thema der KI-Beratung. Weitere Entwicklungen und praktische Einordnungen rund um KI-Anwendungen bietet der Newsletter Beratung-KI.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.