Autonome Roboter müssen nicht zwangsläufig auf teure Sensorik setzen. Mistral zeigt mit Robostral Navigate ein KI-Modell, das sich allein mit einer herkömmlichen RGB-Kamera durch komplexe Räume bewegt.
Das neue 8B-Modell verarbeitet natürliche Sprachbefehle und verzichtet vollständig auf zusätzliche Tiefensensoren oder LiDAR-Systeme. Roboter können damit Anweisungen ausführen wie: eine Lobby verlassen, durch einen Korridor gehen, einen Vorratsraum betreten und vor einem bestimmten Regal stehen bleiben.
Im R2R-CE-Benchmark erreicht Robostral Navigate in ungesehenen Umgebungen eine Erfolgsquote von 76,6 Prozent. Damit liegt das Modell 9,7 Prozentpunkte über dem bisher besten Single-Kamera-System. Sogar Ansätze mit Tiefensensoren oder mehreren Kameras werden um 4,5 Prozentpunkte übertroffen. In bereits bekannten Umgebungen steigt die Erfolgsquote auf 79,4 Prozent, während der durchschnittliche Navigationsfehler auf 3,25 Prozent sinkt.
Technisch setzt Mistral auf ein Pointing-Verfahren. Das Modell bestimmt die Bildkoordinaten des Zielorts in der aktuellen Kameraansicht und legt zugleich die gewünschte Ausrichtung des Roboters fest. Befindet sich das Ziel nicht im Sichtfeld, arbeitet das System mit Distanzangaben im lokalen Koordinatensystem weiter.
Aufgebaut wurde die Software ohne bestehende Open-Source-Modelle. Grundlage ist ein hauseigenes Vision-Language-Modell, das auf Lokalisierungs- und Zählaufgaben spezialisiert ist. Trainiert wurde die Navigation in einer virtuellen Umgebung mit rund 400.000 aufgezeichneten Pfaden in 6.000 unterschiedlichen Szenen.
Ein zentrales Element ist das Trainingsverfahren Prefix-Caching. Es nutzt eine baumbasierte Maskierung der Aufmerksamkeit, um eine komplette Bewegungsepisode in einer einzigen Sequenz zu verarbeiten. Dadurch sinkt die Zahl der benötigten Token um das 22-Fache. Die Rechenzeit verkürzt sich laut Bericht von mehreren Monaten auf wenige Tage.
Anschließend wurde das Verhalten über den Online-Reinforcement-Learning-Algorithmus CISPO weiter verbessert. Durch Lernen per Versuch und Irrtum erhöhte sich die Erfolgsquote um weitere 3,2 Prozentpunkte.
Für die Praxis ist vor allem der geringe Hardwarebedarf relevant. Wenn robuste Navigation mit einer einfachen Kamera möglich wird, sinkt die technische Komplexität für autonome Systeme deutlich. Das 8B-Modell ist unabhängig von der genauen Kamerabauart und eignet sich für fahrende, laufende sowie fliegende Robotertypen unterschiedlicher Größe.