Affichage des articles dont le libellé est Robostral Navigate. Afficher tous les articles

dimanche 25 octobre 2026

Robostral Navigate par MISTRAL

Robostral Navigate : le robot qui se repère d'un seul regard

Comment une seule caméra RGB et un modèle de 8 milliards de paramètres pourraient bien changer la donne de la navigation robotique.

Le problème : des robots bardés de capteurs

Demandez à un robot autonome de « quitter le hall, traverser le couloir et s'arrêter face à la deuxième étagère de la salle de stockage ». Pour y parvenir, les meilleurs systèmes actuels s'appuient sur des capteurs de profondeur, des rigs multi-caméras ou des cartes pré-construites de l'environnement. Résultat : du matériel coûteux, des contraintes matérielles fortes, et des déploiements qui ne passent pas à l'échelle.

Robostral Navigate, le premier modèle de navigation incarnée de Mistral AI ( publié en juillet 2026), prend le problème à l'envers : et si le robot n'avait besoin que d'une seule caméra RGB ?

Un VLM de 8B qui montre du doigt où aller

Robostral Navigate est un modèle vision-langage de 8 milliards de paramètres qui reçoit un flux d'images RGB monoculaires — le capteur le plus répandu sur les plateformes robotiques — et prédit des waypoints en pointant simplement la prochaine cible dans l'image.

Point clé : le modèle opère entièrement dans l'espace image, pas dans les coordonnées propres au robot. Cela le rend naturellement robuste aux changements d'intrinsèques caméra et d'échelle de scène. Concrètement, la même politique peut piloter des robots roues, pattes ou aériens sans recalibration. Quand le pointage ne suffit pas (cible hors du champ de vision), le modèle retombe sur des commandes de déplacement : « avance de 2 mètres, 1,5 mètre à gauche, tourne de 25° ».

Pour le contrôle bas niveau, il s'appuie sur une petite politique de diffusion de 121M de paramètres, les deux modèles fonctionnant en série à des fréquences d'inférence différentes.

Entraîné en simulation seulement, du jamais-vu en efficacité

Deux chiffres donnent le ton :

2,4 millions de trajectoires générées dans 350 000 scènes simulées — aucune collecte de données réelles ;
Une recette d'entraînement par prefix-caching qui compresse un épisode entier en une seule séquence : 22× moins de tokens, et un temps d'entraînement réduit de plusieurs mois à quelques jours.

Un masque d'attention arborescent empêche le modèle de tricher en se calant sur les actions vérité-terrain passées, l'obligeant à ancrer ses décisions dans la vision. Et un affinage par apprentissage par renforcement renforce l'exploration et la capacité de récupération face aux obstacles.

Le modèle est construit entièrement en interne, initialisé à partir d'un VLM spécialisé dans le pointage, le comptage et la localisation d'objets. La philosophie de Mistral : une fois qu'il comprend où sont les choses, il apprend à s'y déplacer.

Les résultats : un nouveau SOTA avec une seule caméra

Sur les benchmarks de référence Room-to-Room et Room-Across-Room en environnements continus :

Benchmark	Résultat	Écart
R2R-CE	77,4 % de succès	'+10,5 pts vs meilleur monoscope ; +5,3 pts vs meilleurs systèmes profondeur/multi-caméras
RxR-CE	75,1 % de succès	'+3,9 pts grâce au RL (71,2 % → 75,1 %) ; devant toutes les baselines monoscopes

L'exploit : ce modèle à une seule caméra dépasse des systèmes qui voient plus et mesurent la profondeur. Sur des instructions longues et complexes, il planifie des trajectoires quasi optimales sans capteur auxiliaire.

Pourquoi c'est important pour la robotique

Robostral Navigate illustre trois tendances de fond :

La démocratisation matérielle — moins de capteurs, c'est un coût de déploiement en chute libre et la compatibilité avec quasiment toute base robotique existante.
La simulation comme moteur d'apprentissage — le Sim-to-Real fonctionne à grande échelle, sans un seul kilomètre de données réelles collectées à la main.
L'efficacité d'entraînement comme levier — la compression de 22× des tokens montre que l'innovation algorithmique compte autant que la puissance de calcul brute.

C'est un pas vers une IA incarnée unifiée : un même cerveau visuel-linguistique pour comprendre l'espace et agir dedans.