Agents autonomes basés sur des modèles vision-langage-action

Les faits : l’architecture World Action Agent (WAA)

Un nouveau système, baptisé World Action Agent (WAA), est en cours de développement par le groupe cs.AI. Il s’appuie sur les modèles vision-langage-action (VLA) pour piloter des robots avec des outils de base. L’objectif principal est de permettre à ces agents de prendre des décisions directement dans un espace d’actions visuelles, plutôt que de se fier uniquement à des prédictions ou des programmes générés par le VLA. WAA utilise trois propriétés clés pour ce faire : les vues de contact, sélectionnées automatiquement à partir de la géométrie de la scène, présentent la scène autour de l’interaction actuelle. Le “rehearsal d’actions” transforme chaque action en une proposition modifiable que l’agent peut visualiser et réviser avant l’exécution. Enfin, la “correction en vue” permet de fermer la boucle entre l’observation, le rehearsal et l’exécution à faible niveau, en corrigeant les décalages résiduels dans la vue observée. Cette approche vise à permettre aux agents d’acquérir des connaissances procédurales incarnées (embodied procedural knowledge) via cette interaction continue.

Les acteurs : l’approche Agentic Robot with Tool-use (ART) et VLA-Dreamer

Des travaux parallèles sont menés par le groupe cs.AI, notamment avec le développement de l’Agentic Robot with Tool-use (ART). L’ART est un framework d’injection d’outils qui permet d’adapter les modèles vision-langage-action (VLA) pour utiliser des modules d’outils existants à bas niveau. Cette approche vise à simplifier l’espace de solutions d’actions, améliorant ainsi la généralisation sur différentes tâches et réduisant la dépendance aux données. Un autre projet, baptisé VLA-Dreamer, explore l’utilisation de modèles prédictifs du monde (world models) entraînés dans l’espace d’embedding des VLAs. L’idée est que ces embeddings, pertinents pour les actions, pourraient être utilisés pour prédire le futur et améliorer l’efficacité de l’apprentissage.

Les réactions : une approche axée sur la réduction de la dépendance aux données

Les chercheurs soulignent un problème central dans le développement des VLAs : leur forte dépendance à de grandes quantités de données d’imitation. L’approche ART, en intégrant des outils pré-définis, vise à réduire cette dépendance. En limitant l’espace de solutions d’actions, elle permet également d’améliorer la généralisation sur différentes tâches. De plus, le concept VLA-Dreamer cherche à améliorer l’efficacité de l’apprentissage en introduisant un modèle du monde prédictif, sans nécessiter une quantité massive de données d’entraînement. L’utilisation de l’espace d’embedding plutôt que l’espace pixel pour la formation du modèle du monde est vue comme une approche innovante.

Les enjeux : l’amélioration de la robustesse et de l’adaptabilité des robots

La convergence des approches VLA et multi-agents présente des enjeux importants pour le développement de robots autonomes plus robustes et adaptables. La capacité à utiliser des outils permettrait aux robots de s’attaquer à des tâches plus complexes, sans avoir besoin d’être programmés explicitement pour chaque situation. L’intégration de modèles du monde prédictifs pourrait améliorer la prise de décision en permettant aux agents de simuler les conséquences de leurs actions avant de les exécuter réellement. La réduction de la dépendance aux données d’imitation permettrait également de déployer ces systèmes robotiques dans des environnements plus variés et imprévisibles.

Ce qu’il faut retenir

• Les recherches actuelles se concentrent sur l’intégration de modèles vision-langage-action (VLA) au sein d’architectures multi-agents, permettant aux robots d’acquérir des compétences complexes.
• L’architecture World Action Agent (WAA) utilise un espace d’actions visuelles pour permettre aux agents de prendre des décisions directement dans le monde réel.
• L’Agentic Robot with Tool-use (ART) vise à réduire la dépendance aux données en intégrant des outils pré-définis aux modèles VLA.
• Le concept VLA-Dreamer explore l’utilisation de modèles du monde prédictifs pour améliorer l’efficacité de l’apprentissage et la robustesse des agents.