NVIDIA a profité de la Conference on Robot Learning (CoRL), à Austin, au Texas, pour présenter GR00T 2, un modèle de robot, ainsi qu’Isaac Lab 3.0 et deux nouveaux tests de performance ouverts. Tout vise le même problème : apprendre aux robots des tâches fines, comme aligner des engrenages, brancher des câbles ou assembler de petites pièces, d’abord en s’entraînant en simulation.

Ces outils s’adressent aux chercheurs et aux entreprises, pas aux consommateurs, mais ils montrent comment seront formés les robots des prochaines années. L’annonce a été publiée le 9 novembre.

Qu’est-ce que GR00T 2 ?

NVIDIA décrit GR00T 2 comme un modèle ouvert d’action du monde, bâti sur NVIDIA Cosmos. Il a été entraîné avec des données de robots et d’humains, dont 100 000 heures de données égocentriques humaines libres de NVIDIA.

  • A réussi au moins une fois 40 des 50 tâches évaluées sans démonstration propre à la tâche
  • Apprend à partir de démonstrations humaines et transfère les compétences d’un robot à l’autre
  • 71 % de réussite moyenne sur 50 tâches avec une démonstration par tâche, et 95 % avec cinq
  • Des agents peuvent appeler son interface de programmation pour enchaîner les compétences et se remettre des erreurs

NVIDIA affirme qu’il figure parmi les trois meilleurs modèles dans plusieurs catégories, dont RoboCasa365, RoboLab, RoboDojo et MolmoSpaces. Nexuni le teste pour la manutention de linge, Foxconn pour la fabrication de serveurs et Siemens pour divers usages industriels. Ce sont les chiffres de l’entreprise, non des essais indépendants.

Quoi de neuf dans Isaac Lab 3.0 ?

Isaac Lab est le cadre libre d’apprentissage robotique de NVIDIA. La version 3.0 permet d’utiliser des agents pour configurer les environnements d’entraînement, de passer des moteurs physiques PhysX à Newton, de choisir des moteurs de rendu pour l’entraînement par la perception et d’appliquer une bibliothèque de post-entraînement par renforcement à des modèles comme GR00T.

  • Intégration plus étroite de Newton : câbles, tissus et mains robotiques à nombreuses articulations peuvent être modélisés
  • Des milliers de robots simulés entraînés en parallèle
  • Jusqu’à 2,5x le débit d’entraînement d’Isaac Lab 2.3 avec PhysX, dans un test de manipulation dextre basé sur la vision

Newton est un moteur physique libre qui, selon des articles antérieurs, a été codéveloppé par Google DeepMind, Disney Research et NVIDIA et est géré par la Linux Foundation. Skild AI a annoncé STEEL, un solveur de corps rigides bâti sur Newton, et Flexion, FieldAI, Dyna Robotics, Walden Robotics et Dexmate ont décrit leurs propres travaux.

Quelle précision la pratique simulée peut-elle atteindre ?

NVIDIA cite AlphaNIST, bâti dans Isaac Lab. Une seule politique apprend les 20 tâches de la planche d’assemblage NIST, en manipulant des pièces de l’ordre du millimètre avec seulement un signal de réussite oui ou non. Elle atteint plus de 98 % de réussite à l’entraînement, contre 81 % pour des politiques distinctes par tâche, avec environ 39x moins de temps GPU. La méthode, Success-Guided Sampling, de l’Université de Washington et de NVIDIA, concentre la pratique sur les tâches qu’une politique réussit environ une fois sur deux, et NVIDIA dit qu’elle peut dépasser un million d’environnements parallèles.

Quels sont les nouveaux tests de performance ?

Isaac Lab-Arena, un cadre d’évaluation libre, arrive en version préliminaire pour développeurs (0.4). Deux tests l’utilisent :

  • DexBench, de RLWRLD avec NVIDIA : 15 tâches dans quatre scènes (commerce de détail, logistique, fabrication, hôtellerie)
  • VABAR, de l’UC Berkeley et de NVIDIA : six tâches industrielles avec variations normalisées, niveaux de difficulté et mesures de réussite

Le cadre Graph-as-Policy de l’UC Berkeley utilise des agents pour relier les compétences en programmes que les ingénieurs peuvent vérifier avant le déploiement. NVIDIA a aussi publié un flux Video to Data et le modèle EgoHand, qui aurait dépassé 40 000 téléchargements sur Hugging Face en deux semaines.

Prix

Le message de NVIDIA n’indique aucun prix. Les outils sont décrits comme ouverts, et Isaac Lab-Arena 0.4 est une version préliminaire. NVIDIA ne précise pas ici où télécharger chaque élément : consultez ses pages pour développeurs.

À qui s’adresse-t-il ?

Chercheurs en robotique. Modèles, simulateurs et tests ouverts offrent aux laboratoires une base commune pour entraîner et comparer des gestes précis.

Équipes d’usine et d’entrepôt. Foxconn, Siemens et d’autres testent ces travaux pour l’assemblage, la logistique et d’autres tâches, mais rien n’est présenté comme un produit fini.

Étudiants. L’Université du Texas à Austin utilise Isaac Sim et Isaac Lab pour que les étudiants commencent avant l’arrivée du matériel.

Lecteurs ordinaires. Rien n’est en vente ici, mais cela donne une idée de la façon dont les futurs robots domestiques et de travail apprendront des tâches précises.

Qu’est-ce qui reste inconnu ?

NVIDIA n’a donné aucune date pour un usage commercial, aucun prix et aucune vérification indépendante de ses résultats. La plupart viennent de simulations ou de démonstrations en laboratoire : leur transposition en usine reste à démontrer. L’article de blogue de NVIDIA donne la liste complète des partenaires et des liens.