NVIDIAは米テキサス州オースティンで開かれたロボット学習会議（CoRL）で、ロボットモデルのGR00T 2、Isaac Lab 3.0、2つの新しい公開ベンチマークを発表した。狙いは共通している。歯車の位置合わせ、ケーブルの接続、小さな部品の組み立てといった細かな作業を、まずシミュレーションで練習させて身につけさせることだ。
これらのツールは研究者や企業向けで、一般消費者向けではない。ただ、今後数年のロボットがどう訓練されるかを知る手がかりになる。発表は11月9日に公開された。
GR00T 2とは
NVIDIAはGR00T 2を、NVIDIA Cosmos上に構築した公開の世界行動モデルと説明している。ロボットと人間のデータで学習しており、その中にはNVIDIAが公開した人間の一人称視点データ10万時間分（100,000 hours）が含まれる。
- タスク固有の実演なしで、評価した50タスクのうち40タスクを少なくとも1回は完了
- 人間の実演から学び、異なるロボット本体の間でスキルを転用
- タスクごとに実演1回で50タスクの平均成功率は71%、5回では95%
- エージェントがAPIを使い、スキルを順番に実行し、エラーから回復できる
NVIDIAによると、RoboCasa365、RoboLab、RoboDojo、MolmoSpacesなど複数のベンチマーク部門で上位3位に入っている。Nexuniは洗濯物の取り扱い、Foxconnはサーバー製造、Siemensは産業分野の複数の用途で評価している。これらは同社が示す数字で、第三者の検証ではない。
Isaac Lab 3.0の新機能は
Isaac LabはNVIDIAのオープンソースのロボット学習フレームワークだ。3.0では、エージェントで訓練環境を設定し、PhysXとNewtonの物理ソルバーを切り替え、知覚ベースの訓練用にレンダラーを選び、GR00Tなどのモデルに新しい強化学習の後訓練ライブラリを適用できる。
- Newtonとの連携が深まり、ケーブルや布、関節の多いロボットハンドを扱える
- 数千台のシミュレーションロボットを並列で訓練
- 視覚ベースの器用な操作のベンチマークで、PhysXを使うIsaac Lab 2.3の最大2.5xの訓練スループット
Newtonはオープンソースの物理エンジンで、以前の報道によればGoogle DeepMind、Disney Research、NVIDIAが共同開発し、Linux Foundationが管理している。Skild AIはNewton上の剛体ソルバーSTEELを発表し、Flexion、FieldAI、Dyna Robotics、Walden Robotics、Dexmateもそれぞれのシミュレーションの取り組みを紹介した。
シミュレーション練習はどこまで精密になるか
NVIDIAはIsaac Labで作ったAlphaNISTを挙げる。1つの方策がNIST組立タスクボードの20タスクすべてを学び、ミリ単位の部品を、成功か失敗かの信号だけで扱う。訓練成功率は98%を超え、タスクごとの個別方策は81%で、GPU時間は約39x少ない。背景にあるのはワシントン大学とNVIDIAのSuccess-Guided Samplingで、方策が半分ほど成功するタスクに練習を集中させる手法だ。NVIDIAは100万を超える並列環境にも拡大できるとしている。
新しいベンチマークは
公開の評価フレームワークIsaac Lab-Arenaは、バージョン0.4が開発者プレビューとして登場する。2つのベンチマークがこれを使う。
- DexBench：RLWRLDとNVIDIAが開発。小売、物流、製造、接客の4つの場面で15タスク
- VABAR：UCバークレーとNVIDIAが開発。標準化されたバリエーション、難易度、成功指標を備えた6つの産業タスク
UCバークレーのGraph-as-Policyは、エージェントでスキルをつなげてプログラムにし、エンジニアが導入前に確認できる。NVIDIAはVideo to DataのワークフローとEgoHandモデルも公開し、EgoHandは2週間でHugging Faceのダウンロードが40,000回を超えたという。
価格
NVIDIAの投稿に価格の記載はない。ツールは公開とされ、Isaac Lab-Arena 0.4は開発者プレビューだ。各ツールの入手先はこの投稿では示されておらず、NVIDIAの開発者向けページで確認したい。
どんな人に向くか
ロボット研究者。公開モデル、シミュレーター、ベンチマークは、研究室が器用なスキルを訓練し比較する共通の土台になる。
工場や倉庫のチーム。FoxconnやSiemensなどが組み立てや物流向けに試しているが、完成品として紹介されたものはない。
学生。テキサス大学オースティン校はIsaac SimとIsaac Labを使い、実機が届く前から学生が開発を始められるようにしている。
一般の読者。販売されるものはないが、将来の家庭や職場のロボットが精密な作業をどう学ぶかを知る手がかりになる。
まだ分かっていないこと
NVIDIAは商用利用の時期や価格を示しておらず、ベンチマークの主張も第三者に検証されていない。成果の多くはシミュレーションや研究室のデモによるもので、実際の工場でどこまで通用するかはこれからだ。パートナーの全リストとリンクはNVIDIAのブログ記事にある。
