NVIDIA가 미국 텍사스주 오스틴에서 열린 로봇 학습 학회(CoRL)에서 로봇 모델 GR00T 2와 Isaac Lab 3.0, 새 공개 벤치마크 두 가지를 선보였다. 목표는 같다. 기어 맞추기, 케이블 연결, 작은 부품 조립 같은 섬세한 작업을 먼저 시뮬레이션에서 연습시켜 가르치는 것이다.

이 도구들은 연구자와 기업을 위한 것으로 소비자용은 아니다. 하지만 앞으로 몇 년 뒤 로봇이 어떻게 훈련되는지 보여 준다. 발표는 11월 9일에 게시됐다.

GR00T 2는 무엇인가

NVIDIA는 GR00T 2를 NVIDIA Cosmos 위에 만든 공개 월드 액션 모델이라고 설명한다. 로봇과 사람의 데이터로 학습했으며, NVIDIA가 공개한 사람 1인칭 시점 데이터 100,000시간이 포함된다.

  • 과제별 시연 없이 평가한 50개 과제 중 40개를 한 번 이상 완료
  • 사람의 시연에서 배우고 서로 다른 로봇 몸체 사이에서 기술을 전이
  • 과제당 시연 한 번으로 50개 과제 평균 성공률 71%, 다섯 번이면 95%
  • 에이전트가 프로그래밍 인터페이스로 기술을 순서대로 실행하고 오류에서 복구 가능

NVIDIA에 따르면 RoboCasa365, RoboLab, RoboDojo, MolmoSpaces 등 여러 벤치마크 부문에서 상위 3위에 든다. Nexuni는 세탁물 처리, Foxconn은 서버 제조, Siemens는 여러 산업 분야에서 시험 중이다. 이는 회사가 제시한 수치이며 독립적인 검증은 아니다.

Isaac Lab 3.0은 무엇이 새로운가

Isaac Lab은 NVIDIA의 오픈소스 로봇 학습 프레임워크다. 3.0에서는 에이전트로 훈련 환경을 구성하고, PhysX와 Newton 물리 솔버를 전환하며, 인식 기반 훈련용 렌더러를 고르고, GR00T 같은 모델에 새 강화학습 후훈련 라이브러리를 적용할 수 있다.

  • Newton과의 통합이 강화돼 케이블, 천, 관절이 많은 로봇 손을 모델링 가능
  • 수천 대의 시뮬레이션 로봇을 병렬 훈련
  • 시각 기반 정교한 조작 벤치마크에서 PhysX를 쓰는 Isaac Lab 2.3의 최대 2.5x 훈련 처리량

Newton은 오픈소스 물리 엔진으로, 이전 보도에 따르면 Google DeepMind, Disney Research, NVIDIA가 공동 개발했고 Linux Foundation이 관리한다. Skild AI는 Newton 기반 강체 솔버 STEEL을 발표했고, Flexion, FieldAI, Dyna Robotics, Walden Robotics, Dexmate도 각자의 시뮬레이션 작업을 소개했다.

시뮬레이션 연습은 얼마나 정밀해질 수 있나

NVIDIA는 Isaac Lab에서 만든 AlphaNIST를 예로 든다. 하나의 정책이 NIST 조립 과제판의 20개 과제를 모두 배우며, 밀리미터 단위 부품을 성공 또는 실패 신호만으로 다룬다. 훈련 성공률은 98%를 넘었고 과제별 개별 정책은 81%였으며, GPU 시간은 약 39x 적게 들었다. 배경에는 워싱턴대학교와 NVIDIA의 Success-Guided Sampling이 있다. 정책이 절반 정도 성공하는 과제에 연습을 집중하는 방식이며 NVIDIA는 백만 개가 넘는 병렬 환경으로 확장할 수 있다고 한다.

새 벤치마크는 무엇인가

공개 평가 프레임워크 Isaac Lab-Arena는 0.4 버전이 개발자 프리뷰로 나온다. 두 벤치마크가 이를 사용한다.

  • DexBench: RLWRLD와 NVIDIA 개발. 소매, 물류, 제조, 접객 등 네 장면에서 15개 과제
  • VABAR: UC 버클리와 NVIDIA 개발. 표준화된 변형, 난이도 단계, 성공 지표를 갖춘 6개 산업 과제

UC 버클리의 Graph-as-Policy는 에이전트로 기술을 프로그램으로 연결하며, 엔지니어가 배포 전에 검토할 수 있다. NVIDIA는 Video to Data 워크플로와 EgoHand 모델도 내놨으며, EgoHand는 2주 만에 Hugging Face 다운로드 40,000회를 넘었다고 한다.

가격

NVIDIA의 게시물에는 가격이 없다. 도구는 공개로 설명되며 Isaac Lab-Arena 0.4는 개발자 프리뷰다. 각 도구를 어디서 받을 수 있는지는 이 글에 나와 있지 않으므로 NVIDIA 개발자 페이지를 확인하자.

누구에게 맞나

로봇 연구자. 공개 모델, 시뮬레이터, 벤치마크는 연구실이 정교한 기술을 훈련하고 비교할 공통 기반이 된다.

공장과 창고 팀. Foxconn, Siemens 등이 조립과 물류 등에 시험하고 있지만 완성 제품으로 소개된 것은 없다.

학생. 텍사스대학교 오스틴 캠퍼스는 Isaac Sim과 Isaac Lab을 활용해 장비가 도착하기 전에 학생들이 개발을 시작하도록 한다.

일반 독자. 판매되는 것은 없지만 미래의 가정용, 업무용 로봇이 정밀한 작업을 어떻게 배울지 가늠하게 해 준다.

아직 알려지지 않은 것

NVIDIA는 상업적 사용 시점과 가격을 밝히지 않았고 벤치마크 주장도 독립 검증을 받지 않았다. 성과 대부분은 시뮬레이션이나 연구실 시연에서 나온 것이라 실제 공장에서 얼마나 통할지는 앞으로 입증돼야 한다. 전체 파트너 목록과 링크는 NVIDIA 블로그 글에 있다.