NVIDIA đã dùng Hội nghị Học robot (CoRL) tại Austin, bang Texas, để giới thiệu mô hình robot GR00T 2, cùng Isaac Lab 3.0 và hai bộ đo hiệu năng mở mới. Tất cả nhắm tới cùng một vấn đề: dạy robot những việc tinh vi như căn chỉnh bánh răng, nối cáp và lắp ráp linh kiện nhỏ, chủ yếu bằng cách luyện tập trong mô phỏng trước.

Các công cụ này dành cho nhà nghiên cứu và doanh nghiệp, không phải người mua thông thường, nhưng cho thấy robot của vài năm tới đang được huấn luyện thế nào. Thông báo được đăng vào ngày 9 tháng 11.

GR00T 2 là gì?

NVIDIA mô tả GR00T 2 là mô hình hành động thế giới mở, xây dựng trên NVIDIA Cosmos. Mô hình được huấn luyện bằng dữ liệu robot và con người, trong đó có 100.000 giờ dữ liệu góc nhìn thứ nhất của con người do NVIDIA mở mã nguồn.

  • Hoàn thành ít nhất một lần 40 trong 50 tác vụ được đánh giá, không cần minh họa riêng cho từng tác vụ
  • Học từ minh họa của con người và chuyển kỹ năng giữa các thân robot khác nhau
  • Thành công trung bình 71% trên 50 tác vụ với một minh họa mỗi tác vụ, tăng lên 95% với năm minh họa
  • Các tác tử có thể gọi giao diện lập trình của nó để chạy kỹ năng theo trình tự và phục hồi sau lỗi

Theo NVIDIA, mô hình nằm trong top ba ở nhiều hạng mục đo, gồm RoboCasa365, RoboLab, RoboDojo và MolmoSpaces. Nexuni đang thử cho việc xử lý đồ giặt, Foxconn cho sản xuất máy chủ và Siemens đánh giá trong nhiều ứng dụng công nghiệp. Đây là số liệu của công ty, không phải thử nghiệm độc lập.

Isaac Lab 3.0 có gì mới?

Isaac Lab là khung học robot mã nguồn mở của NVIDIA. Phiên bản 3.0 cho phép dùng tác tử để dựng môi trường huấn luyện, chuyển đổi giữa hai bộ giải vật lý PhysX và Newton, chọn bộ kết xuất cho huấn luyện dựa trên nhận thức và áp dụng thư viện hậu huấn luyện bằng học tăng cường cho các mô hình như GR00T.

  • Tích hợp chặt hơn với Newton, nên có thể mô hình hóa cáp, vải và bàn tay robot nhiều khớp
  • Huấn luyện song song hàng nghìn robot mô phỏng
  • Trong một bộ đo thao tác khéo léo dựa trên thị giác, thông lượng huấn luyện cao tới 2,5x so với Isaac Lab 2.3 dùng PhysX

Newton là động cơ vật lý mã nguồn mở, theo các bài viết trước đó do Google DeepMind, Disney Research và NVIDIA cùng phát triển và do Linux Foundation quản lý. Skild AI công bố STEEL, bộ giải vật thể cứng xây trên Newton, còn Flexion, FieldAI, Dyna Robotics, Walden Robotics và Dexmate mô tả công việc mô phỏng của họ.

Luyện tập mô phỏng có thể chính xác đến đâu?

NVIDIA nêu ví dụ AlphaNIST, xây trong Isaac Lab. Một chính sách duy nhất học cả 20 tác vụ trên bảng tác vụ lắp ráp NIST, xử lý các chi tiết cỡ milimet chỉ bằng tín hiệu thành công hoặc thất bại. Tỷ lệ thành công khi huấn luyện vượt 98%, so với 81% của các chính sách riêng cho từng tác vụ, và dùng ít thời gian GPU hơn khoảng 39x. Đằng sau là phương pháp Success-Guided Sampling của Đại học Washington và NVIDIA, tập trung luyện tập vào những tác vụ chính sách làm đúng khoảng một nửa số lần. NVIDIA cho biết có thể mở rộng vượt một triệu môi trường song song.

Các bộ đo mới là gì?

Isaac Lab-Arena, khung đánh giá mã nguồn mở, có bản 0.4 xem trước cho nhà phát triển. Hai bộ đo dùng nó:

  • DexBench: do RLWRLD phối hợp với NVIDIA phát triển, 15 tác vụ trong bốn bối cảnh bán lẻ, hậu cần, sản xuất và khách sạn
  • VABAR: do UC Berkeley và NVIDIA phát triển, sáu tác vụ công nghiệp với biến thể chuẩn hóa, các mức độ khó và chỉ số thành công

Khung Graph-as-Policy của UC Berkeley dùng tác tử nối các kỹ năng thành chương trình mà kỹ sư có thể xem xét trước khi triển khai. NVIDIA cũng ra mắt quy trình Video to Data và mô hình EgoHand, được cho là vượt 40.000 lượt tải trên Hugging Face trong hai tuần.

Giá

Bài đăng của NVIDIA không nêu giá. Các công cụ được mô tả là mở, còn Isaac Lab-Arena 0.4 là bản xem trước cho nhà phát triển. Bài không nói rõ tải từng phần ở đâu, nên hãy xem các trang dành cho nhà phát triển của NVIDIA.

Phù hợp với ai

Nhà nghiên cứu robot. Mô hình, trình mô phỏng và bộ đo mở giúp các phòng thí nghiệm có cách chung để huấn luyện và so sánh kỹ năng khéo léo.

Nhóm nhà máy và kho vận. Foxconn, Siemens và các bên khác đang thử cho lắp ráp, hậu cần và việc tương tự, nhưng chưa thứ nào được mô tả là sản phẩm hoàn chỉnh.

Sinh viên. Đại học Texas tại Austin dùng Isaac Sim và Isaac Lab để sinh viên bắt đầu phát triển trước khi có phần cứng.

Độc giả thông thường. Ở đây không có gì để mua, nhưng nó gợi ý robot gia đình và nơi làm việc trong tương lai có thể học các việc chính xác như thế nào.

Điều gì vẫn chưa rõ?

NVIDIA không đưa ra ngày dùng thương mại, giá, hay xác minh độc lập cho các kết quả đo. Phần lớn kết quả đến từ mô phỏng hoặc minh họa trong phòng thí nghiệm, nên việc chúng áp dụng được trong nhà máy thật đến đâu vẫn chưa được chứng minh. Bài trên blog NVIDIA có danh sách đầy đủ đối tác và liên kết.