После сбора данных о действиях оператора процесс GR00T-Mimic тиражирует захваченные манипуляции в обширный синтетический набор движений. Платформы Nvidia Omniverse и Nvidia Cosmos экспоненциально расширяют этот набор за счёт рандомизации и масштабирования действий в трёхмерном пространстве. Эти данные затем используются для обучения роботов эффективному и безопасному перемещению и взаимодействию с окружающей средой в Nvidia Isaac Lab — модульной платформе с открытым исходным кодом для обучения роботов.
Одним из главных анонсов CES 2025 стала платформа Nvidia Cosmos, которая «сокращает разрыв между симуляцией и реальностью». Это предварительно обученные модели, отражающие основы физического мира и предназначенные для обучения искусственного интеллекта с учётом физических процессов. Модели были обучены на 18 квадриллионах токенов, включая данные из 2 млн часов автономного вождения, робототехники, видеозаписей с дронов и синтетических источников.

Платформа Cosmos не только помогает генерировать большие наборы данных, но и минимизирует разрыв между имитацией и реальностью, расширяя масштаб изображений от 3D до реального мира. Сочетание Cosmos с Omniverse — платформой для разработки API и микросервисов для создания 3D-приложений — играет решающую роль, поскольку сводит к минимуму возможные ошибки, связанные с моделями мира, и обеспечивает высокую точность благодаря физически корректному моделированию.
Nvidia уже нашла заинтересованных клиентов среди лидеров разработки человекоподобных роботов, таких как Boston Dynamics и Figure. Использование Nvidia Isaac GR00T, Omniverse и Cosmos значительно продвинет отрасль робототехники, приближая день, когда человекоподобные роботы станут неотъемлемой частью человеческой цивилизации.
Источник: