Один и тот же контроллер функционирует как от VR-телеуправления, так и от видео, а также от языковых моделей.
Инженеры компании NVIDIA разработали ИИ-контроллер SONIC, который интерпретирует команды на естественном языке, видео и движения в VR-перчатках в согласованные действия человекоподобного робота. Исследование было опубликовано в журнале Science Robotics.
«Человекоподобные роботы должны проявлять такую же слаженность и адаптивность, как и люди, однако современные системы обучают каждому навыку отдельный контроллер, что плохо масштабируется. Мы хотели выяснить, может ли один обученный контроллер служить основой для множества различных видов движения всего тела», — пояснил директор и ведущий научный сотрудник NVIDIA Юк Чжу.
SONIC функционирует как единая «моторная система» робота: преобразует команды высокого уровня в плавные, скоординированные движения всего тела, включая ходьбу и манипуляции руками. Модель была обучена на более чем 100 миллионах кадров человеческого движения, чтобы усвоить общие закономерности, а не отдельные заученные трюки.
Контроллер был протестирован в физической симуляции на широком спектре сценариев ходьбы и манипуляций, включая движения, отсутствующие в обучающих данных. Команда также продемонстрировала, что один и тот же SONIC может быть подключен к различным источникам команд — телеуправлению через VR, видеозаписям движений человека и моделям vision-language-action — без необходимости дополнительного переобучения для каждого источника.
В испытаниях на реальном человекоподобном роботе SONIC успешно воспроизводил как известные, так и новые эталонные движения одной и той же моделью, без отдельной стратегии управления для каждого движения.
«SONIC обобщает свои навыки за пределами того, чему его специально обучали, что делает его надежной основой для более совершенных человекоподобных систем. В будущем такой подход может ускорить создание роботов для производства, складов и логистики. SONIC предоставляет переиспользуемую моторную основу, работающую совместно с ИИ-моделями более высокого уровня, и позволяет роботу превращать рассуждения в надежные физические действия», — добавил Чжу.
Команда уже интегрировала SONIC с другими компонентами, чтобы продемонстрировать удаленное телеуправление роботом и перевод письменных инструкций в конкретные действия. В дальнейшем исследователи намерены улучшить осведомленность робота об окружающей среде, чтобы минимизировать риски столкновений, улучшить навигацию по неровным поверхностям, укрепить манипуляции с контактом и перенести навыки из симуляции в реальный мир, а также более тесно интегрировать SONIC с платформой NVIDIA Isaac GR00T.
Фото: hi-tech.mail.ru