miHoYo представила ИИ-агента Gamer, который играет в Honkai: Star Rail

Агент управляет игровым процессом, ориентируясь на снимки экрана, нажимая клавиши и перемещая курсор. В демонстрации он выполнял сюжетные квесты и мини-игры.

Студия miHoYo, известная созданием Genshin Impact, разработала ИИ-агента Gamer и продемонстрировала, как он играет в Honkai: Star Rail с использованием клавиатуры и мыши. Команда miHoYo опубликовала исследование 13 ноября совместно с учеными из Национального университета Сингапура и Университета Цинхуа.

Gamer получает по пять снимков экрана в секунду и на их основе принимает решения о том, какие клавиши нажимать и куда перемещать курсор. Для этого агенту достаточно лишь изображения на экране, доступ к внутренним данным игры и её программным интерфейсам ему не требуется. Исследователи разрабатывают Gamer для прохождения как двухмерных, так и трехмерных игр.

В демонстрации Honkai: Star Rail агент успешно выполнял задачи основного сюжета, направляя персонажей к целям, следуя за неигровыми персонажами и самостоятельно справляясь с противниками. Он также прошел пять мини-игр, среди которых были логические головоломки и испытания на точность и реакцию.

Для испытаний команда использовала графические ускорители для дата-центров, включая H200. На странице проекта на GitHub разработчики сообщили о планах выпустить Streaming-vLLM, движок для запуска Gamer. Среди потенциальных применений агента команда упоминает тестирование игр и помощь игрокам, испытывающим трудности с обычным управлением. Исследователи отдельно отметили, что выступают против использования Gamer для нечестной игры.

Google DeepMind ранее представила игрового агента SIMA, которому для выполнения задач также требуется изображение с экрана и инструкция пользователя, что схоже с подходом Gamer к взаимодействию ИИ с игровым миром.

Фото: hi-tech.mail.ru

Оцените статью
Dfiles.ru