Агент управляет игровым процессом, ориентируясь на снимки экрана, нажимая клавиши и перемещая курсор. В демонстрации он выполнял сюжетные квесты и мини-игры.
Студия miHoYo, известная созданием Genshin Impact, разработала ИИ-агента Gamer и продемонстрировала, как он играет в Honkai: Star Rail с использованием клавиатуры и мыши. Команда miHoYo опубликовала исследование 13 ноября совместно с учеными из Национального университета Сингапура и Университета Цинхуа.
Gamer получает по пять снимков экрана в секунду и на их основе принимает решения о том, какие клавиши нажимать и куда перемещать курсор. Для этого агенту достаточно лишь изображения на экране, доступ к внутренним данным игры и её программным интерфейсам ему не требуется. Исследователи разрабатывают Gamer для прохождения как двухмерных, так и трехмерных игр.
В демонстрации Honkai: Star Rail агент успешно выполнял задачи основного сюжета, направляя персонажей к целям, следуя за неигровыми персонажами и самостоятельно справляясь с противниками. Он также прошел пять мини-игр, среди которых были логические головоломки и испытания на точность и реакцию.
Для испытаний команда использовала графические ускорители для дата-центров, включая H200. На странице проекта на GitHub разработчики сообщили о планах выпустить Streaming-vLLM, движок для запуска Gamer. Среди потенциальных применений агента команда упоминает тестирование игр и помощь игрокам, испытывающим трудности с обычным управлением. Исследователи отдельно отметили, что выступают против использования Gamer для нечестной игры.
Google DeepMind ранее представила игрового агента SIMA, которому для выполнения задач также требуется изображение с экрана и инструкция пользователя, что схоже с подходом Gamer к взаимодействию ИИ с игровым миром.
Фото: hi-tech.mail.ru
