Яндекс запустил тест на логическое мышление для ИИ: «Данетки» и «Поле чудес» в действии

⁠1

Тестирование 16 моделей также показало различия в результатах между русским и английским языками

Команды Яндекс и ШАД (Школы анализа данных) предоставили доступ к MTGBench — бенчмарку для оценки способностей нейросетей в решении сложных задач с использованием последовательных рассуждений. Инструмент доступен на GitHub, а научная статья о нём была принята на конференцию EMNLP 2026.

MTGBench основан на семи текстовых играх, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Эти игры позволяют оценить, насколько эффективно модели обрабатывают новые вводные, используют предыдущие ответы, планируют будущие действия и избегают противоречий. Оценка принимает во внимание не только корректность результата, но и количество шагов, необходимых для его достижения. Все задания представлены на русском и английском языках.

Разработчики протестировали 16 нейросетей, включая модели Qwen, Gemini и GPT. Эксперименты продемонстрировали, что режим рассуждений особенно полезен в задачах, связанных с буквами, символами и подсказками. В тестах на извлечение знаний и понимание смысла прирост оказался менее выраженным и зависел от конкретной модели. Успех в одной игре не гарантировал высокие результаты в других.

Кроме того, нейросети продемонстрировали худшие результаты в заданиях на русском языке по сравнению с английским. При сравнении с человеческими участниками, наиболее эффективные модели с активированным режимом рассуждений показали более высокие средние баллы во всех семи играх. Бенчмарк предназначен для разработчиков и исследователей, которым необходимо сравнивать модели и выбирать оптимальные решения для конкретных задач.

27 октября 2026, 11:21Искусственный интеллектЯндексVerKoРоссияИИИсточники:Яндекс

Не пропускайте наши новостиДобавьте сайт в предпочитаемые источники, чтобы видеть нас чащеДобавить в Google