Российские исследователи представили новый тест NoReGeo, который помогает оценить, насколько нейросети способны понимать геометрию и пространственные отношения. Презентация состоялась на конференции AAAI по искусственному интеллекту в Сингапуре, как сообщили в пресс-службе Центрального университета. 
«Российская исследовательская группа представила новый тест для ИИ. С его помощью можно оценить способность нейросетей понимать геометрию», — говорится в пресс-релизе.
Разработку осуществили ученые из лаборатории FusionBrain Института AIRI, Центрального университета и других российских вузов. Создатели NoReGeo отметили, что тест предназначен для проверки пространственного восприятия без использования алгебраических расчетов и без опоры на логические способности моделей.
Тест охватывает основные геометрические задачи — например, определение, находится ли точка внутри фигуры или пересекаются ли две прямые. Он включает 2,5 тыс. заданий по 25 темам школьной геометрии. Задания могут быть как текстовыми, так и сопровождаться изображениями, а ответ необходимо дать за один шаг.
С помощью NoReGeo исследователи протестировали более 45 современных моделей, чтобы выявить их пространственное восприятие. По результатам тестирования максимальная точность среди всех 2,5 тыс. задач составила 65%, что означает, что даже лучшие модели, как отмечается в пресс-релизе, существенно уступают человеку.
Создатели теста подчеркивают, что точная оценка геометрического восприятия имеет важное значение для применения ИИ в областях, где необходима геометрическая точность и способность воспринимать пространство, включая медицину, робототехнику и строительство. Такой подход «расширит спектр задач, которые можно будет доверить нейросетям».
Фото: hi-tech.mail.ru