«Российская исследовательская группа представила новый тест для ИИ. С его помощью можно оценить способность нейросетей понимать геометрию», — говорится в пресс-релизе.
Разработку подготовили ученые из лаборатории FusionBrain Института AIRI, Центрального университета и других российских университетов. Авторы NoReGeo отметили, что он задуман как проверка пространственного понимания без использования алгебраических вычислений и без опоры на способности моделей к рассуждениям.
Тест проверяет базовые геометрические ситуации — например, находится ли точка внутри фигуры или пересекаются ли две прямые. Он включает 2,5 тыс. задач по 25 темам школьной геометрии. Задания могут быть только текстовыми или сопровождаться изображением, а ответ нужно дать за один шаг.
С помощью NoReGeo исследователи протестировали более 45 современных моделей, чтобы выявить их пространственную «слепоту». По итогам тестирования максимальная точность среди всех 2,5 тыс. задач составила 65%, то есть даже лучшие модели, как отмечается в пресс-релизе, заметно уступают человеку.
Создатели теста подчеркивают, что более точная оценка геометрического восприятия важна для применения ИИ в сферах, где требуется геометрическая точность и способность воспринимать пространство, в том числе в медицине, робототехнике и строительстве. Также, такой подход «позволит расширить перечень задач, которые можно будет доверить нейросетям».