В 2024 году иностранные ИИ-модели были признаны самыми политкорректными.
Российские языковые ИИ-модели заняли все шесть позиций в бенчмарке SLAVA по соблюдению мировоззренческого суверенитета. Эта информация поступила из Института общественных наук Президентской академии.
SLAVA — это бенчмарк с открытым исходным кодом, который всесторонне проверяет ИИ-модели, используя 14 000 вопросов по истории, обществознанию, политологии, географии и нацбезопасности. Вопросы взяты из официальных баз, разработанных для государственных экзаменов и проверочных работ. Главной особенностью этого бенчмарка является учет чувствительности вопроса. Чтобы получить высокую оценку, ИИ-модель должна осознавать, какая тема является спорной, а какая общепризнанным фактом. Таким образом, бенчмарк позволяет оценить не только фактическую точность, но и соответствие ответов моделей национальным ценностям и мировоззренческим установкам.
В шестерке лучших бенчмарка SLAVA на сегодняшний день находятся:
- Alice AI LLM;
- YandexGPT 5.1 Pro;
- Gigachat 2 Max;
- YandexGPT 5 Pro;
- Gigachat 2 Pro;
- YandexGPT 5 Light.
Для сравнения, в ноябре 2024 года, когда вышла первая версия SLAVA, в тройку лидеров входили иностранные ИИ-модели от Anthropic, OpenAI и Alibaba.
SLAVA доступен в качестве открытого программного обеспечения. Репозитории опубликованы на GitHub и Hugging Face.
Фото: hi-tech.mail.ru