Яндекс представил на платформе Hugging Face Alice AI Search Pretrain — компактную языковую модель с гибридной архитектурой, которая используется для быстрого получения ИИ-ответов в Поиске.
Яндекс сделал открытым доступ к Alice AI Search Pretrain на платформе Hugging Face — языковой модели, которая является основой для быстрого получения ИИ-ответов в сервисе Поиск. Компания первой представила базовую (pretrain) версию модели, используемой в продукте.
Alice AI Search Pretrain основана на гибридной архитектуре, которая ранее применялась почти исключительно в научных исследованиях. Модель сочетает два метода: «энкодер-декодер» и MoE (Mixture of Experts — смесь экспертов). Первый метод позволяет одной части нейросети анализировать и отбирать информацию, а другой — формировать сжатый ответ. Второй способ ускоряет процесс: вместо активации всей нейросети включается только та часть, которая лучше всего разбирается в конкретной теме. В итоге модель включает 35 млрд параметров, однако при обработке каждого текста задействуется лишь около 600 млн из них — менее 2%.
Благодаря такой архитектуре Alice AI Search Pretrain требует значительно меньше вычислительных ресурсов, чем аналогичные решения. По результатам слепого тестирования, она демонстрирует лучшие результаты по задачам на русском языке, превосходя компактные модели Qwen 3.5 2B, Qwen 3.5 4B и T5 Gemma 2 4B-4B Base, а по качеству ответов сопоставима с Qwen 3.5 35B-A3B — при гораздо меньших требованиях к вычислительным ресурсам.
С июля в Поиске Яндекса функционирует дообученная версия этой модели — Alice AI Search, которая входит в семейство генеративных моделей Alice AI. Разработчики обучали ее на реальных сценариях взаимодействия пользователей с поиском: пользовательские сигналы помогли модели давать более содержательные и понятные ответы. В настоящее время быстрыми ответами в Поиске пользуются более 49 миллионов человек в месяц — это самый массовый генеративный продукт компании.
Открытая версия доступна на Hugging Face: разработчики и исследователи могут изучить архитектуру модели и дообучить ее под свои задачи.
Фото: hi-tech.mail.ru