VK представила в открытом доступе модель RuModernBERT для работы с естественным русским языком. Она способна воспринимать длинные тексты целиком, без деления на части, и функционирует локально, без необходимости использовать внешние API, что уменьшает нагрузку на инфраструктуру.
Инженеры могут применять ее для различных задач в области обработки текста, включая извлечение данных, анализ настроений, поиск и ранжирование в приложениях и сервисах. Модель способна понять сложные или длинные запросы пользователей, например, в поисковой строке, и находит наиболее подходящую информацию, видео, товары или документы.
RuModernBERT была обучена на 2 триллионах токенов данных на русском, английском языках и коде, с максимальной длиной контекста до 8,192 токенов. Для всех этапов обучения использовались разнообразные источники данных, включая книги, статьи, посты и комментарии в социальных сетях, что позволяет адаптировать ее для работы с современным текстом и учитывать разговорную речь.
RuModernBERT представлена в нескольких версиях: с 150 миллионами параметров и облегченная модель на 35 миллионов параметров. Это дает возможность инженерам выбирать вариант, соответствующий их задачам. Также обновлены две дополнительные версии модели: USER и USER2. Они помогают инженерам более эффективно группировать и находить схожую информацию. В версии USER2 реализована специальная технология, позволяющая сократить объем данных почти без потери точности.
Благодаря современной архитектуре RuModernBERT демонстрирует большую скорость работы по сравнению с аналогами: обучение и развертывание на конечных устройствах происходит на 10–20% быстрее, а обработка данных — в 2–3 раза быстрее на длинных контекстах, чем у ModernBERT*. При оценке на валидационном датасете модель RuModernBERT продемонстрировала лучшие результаты в области обработки естественного русского языка по сравнению с существующими аналогами. Модель уже внедрена в продукты и сервисы VK, которые ежедневно используют десятки миллионов людей.
Все версии модели доступны на Hugging Face.
Фото: hi-tech.mail.ru