Она на 45% быстрее GigaChat
Искусственный интеллект702 июл 14:17
Сбер создал и представил первую диффузионную языковую модель GFusion. Она основана на GigaChat, являющемся экспериментальным проектом, как отмечает компания. Разработчики объяснили, что традиционные языковые модели генерируют текст последовательно, по одному слову за раз. Поэтому, чтобы исправить одну ошибку, модели приходится переписывать весь ответ заново.
GFusion функционирует иначе: сначала она создает приблизительный «набросок» ответа, а затем поэтапно его дорабатывает — аналогично тому, как нейросети создают изображения и видео. Благодаря параллельной генерации GFusion формирует текст быстрее: согласно тестам Сбера, новая модель работает до 45% быстрее GigaChat 3, на основе которого она была обучена.
Также разработчики GFusion подчеркнули, что диффузионные модели не только быстрее — их генерация более адаптивная. Текст не обязательно создается строго слева направо — модель сама выбирает, какую часть ответа улучшить на каждом этапе. Диффузионные модели также способны извлекать больше информации из ограниченного объема данных, обучаясь на одном и том же датасете несколько раз.
Диффузионные языковые модели являются одним из самых многообещающих и сложных направлений в генеративном ИИ, отмечают в Сбере. Разработчики заявили, что GFusion — первая открытая диффузионная модель для генерации текста такого масштаба в России. Вместе с самой моделью Сбер выпустил инструменты, которые ускоряют обучение диффузионных моделей.
ErinИсточники:СберИскусственный интеллект7РоссиянейросетьСберЯзыковая модельGFusion02 июл 14:17
Источник
