Исследователи Университета Иннополис разработали метод, который позволяет ускорить обучение больших языковых моделей в 1,5−2 раза, используя данные о том, как человек воспринимает текст.
«Научные сотрудники Исследовательского центра в сфере ИИ Университета Иннополис увеличили скорость обучения больших языковых моделей в 1,5−2 раза, что в будущем поможет сократить затраты и время на создание более «умных» и понятных человеку ИИ-помощников. Впервые для этих целей они применили данные о визуальном восприятии и чтении текста», — рассказали в вузе.
Авторы представили новый подход к повышению эффективности обучения с подкреплением на основе отзывов пользователей (RLHF) — основного метода, позволяющего согласовать большие языковые модели с предпочтениями пользователей. Они предложили использовать данные о взгляде в качестве основы для системы наград ИИ-модели. Ученые обучали модель с учетом предсказания распределения внимания пользователя, а затем оценивали отдельные слова в выдаче, опираясь на информацию о том, как человек взаимодействует с текстом.
«Данные о взгляде предоставляют детальную обратную связь: модель видит, какие именно части сгенерированного текста привлекли наибольшее внимание человека. Это похоже на указание учителя на конкретные ошибки, а не общую оценку работы. Модель быстрее корректирует свое поведение, не тратя время на бесполезные правки всего текста», — пояснил руководитель лаборатории искусственного интеллекта в медицине Университета Иннополис Илья Першин.
Фото: hi-tech.mail.ru