Специалисты Московского государственного психолого-педагогического университета (МГППУ) создали алгоритмы и программное обеспечение, которые помогают эффективно обнаруживать у крупных языковых моделей признаки «галлюцинаций» — правдоподобных, но в то же время ложных ответов. Об этом информирует пресс-служба вуза. 
«Специалисты МГППУ создали алгоритмы и программное обеспечение, которые позволяют проверять правильность ответов интеллектуальных помощников и генерировать запросы по заданной аннотации ответа, автоматизируя труд промпт-инженеров».
Для проверки языковых моделей авторы предложили использовать два алгоритма: один занимается подбором запроса, другой — оценивает правдоподобие утверждений.
Новый подход основывается на представлении запросов и ответов как элементов специальных метрических пространств, в которых расстояния между текстами определяются через семантическое сходство. Количественные оценки различий между текстами позволяют формализовать их «смысловую близость» и использовать методы статистического анализа.
Полученные результаты могут быть востребованы программистами и математиками, работающими с крупными языковыми моделями, считают авторы.
Фото: hi-tech.mail.ru