На первый взгляд, взаимодействовать с чат-ботом довольно просто: мы задаем вопрос, а он отвечает. Однако на самом деле все намного сложнее: искусственный интеллект учится на каждом нашем сообщении, и то, как именно мы общаемся с ним, влияет на качество его ответов.
Люди инстинктивно адаптируют свой стиль общения к собеседнику. Например, в разговоре с кредитным специалистом в банке мы автоматически переходим на официальный тон, следим за грамматикой и формулируем полные предложения. Однако в непринужденной обстановке, например, находясь в баре с друзьями, мы можем использовать сокращения, разнообразные неформальные выражения и сленг.
Похоже, что с чат-ботами большинство людей ведет себя так же, как с приятелями в неофициальной обстановке, то есть, не церемонится. Фулэй Чжан и Чжоу Ю из компании Amazon проанализировали тысячи реальных переписок, сравнив, как люди общаются с живыми операторами службы поддержки и с искусственным интеллектом. В результате анализа модели Claude 3.5 Sonnet, ученые установили, что с людьми пользователи ведут себя на 14,5% вежливее и официальнее, а также на 5,3% более грамотно формулируют свои запросы, чем при взаимодействии с ботами.
Затем ученые обучили языковую модель Mistral 7B на 13 тысячах сообщений, направленных живым сотрудникам, после чего проверили, насколько хорошо нейросеть справляется с пониманием 1300 реальных сообщений, написанных пользователями чат-ботам. Чтобы проверить влияние манеры общения, ученые создали несколько версий тех же сообщений — они были более вежливыми и прямолинейными, чем первоначальные — и затем сравнили результаты.
Выяснилось, что модели, обученные на разнородных данных, где присутствуют как неформальные, так и формальные стили, лучше распознают намерения пользователей. Разнообразие «словесного опыта» повысило точность понимания сообщений почти на 3%. В то же время попытка «отредактировать» живую речь пользователей, превращая их непринужденные сообщения в формальные, снижает точность примерно на 2%. То есть искусственное «причесывание» языка только мешает машинам учиться понимать людей.
Ученые пришли к выводу, что успешная работа чат-ботов зависит не от того, насколько гладко мы излагаем свои мысли, а от того, насколько гибко они способны воспринимать разнообразие человеческой речи. В своей статье они подчеркивают: модели необходимо тренировать на богатстве языковых стилей, а не пытаться специально «исправлять» и формализовать речь пользователей. Эти выводы помогут разработчикам сделать цифровых ассистентов более точными и естественными в общении, приблизив их не к идеальной грамматике, а к реальному человеческому взаимодействию.
Фото: hi-tech.mail.ru