Модель добавляет в разговор с пользователем, неприсущие машине, реакции: звуки дыхания, непроизвольные ошибки и смешки.
Исследователи из Sesame AI запустили новую модель разговорной речи (CSM). Этот продвинутый голосовой ИИ обладает феноменальными качествами, похожими на человеческие, которые мы уже видели у таких компаний, как Google (Duplex) и OpenAI (Omni). Модель имеет два голоса: «Майлз» (мужской) и «Майя» (женский), и ее реализм очаровал почти всех, тестировавших ее пользователей.
Технология Sesame использует мультимодальный подход, обрабатывающий текст и аудио в одной модели, обеспечивая более естественный синтез речи. Метод похож на голосовые модели OpenAI, но несмотря на близкое к человеческому качество, в отдельных тестах, система все еще испытывает трудности с разговорным контекстом, темпом и потоком. Соучредитель компании Брендан Ирибе признает, что их голосовая нейросеть все еще нуждается в доработке, но сохраняет оптимизм, что компания закроет все недочеты в ближайшее время.
Реакции на технологию были разные, от удивления и восторга до беспокойства и обеспокоенности. CSM создает атмосферу максимально естественного разговора, привнося в него, неприсущее машине поведение: звуки дыхания, непроизвольные ошибки, смешки и случайные самокоррекции. Эти тонкости добавляют модели реализма и дают собеседнику уверенность в том, что он разговаривает с реальным человеком. Некоторые пользователи даже отмечали формирование у них эмоциональных связей с машиной.
Однако не все отреагировали на демо положительно. Марк Хахман из PCWorld отметил, что женская версия напомнила ему бывшую девушку. Чат-бот задавал ему вопросы, как будто пытаясь установить «близость», что вызывало у него крайнее чувство дискомфорта.
Кроме этого, как и в случае с любой мощной технологией, преимущества такой «человеческой» голосовой модели сопряжены с рисками. Возможность генерировать гиперреалистичные голоса может привлечь мошенников, промышляющих голосовым фишингом, когда преступники выдают себя за близких или авторитетных лиц.
Однако, по заверению разработчиков, текущая демоверсия Sesame не клонирует голоса и предназначена, главным образом, для обслуживания клиентов и работы в техподдержке.
Читайте также нашу статью о том, как Anthropic выпустил свою «самую умную» модель ИИ.
<div class="mediaPollEmbed" data-id="166d388a-3938-5c14-a70f-b0a05b080c4e" data-prerendered><noscript><section><h2>Как пользователи относятся к беспарольному способу авторизации</h2><p>9 вопросов</p><form method="POST" action="https://media-poll.mail.ru/api/166d388a-3938-5c14-a70f-b0a05b080c4e"><fieldset><legend>Используете ли вы беспарольные методы аутентификации (например, биометрия и одноразовые коды) для входа в аккаунты?</legend><label><input type="radio" name="10375" value="39859"/>Да, для всех сервисов, где это возможно</label><br/><label><input type="radio" name="10375" value="39860"/>Да, для важных аккаунтов (мессенджеры, почтовые сервисы, банковские приложения и т.п.)</label><br/><label><input type="radio" name="10375" value="39861"/>Нет, но планирую начать использовать</label><br/><label><input type="radio" name="10375" value="39862"/>Нет, не использую и не планирую</label><br/><label><input type="radio" name="10375" value="39863"/>Раньше использовал(а), но вернулся(ась) к паролям(ась) к паролям</label><br/></fieldset><button type="submit">Далее</button></form></section></noscript></div><script type="text/javascript">(function(){window.mediaPoll=window.mediaPoll||{};function renderEmbeds(){var embeds=document.querySelectorAll('.mediaPollEmbed');if(!embeds.length){return;}for(var i=0;i<embeds.length;i++){var embed=embeds[i];var uuid=embed.dataset.id;window.mediaPoll.render(uuid,embed);}}function loadEmbed(){var head=document.getElementsByTagName('head')[0];var script=document.createElement('script');script.type='text/javascript';script.defer=!0;script.async=!0;script.src='https://media-poll.mail.ru/-/1740985739560/embed/main.js';script.onload=renderEmbeds;if(!window.mediaPoll.appended){head.appendChild(script);window.mediaPoll.appended=!0;}}if(window.mediaPoll.appended){renderEmbeds();}else{if(window.opera=='[object Opera]'&&!document.addEventListener){window.attachEvent('onload',loadEmbed);}else{document.addEventListener('DOMContentLoaded',loadEmbed,!1);}if(document.readyState !== 'loading'){loadEmbed();}}})();</script>