Благодаря полной дуплексной системе общение с искусственным интеллектом будет практически неотличимо от разговора с человеком.
«Сбер» работает над созданием голосового искусственного интеллекта с полной дуплексной связью. Такая система сможет одновременно слушать собеседника, обрабатывать его речь и формировать ответ. Об этом рассказал директор по развитию технологий ИИ «Сбербанка» Сергей Марков.
Большинство современных голосовых ассистентов функционируют в полудуплексном режиме: пользователь говорит, система обрабатывает запрос и затем отвечает. Для этих операций могут использоваться различные нейросети. Полноценная дуплексная модель объединит эти процессы в одной системе и будет продолжать слушать человека во время своего ответа.
Это должно уменьшить задержку в диалоге с нескольких секунд до 160-320 мс — практически до уровня естественного человеческого общения. Такая архитектура также позволит ИИ реагировать на перебивания и изменения в репликах, не дожидаясь завершения речи собеседника.
При добавлении видеомодальности система сможет одновременно видеть пользователя и управлять движениями своего видеоаватара. Это даст возможность использовать технологию не только для голосового общения, но и для более реалистичного взаимодействия с цифровым персонажем.
Первую подобную технологию представила французская компания Kyutai. В 2024 году она выпустила модель Moshi с поддержкой полного дуплекса. Позже аналогичные разработки были представлены Google и OpenAI — Gemini Live и GPT-Live.
<div class="mediaPollEmbed" data-prerendered><noscript><section><h2>Цифровое наследство россиян: что люди хотели бы сохранить после себя и готовы ли они передать близким доступ к своим цифровым данным</h2><p>8 вопросов</p><form method="POST" action="https://media-poll.mail.ru/api/40473998-96a7-532f-aa13-927776285dc5"><fieldset><legend>Какие цифровые данные вы считаете наиболее ценными и хотели бы сохранить?</legend><label><input type="checkbox" name="32540" value="111341"/>семейные фотографии</label><br/><label><input type="checkbox" name="32540" value="111342"/>видео с близкими</label><br/><label><input type="checkbox" name="32540" value="111343"/>личная переписка</label><br/><label><input type="checkbox" name="32540" value="111344"/>рабочие документы</label><br/><label><input type="checkbox" name="32540" value="111345"/>личные документы (паспорт, свидетельства, договоры)</label><br/><label><input type="checkbox" name="32540" value="111346"/>медицинские документы</label><br/><label><input type="checkbox" name="32540" value="111347"/>финансовые документы и чеки</label><br/><label><input type="checkbox" name="32540" value="111348"/>творческие материалы</label><br/><label><input type="checkbox" name="32540" value="111349"/>интеллектуальная собственность</label><br/></fieldset><button type="submit">Далее</button></form></section></noscript></div><script type="text/javascript">(function(window){var mediaPoll=(window.mediaPoll=window.mediaPoll||{});var container=document.currentScript.previousElementSibling;var uuid="40473998-96a7-532f-aa13-927776285dc5";mediaPoll.loadAPIPromise=mediaPoll.loadAPIPromise||new Promise((resolve,reject)=>{const loadScript=(onload,onerror)=>{var head=document.getElementsByTagName('head')[0];var script=document.createElement('script');script.async=true;script.onload=onload;script.onerror=onerror;script.src='https://media-poll.mail.ru/-/1786979589391/embed/main.js';head.appendChild(script)};loadScript(resolve,()=>{mediaPoll.loadAPIPromise=null;reject()})});mediaPoll.loadAPIPromise.then(()=>{window.mediaPoll.render(uuid,container)})})(window)</script>
Фото: hi-tech.mail.ru