Технология позволяет удалять слова-паразиты и запинки, а также переводить речь на другой язык, корректируя движения губ.
Microsoft подала заявку на патент на ИИ, который способен изменять речь человека во время трансляции. Система анализирует голос, выявляя слова для замены, и подставляет альтернативные. Кроме того, ИИ настраивает движения губ говорящего, чтобы они совпадали с новой речью. Данная технология предполагается к применению в видеотрансляциях и дополненной реальности.
Среди предполагаемых сценариев использования — удаление слов-паразитов и пауз, сглаживание запинок, а также перевод на другой язык, когда зритель не понимает язык оригинала. В каждом случае система меняет не только звук, но и подгоняет движения губ к новым словам, а исправленный видеоряд показывается зрителю с задержкой от одной до десяти секунд по сравнению с реальным временем.
Статус заявки пока что неясен, различные источники сообщают о нем по-разному. По некоторым данным, экспертиза Патентного ведомства США отклонила предложенную формулу изобретения 29 июля 2026 года, однако это обычный этап, после которого заявитель может внести правки и повторно подать документы.
Другие источники сообщают, что заявка уже получила одобрение и ожидает уплаты окончательной пошлины. Microsoft пока не раскрыла, действительно ли она намерена разрабатывать такую систему или патент подан для подстраховки, что является обычной практикой для крупных технологических компаний.
Технологии замены речи и коррекции губ уже применяются для дубляжа фильмов на разные языки с сохранением мимики актеров, а также лежат в основе некоторых дипфейков, поддельных видео, где лицо или голос человека заменяются без его согласия. Если Microsoft действительно осуществит такую систему, прямые эфиры и трансляции могут стать ненадежными, поскольку зритель может видеть и слышать не то, что на самом деле произносит говорящий.
Фото: hi-tech.mail.ru