Работает с точностью 85,8%.
Исследователи из Pohang University of Science and Technology (POSTECH) в Южной Корее создали силиконовую повязку на шею, которая может распознавать беззвучную речь и преобразовывать её в полноценный голосовой сигнал. Устройство фиксирует еле заметные движения мышц и кожи, возникающие при произношении слов, и с помощью ИИ преобразует их в аудио, передаваемое собеседнику.
Основой технологии является концепция о том, что речь — это не только звуковые колебания. При произнесении слов возникают характерные паттерны движений шеи. В отличие от традиционных методов, использующих электромиографию или электроэнцефалографию, требующих громоздкого оборудования и электродов, в POSTECH применили мягкий силиконовый воротник с миниатюрной камерой и датчиками движения.
Система отслеживает степень деформации кожи и направление этих изменений, что позволяет более точно интерпретировать движения речевого аппарата. Специальные маркеры на поверхности повязки помогают камере фиксировать деформации в реальном времени, а алгоритм компенсирует небольшие смещения устройства при повторном надевании.
Информация обрабатывается нейросетью, которая обучена на голосе конкретного человека. После распознавания слова система передаёт его на сервер, где текст преобразуется в речь с сохранением индивидуальной интонации. По словам исследователей, на обучение голосовой модели требуется менее 10 минут записей.
В ходе испытаний устройство распознавало слова из фонетического алфавита НАТО с точностью 85,8%. Оно также показало устойчивость к шуму: при уровне около 90 дБ система сохраняла высокое соотношение сигнал/шум, опережая коммерческие EMG-решения.
Разработчики полагают, что эта технология может помочь людям с нарушениями речи, а также быть полезной в шумных условиях — например, на производстве или в экстренных службах. Среди возможных сценариев применения выделяются авиация, морские операции и военная сфера.
У системы есть ограничения: она функционирует с фиксированным словарём из 26 слов, а точность значительно снижается при движении пользователя — до 39,7%. В дальнейшем команда намерена расширить словарный запас и улучшить устойчивость к физической активности.
Фото: hi-tech.mail.ru