Система также будет полезна для спортсменов, танцоров и врачей-реабилитологов.
Исследователи из Римского биомедицинского университета и Высшей школы Сант-Анна в Пизе создали носимую роботизированную систему, которая помогает музыкантам поддерживать идеальную синхронизацию. Устройство представляет собой пару легких экзоскелетов для верхних конечностей, связанных двусторонней тактильной связью.
Каждый музыкант физически ощущает движения своего партнера через прикосновение — и это оказалось более эффективным, чем традиционные визуальные и слуховые подсказки. В ходе экспериментов с 20 парами скрипачей (как любителями, так и профессионалами) тактильная обратная связь превзошла зрительное восприятие в плане координации. Система, разработанная в рамках проекта CONBOTS, открывает новые горизонты не только для музыки, но и для спорта, танцев, образования и реабилитации.
Каждый экзоскелет отслеживает движения одного исполнителя (положение рук, скорость, амплитуда) и передает соответствующие силовые сигналы партнеру. Второй музыкант буквально «чувствует» движения первого — тактильный канал работает в реальном времени, не требуя осознанного контроля. При этом система сохраняет естественность движений, не ограничивая музыканта.
Мы показываем, что тактильная коммуникация с помощью носимых роботов с двусторонней связью превосходит традиционную слухо-визуальную обратную связь в сложных реальных совместных действиях — ансамблевом исполнении на скрипке, — отмечают авторы в аннотации к исследованию.
Эксперименты проводились с десятью любительскими и десятью профессиональными дуэтами. Участники выполняли задания в четырех условиях:
- Только слух — стандартная ситуация;
- Слух + зрение — визуальные подсказки;
- Слух + тактильная обратная связь — через экзоскелет;
- Все три модальности (слух, зрение, осязание).
Результаты показали, что тактильная обратная связь улучшала координацию более эффективно, чем визуальные подсказки. При этом скрипачи обычно обучаются полагаться на зрение и слух, а тактильный канал оказался для них совершенно новым. Тем не менее, они интуитивно начали извлекать из него выгоду. Наивысший уровень синхронизации достигался при объединении всех трех сенсорных модальностей — мультисенсорная интеграция обеспечила максимальный эффект.
Теперь музыканты не задумываются о том, как интерпретировать сигнал — они просто ощущают партнера и интуитивно подстраиваются. Это кардинально отличается от подхода, при котором они полагаются на дирижера или прислушиваются к ритму соседа.
