Современные двуногие и четвероногие роботы испытывают проблемы при передвижении по сложным участкам пути, например, усеянным камнями, и при преодолении препятствий: склонов, бордюров, лестниц и других. Учёные из институтов UCSD, IAIFI и MIT попытались решить эту проблему, представив технологию нейронной объёмной памяти (NVM, Neural Volume Memory).
Сейчас, чтобы заставить роботов ориентироваться в окружающей среде, многие разработчики используют метод наложения нескольких кадров, что никак не сочетается с существующими технологиями компьютерного зрения. В NVM моделируется оптический поток с нескольких камер, расположенных на «теле» робота, позволяя формировать более точную 3D-модель реального мира.
Для реализации проекта был использован процессор Apple M1, который учёные вынули из «яблочного» ноутбука и разместили в небольшой коробочке на спине робота-собаки. Чип отвечает за выполнение задач визуальной обработки. Из-за использования чипа от Apple, робота, ставшего подопытным, стали называть «MacBook на четырёх лапах».
В ходе тестов технология NVM показа значительный прирост производительности по сравнению с существующими, когда речь заходит о перемещении робота по участкам дороги со сложным ландшафтом.
Примеры работы технологии NVM (анимация доступна по клику):
Работа технологии NVM на примере: преодоление лестницы, обход резко возникающих препятствий
Движение робота без NVM (слева) и с NVM (справа)
Движение робота без NVM (слева) и с NVM (справа)
