Науковці створили додаток для управління роботами на базі VR-гарнітури Apple Vision Pro

Науковці Массачусетського технологічного інституту розробили застосунок для гарнітури змішаної реальності Apple Vision Pro, що дає змогу користувачам керувати роботами за допомогою жестів голови та рук. Про це повідомив розробник застосунку, докторант Янгхьо Парк на платформі X.

Додаток Tracking Streamer можна використовувати для віддаленого управління машинами в різних сценаріях — від жартів до навігації у рятувальних або наукових цілях. Програма відстежує рухи людини, — зокрема те, як рухаються голова, зап’ястя і пальці - і передає ці дані через з'єднання Wi-Fi до робота, що перебуває у тій самій мережі. Підключений робот перетворює дані на відповідні рухи.

«Цей застосунок тепер офіційно у VisionOS App Store! Ви можете знайти Tracking Streamer в App Store і встановити програму», — повідомляють розробники.

Дослідники описали свою роботу утатті, опублікованій на Github. Вони розповіли: система відстежує 26 точок на руках і зап’ястях, а також окремі точки на голові. Програма дає змогу зчитувати просторові дані, висоту та інші параметри.

Янгхьо Парк на відео демонструє систему в дії. Співавтор дослідження Гейб Марголіс, аспірант Массачусетського технологічного інституту, керує чотирилапим роботом за допомогою рук і рухів тіла. Марголіс жестами наказує роботу підійти до зачинених дверей, повернути ручку, взятися за неї та увійти. Також він жестом наказує роботу взяти пластикову кришку відра для сміття і кинути її в урну. У якийсь момент він нахиляється, що змушує робота імітувати його рухи.

«Приємною особливістю Vision Pro є те, що вона відстежує все в глобальному кадрі: програма постійно локалізує пристрій, з якого запущено застосунок. Це відкриває захоплюючі можливості для зйомки людських рухів у більш масштабному середовищі», — зазначає Парк.

Apple випустила гарнітуру Vision Pro у лютому. Нагадаємо — тоді ж компанія Brilliant Labs, заснована колишнім співробітником Apple Бобаком Тавангаром, випустила власні окуляри доповненої реальності під назвою Frame. Нову розробку вже назвали аналогом Apple Vision Pro за дешевшу ціну. Вартість Frame — $ 349, Apple Vision Pro — $ 3499.