Розробники Meta представили інноваційну систему машинного зору для роботів

Компанія Meta Real­i­ty Labs представила новий датасет HOT3D, що може суттєво вплинути на розвиток технологій комп’ютерного зору та робототехніки. Датасет містить понад 833 хвилини егоцентричних 3D-відео, знятих за допомогою окулярів Project Aria та шолома Quest 3. У записах взяли участь 19 осіб, які взаємодіяли з 33 різними об’єктами у побутових і офісних умовах.

Датасет містить приблизно 3,7 мільйона зображень, які супроводжуються детальними анотаціями. Серед них – 3D-пози об’єктів, рук, камер, а також тривимірні моделі рук і предметів. Ці дані дозволяють вивчати складні завдання, як-от 3D-трекінг рук, оцінка пози об’єктів та моделювання руху об’єктів у руках.

Експерименти показали високу ефективність використання HOT3D. Багатокамерний підхід, застосований у датасеті, значно перевершує однокамерні системи у вирішенні завдань, пов’язаних із розпізнаванням рухів та положення об’єктів.

HOT3D відкритий для дослідників усього світу. Він може стати основою для розвитку інтерфейсів людина-машина, систем доповненої та віртуальної реальності, а також для поліпшення взаємодії роботів із довкіллям.