Розробники Google створили інтерфейс, що дозволяє керувати персонажами гри власною мімікою

Розробники Google створили інтерфейс Project Gameface, що дозволяє керувати персонажами гри власною мімікою — моргаючи, хмурячись і посміхаючись.

Основним механізмом, як зрозуміло з назви, є управління за допомогою міміки. Хоча контролери типу Microsoft Xbox Adaptive Controller значно спрощують участь в ігровому процесі, завдяки особливому дизайну і великим кнопкам та іншим елементам управління, рішення Google забезпечить принципово нові можливості.

Відстежуюча рух голови «миша» винайдена досить давно, але в основному такі технічні рішення реєструють виразні рухи головою або відстежують моргання. Приблизно таке обладнання відомий стрімер Ленс Карр, який страждає на м’язову дистрофію, використовував до того, як пожежа знищила його ігрове залізо. При цьому подія мала і позитивний ефект — саме після цього інженери Google серйозно зайнялися вдосконаленням технології.

Результатом став Project Gameface. «Ігрова мишка» — програмне забезпечення з відкритим кодом, не вимагає управління руками і використовує для подачі команд звичайну вебкамеру, спрямовану на обличчя користувача. Машинне навчання дозволяє відстежувати на обличчі 468 унікальних точок, що дає можливість GameFace точно розпізнавати не тільки рух голови, а й міміку. Наприклад, той чи інший вираз обличчя перетворюється на клік мишею чи інші команди. Project Gameface дозволяє навіть налаштовувати управління під індивідуальну міміку, тому скористатися перевагами технології зможуть навіть ті, кому складно керувати лицьовими м’язами.

У Google повідомили, що Project GameFace потребує доопрацювання і поки що не готовий до масового використання. Проте, для розробників, які прагнуть зробити внесок у ПЗ, доступна початкова версія на GitHub. Не виключено, що можливість такого управління може стати в пригоді і здоровим людям — на додаток до класичних контролерів.

Нагадаємо — наприкінці березня австралійські вчені, які працюють у Технологічному університеті Сіднею, представили систему керування роботизованими системами силою думки. В одному з експериментів людина направляла дрон на маршрутні точки, візуалізуючи їх в голові через AR-механізми Microsoft HoloLens. За словами вчених, їх винахід допоможе військовим на полі бою взаємодіяти з широким спектром датчиків, транспортних засобів та роботів.