Розробники Google створили інтерфейс, що дозволяє керувати персонажами гри власною мімікою

Розробники Google створили інтерфейс Project Game­face, що дозволяє керувати персонажами гри власною мімікою — моргаючи, хмурячись і посміхаючись.

Основним механізмом, як зрозуміло з назви, є управління за допомогою міміки. Хоча контролери типу Microsoft Xbox Adap­tive Con­troller значно спрощують участь в ігровому процесі, завдяки особливому дизайну і великим кнопкам та іншим елементам управління, рішення Google забезпечить принципово нові можливості.

Відстежуюча рух голови «миша» винайдена досить давно, але в основному такі технічні рішення реєструють виразні рухи головою або відстежують моргання. Приблизно таке обладнання відомий стрімер Ленс Карр, який страждає на м’язову дистрофію, використовував до того, як пожежа знищила його ігрове залізо. При цьому подія мала і позитивний ефект — саме після цього інженери Google серйозно зайнялися вдосконаленням технології.

Результатом став Project Game­face. «Ігрова мишка» — програмне забезпечення з відкритим кодом, не вимагає управління руками і використовує для подачі команд звичайну вебкамеру, спрямовану на обличчя користувача. Машинне навчання дозволяє відстежувати на обличчі 468 унікальних точок, що дає можливість Game­Face точно розпізнавати не тільки рух голови, а й міміку. Наприклад, той чи інший вираз обличчя перетворюється на клік мишею чи інші команди. Project Game­face дозволяє навіть налаштовувати управління під індивідуальну міміку, тому скористатися перевагами технології зможуть навіть ті, кому складно керувати лицьовими м’язами.

У Google повідомили, що Project Game­Face потребує доопрацювання і поки що не готовий до масового використання. Проте, для розробників, які прагнуть зробити внесок у ПЗ, доступна початкова версія на GitHub. Не виключено, що можливість такого управління може стати в пригоді і здоровим людям — на додаток до класичних контролерів.

Нагадаємо — наприкінці березня австралійські вчені, які працюють у Технологічному університеті Сіднею, представили систему керування роботизованими системами силою думки. В одному з експериментів людина направляла дрон на маршрутні точки, візуалізуючи їх в голові через AR-механізми Microsoft HoloLens. За словами вчених, їх винахід допоможе військовим на полі бою взаємодіяти з широким спектром датчиків, транспортних засобів та роботів.