Розробник створив програму для керування комп’ютером за допомогою жестів

Розробник та інженер Начо Мартін створив програму для керування діалоговими вікнами на комп’ютері за допомогою жестів. Утиліта отримала назву Manitas, а вихідний код технології програміст опублікував на репозиторії GitHub.

After 20 years I can finally build this interface: D!!☝️☝️

How it works: human (me) moves fingers->webcam records fingers->AI (Google's MediaPipe) recognizes fingers and gestures->human interacts with web elements.

Link to the code in the next tweet: pic.twitter.com/eQNPii6b7x

— Nacho Martín (@nacmartin) March 13, 2023

На цей час готової збірки для управління комп’ютером немає, але Мартін запустив демо-версію програми на окремому сайті, де кожен може спробувати її у дії.

Для управління вікнами за допомогою жестів рук інженер написав спеціальну інструкцію на базі JavaScript. Програма використовує штучний інтелект Google Mediapipe — нейромережа забезпечує розпізнавання положення пальців, записаного з вебкамери, і генерує події HTML, схожі на події миші або торкання до тачпада, тому руки можна використовувати для взаємодії з браузером.

Manitas розпізнає 7 жестів (?, ?, ✌️, ☝️, ✊, ?, ?), кожен з яких відповідає за певну дію. Наприклад, вказівним пальцем (☝️) можна переміщати вікна, жестом із трьома пальцями (?) можна активувати та зупиняти відтворення відео у вікні, а жест великого пальця догори (?) дає змогу швидко перемістити вікно вгору.Нагадаємо — нещодавно розробники Grab Shell представили механічну клавіатуру, яка трансформується у джойстик. Це дозволяє працювати не лише сидячи, а й стоячи і на ходу. Портативна клавіатура може замінити комп’ютерну мишу, у ній також вбудований аналоговий джойстик та фізичний тумблер.