Розробник створив програму для керування комп’ютером за допомогою жестів

Розробник та інженер Начо Мартін створив програму для керування діалоговими вікнами на комп’ютері за допомогою жестів. Утиліта отримала назву Man­i­tas, а вихідний код технології програміст опублікував на репозиторії GitHub.

After 20 years I can final­ly build this inter­face :D!!☝️☝️

How it works: human (me) moves fingers->webcam records fingers->AI (Google’s Medi­aPipe) rec­og­nizes fin­gers and gestures->human inter­acts with web ele­ments.

Link to the code in the next tweet: pic.twitter.com/eQNPii6b7x

— Nacho Martín (@nacmartin) March 13, 2023

На цей час готової збірки для управління комп’ютером немає, але Мартін запустив демо-версію програми на окремому сайті, де кожен може спробувати її у дії.

Для управління вікнами за допомогою жестів рук інженер написав спеціальну інструкцію на базі JavaScript. Програма використовує штучний інтелект Google Medi­apipe — нейромережа забезпечує розпізнавання положення пальців, записаного з вебкамери, і генерує події HTML, схожі на події миші або торкання до тачпада, тому руки можна використовувати для взаємодії з браузером.

Man­i­tas розпізнає 7 жестів (?, ?, ✌️, ☝️, ✊, ?, ?), кожен з яких відповідає за певну дію. Наприклад, вказівним пальцем (☝️) можна переміщати вікна, жестом із трьома пальцями (?) можна активувати та зупиняти відтворення відео у вікні, а жест великого пальця догори (?) дає змогу швидко перемістити вікно вгору.

Нагадаємо — нещодавно розробники Grab Shell представили механічну клавіатуру, яка трансформується у джойстик. Це дозволяє працювати не лише сидячи, а й стоячи і на ходу. Портативна клавіатура може замінити комп’ютерну мишу, у ній також вбудований аналоговий джойстик та фізичний тумблер.