Студент зі Стенфорда вмонтував ChatGPT у розумні окуляри

Студент факультету інформатики та електротехніки Стенфорда Брайан Хау-Пінг Чанг зміг вбудувати чат-бота ChatGPT на базі GPT-4 в розумні окуляри завдяки апаратному забезпеченню Monocle AR з відкритим вихідним кодом і автоматичному розпізнаванню мови (ASR) Whisper від OpenAI. Він керує пристроєм через смартфон.

Чанг назвав свою технологію rizzGPT («Rizz» на сленгу означає «харизма»). Студент також використовував підключені сервіси для транскрипції мови та оптичного розпізнавання символів.

Чанг протестував окуляри при проходженні співбесіди, при випадковій зустрічі з другом і при виборі страв у новому ресторані.

У посібнику з rizzGPT, опублікованому в Twitter, Чанг описує систему як початок «нової ери фонових обчислень з підтримкою AR + AI, де у кожного є свій особистий помічник, доступний 24/7». Студент пожартував, що він пропонує людям «харизму як послугу в реальному часі (CaaS)».

Чанг продемонстрував роботу rizzGPT. На відео він відповідає на низку запитань під час уявного робочого інтерв'ю, використовуючи дискретний гаджет Monocle AR, прикріплений до оправи окулярів. Вбудований дисплей посилає студенту автопідказку прямо з ChatGPT.

say goodbye to awkward dates and job interviews ☹️

we made rizzGPT -- real-time Charisma as a Service (CaaS)

it listens to your conversation and tells you exactly what to say next 😱

built using GPT-4, Whisper and the Monocle AR glasses

with @C51Alix @varunshenoy_ pic.twitter.com/HycQGGXT6N

— Bryan Hau-Ping Chiang (@bryanhpchiang) March 26, 2023

Коли Чанг зустрічає подругу, rizzGPT розпізнає його особистість.

meet lifeOS: an operating system for your entire life 🌐

a personal AI agent delivered directly through AR smart glasses 👓

it uses computer vision to 👁️recognize👁️ your friends' face

then brings up relevant details to talk about based on your texts with them (memory🤯) pic.twitter.com/BgCuODV4k2

— Bryan Hau-Ping Chiang (@bryanhpchiang) April 10, 2023

Власник такого монокля може викликати діалоги на основі повідомлень зі смартфона, якими він обмінювався раніше з конкретною людиною. Це може допомогти під час зустрічей, щоб поставити потрібні запитання або згадати забуті подробиці.

Також Monocle AR може давати рекомендації щодо меню в ресторані. Система вивчає меню, а потім дає поради, які ґрунтуються на тому, що вона знає про смакові вподобання власника і про харчову цінність продуктів.

Студент виклав код свого проекту на GitHub.