Студент зі Стенфорда вмонтував ChatGPT у розумні окуляри

Студент факультету інформатики та електротехніки Стенфорда Брайан Хау-Пінг Чанг зміг вбудувати чат-бота Chat­G­PT на базі GPT‑4 в розумні окуляри завдяки апаратному забезпеченню Mon­o­cle AR з відкритим вихідним кодом і автоматичному розпізнаванню мови (ASR) Whis­per від Ope­nAI. Він керує пристроєм через смартфон.

Чанг назвав свою технологію riz­zG­PT (“Rizz” на сленгу означає “харизма”). Студент також використовував підключені сервіси для транскрипції мови та оптичного розпізнавання символів.

Чанг протестував окуляри при проходженні співбесіди, при випадковій зустрічі з другом і при виборі страв у новому ресторані.

У посібнику з riz­zG­PT, опублікованому в Twit­ter, Чанг описує систему як початок “нової ери фонових обчислень з підтримкою AR + AI, де у кожного є свій особистий помічник, доступний 24/7”. Студент пожартував, що він пропонує людям “харизму як послугу в реальному часі (CaaS)”.

Чанг продемонстрував роботу riz­zG­PT. На відео він відповідає на низку запитань під час уявного робочого інтерв’ю, використовуючи дискретний гаджет Mon­o­cle AR, прикріплений до оправи окулярів. Вбудований дисплей посилає студенту автопідказку прямо з Chat­G­PT.

say good­bye to awk­ward dates and job inter­views ☹️

we made riz­zG­PT — real-time Charis­ma as a Ser­vice (CaaS)

it lis­tens to your con­ver­sa­tion and tells you exact­ly what to say next ?

built using GPT‑4, Whis­per and the Mon­o­cle AR glass­es

with @C51Alix @varunshenoy_ pic.twitter.com/HycQGGXT6N

— Bryan Hau-Ping Chi­ang (@bryanhpchiang) March 26, 2023

Коли Чанг зустрічає подругу, riz­zG­PT розпізнає його особистість.

meet lifeOS: an oper­at­ing sys­tem for your entire life ?

a per­son­al AI agent deliv­ered direct­ly through AR smart glass­es ?

it uses com­put­er vision to ?️rec­og­nize?️ your friends’ face

then brings up rel­e­vant details to talk about based on your texts with them (mem­o­ry?) pic.twitter.com/BgCuODV4k2

— Bryan Hau-Ping Chi­ang (@bryanhpchiang) April 10, 2023

Власник такого монокля може викликати діалоги на основі повідомлень зі смартфона, якими він обмінювався раніше з конкретною людиною. Це може допомогти під час зустрічей, щоб поставити потрібні запитання або згадати забуті подробиці.

Також Mon­o­cle AR може давати рекомендації щодо меню в ресторані. Система вивчає меню, а потім дає поради, які ґрунтуються на тому, що вона знає про смакові вподобання власника і про харчову цінність продуктів.

Студент виклав код свого проекту на GitHub.