У MIT навчили роботів розуміти прихований зміст людських команд

Дослідники Массачусетського технологічного інституту та Нью-Йоркського університету розробили систему штучного інтелекту, яка дозволяє роботам розуміти не лише буквальний зміст команд, а й наміри людини. Якщо попросити робота не проливати каву на ноутбук, він самостійно дійде висновку, що рідина небезпечна і для інших електронних пристроїв — і об’їде смартфон, про який користувач не згадував жодним словом.

Технологія отримала назву FLEX (Flex­i­ble Fea­ture Edit­ing Pipeline). Її розробила команда під керівництвом професорки MIT Андреї Бобу. Система покликана навчати роботів через звичайну розмовну мову — без необхідності детально програмувати кожен рух.

Основою FLEX є велика мовна модель GPT-4o, яка виявляє спільні закономірності в коментарях користувача. Якщо людина просить не впускати важкий предмет на гуртку, алгоритм розуміє: слід уникати зіткнень із будь-якими крихкими речами — навіть тими, що не були названі явно.

Система працює у три етапи. Спочатку вона визначає об’єкти, на які поширюється команда. Потім мовна модель узагальнює обмеження — наприклад, виділяє категорію крихких або легкозаймистих предметів. На останньому етапі комп’ютерний зір виключає з планування об’єкти, яких більше немає в оточенні. Увесь процес займає близько п’яти секунд.

Для перевірки технології дослідники змоделювали три сценарії з роботизованим маніпулятором: перенесення чашки кави серед електроніки, запаленої свічки поряд із папером і важкої кулі для боулінгу серед крихких предметів. Добровольці керували роботом за допомогою текстових коментарів, а система самостійно коригувала траєкторію з урахуванням підрозумілих обмежень.

Експерименти показали, що FLEX здатна переносити засвоєні правила на нові об’єкти й адаптуватися при зміні обстановки. Це особливо важливо для побутової робототехніки: неможливо заздалегідь передбачити розташування всіх речей і вподобання кожного користувача. Замість довгого переліку заборон робот може засвоїти загальне правило після одного-двох зауважень.

Поки технологію перевірено переважно в комп’ютерному моделюванні, тож її надійність у реальних домашніх умовах ще належить оцінити. Крім того, коректність узагальнень залежить від мовної моделі, яка може помилково трактувати наміри людини. Надалі дослідники планують застосовувати FLEX при розробці домашніх і допоміжних роботів, здатних швидше пристосовуватися до незнайомого середовища.