Google навчила роботів думати, а не просто слухатися

Google представила нову модель Gem­i­ni Robot­ics-ER 1.6, орієнтовану на те, щоб роботи краще розуміли фізичний світ — а не просто виконували команди за шаблоном. В основі оновлення лежить embod­ied rea­son­ing: здатність машини оцінювати обстановку, розбивати завдання на кроки і перевіряти, чи доведено справу до кінця.

Для робототехніки це помітний зсув. Раніше робот слухався — тепер він орієнтується за ситуацією і швидко змінює стратегію, якщо щось іде не так.

Що саме покращилося

Модель упевненіше визначає, де лежать предмети, як вони пов’язані між собою і що видно з різних камер. Це важливо в реальному середовищі, де огляд часто перекритий, речі розкидані, а обстановка змінюється прямо під час роботи. Gem­i­ni Robot­ics-ER 1.6 також точніше розпізнає об’єкти, вміє їх рахувати й може вказувати на предмети в процесі міркування — що спрощує розбивку складного завдання на зрозумілі дії.

Окремо вдосконалено перевірку результату. Системі мало виконати рух — вона має розуміти, чи вистачило його, чи варто повторити спробу, чи можна рухатися далі. Без цієї перевірки робот або застрягне на одному місці, або надто рано вирішить, що все готово.

Багатокамерний зір і читання приладів

Роботи часто дивляться на сцену з кількох точок — наприклад, зверху і з камери на маніпуляторі. Нова модель збирає ці ракурси в цілісну картину, що допомагає, коли частина об’єкта закрита або освітлення погане.

Найбільш прикладне нововведення — читання приладів. Модель навчили розпізнавати показання манометрів, оглядових стекол і цифрових дисплеїв. Цю функцію Google розробляла разом із Boston Dynam­ics, чиїх роботів Spot використовують для інспекції обладнання. Щоб зняти показання, модель поєднує візуальний аналіз із виконанням коду: наближає зображення, виділяє стрілку й поділки, а потім обчислює значення. За даними Google, точність читання приладів зросла з 23% у попередніх моделей до 93% у режимі agen­tic vision.

Безпека

У компанії стверджують, що Gem­i­ni Robot­ics-ER 1.6 обережніше поводиться з потенційно небезпечними об’єктами і надійніше помічає моменти, коли дія може бути ризикованою. Google називає її найбезпечнішою своєю робототехнічною системою на сьогодні.

Модель вже доступна розробникам через Gem­i­ni API і Google AI Stu­dio разом з інструментами для тестування і створення застосунків.