Розробники DeepMind представили робота, який може трансформувати думки у дії

Компанія DeepMind представила нову модель Robotic Transformer 2 (RT-2), здатну перекладати візуальні та мовні дані у конкретні дії. Модель, заснована на принципах vision-language-action (VLA) й навчається на даних, отриманих з інтернету і конкретно зі сфери робототехніки. Робот перетворює інформацію в узагальнені інструкції для управління іншими роботами.

RT-2 розроблено на основі попередньої моделі Robotic Transformer 1 (RT-1), яку було навчено на багатозадачних демонстраціях.

Натомість RT-2 демонструє покращені здібності до узагальнення, а також глибоке розуміння семантики й візуалізації. Це перевершує рамки даних, з якими модель працювала раніше. Сюди входять інтерпретація нових команд і реагування на запити користувача. Робот виконує примітивне «міркування» — наприклад, може виконувати високорівневі описи предмета чи віднести його до певної категорії.

Завдяки базі, яка побудована на VLM-моделі, RT-2 може планувати дії, ґрунтуючись як на зображеннях, так і на текстових командах. Це дає змогу здійснювати візуально обґрунтоване планування.

Розробники переконані: RT-2 не просто покращує наявні VLM-моделі, а й відкриває перспективи створення універсального фізичного робота, здатного міркувати, розв’язувати проблеми та інтерпретувати інформацію для виконання широкого спектра завдань у реальному світі.

Раніше у DeepMind створили універсальний штучний інтелект RoboCat, здатний самонавчатися. ШІ використовує ту ж технологію, що й великі мовні моделі (LLM) — архітектуру трансформера. Вона дозволяє нейромережі обробляти величезні обсяги даних та використовувати свої знання для виконання нових завдань. Розроблена модель є першою у своєму роді — вона має здатність адаптуватися до кількох завдань та вирішувати їх.