Підписуйтеся на наш телеграм канал!
Розробники DeepMind представили робота, який може трансформувати думки у дії
Компанія DeepMind представила нову модель Robotic Transformer 2 (RT‑2), здатну перекладати візуальні та мовні дані у конкретні дії. Модель, заснована на принципах vision-language-action (VLA) й навчається на даних, отриманих з інтернету і конкретно зі сфери робототехніки. Робот перетворює інформацію в узагальнені інструкції для управління іншими роботами.
RT‑2 розроблено на основі попередньої моделі Robotic Transformer 1 (RT‑1), яку було навчено на багатозадачних демонстраціях.
Натомість RT‑2 демонструє покращені здібності до узагальнення, а також глибоке розуміння семантики й візуалізації. Це перевершує рамки даних, з якими модель працювала раніше. Сюди входять інтерпретація нових команд і реагування на запити користувача. Робот виконує примітивне “міркування” — наприклад, може виконувати високорівневі описи предмета чи віднести його до певної категорії.
Завдяки базі, яка побудована на VLM-моделі, RT‑2 може планувати дії, ґрунтуючись як на зображеннях, так і на текстових командах. Це дає змогу здійснювати візуально обґрунтоване планування.
Розробники переконані: RT‑2 не просто покращує наявні VLM-моделі, а й відкриває перспективи створення універсального фізичного робота, здатного міркувати, розв’язувати проблеми та інтерпретувати інформацію для виконання широкого спектра завдань у реальному світі.
Раніше у DeepMind створили універсальний штучний інтелект RoboCat, здатний самонавчатися. ШІ використовує ту ж технологію, що й великі мовні моделі (LLM) — архітектуру трансформера. Вона дозволяє нейромережі обробляти величезні обсяги даних та використовувати свої знання для виконання нових завдань. Розроблена модель є першою у своєму роді — вона має здатність адаптуватися до кількох завдань та вирішувати їх.