Nvidia створила штучний інтелект для навчання роботів

У своєму блозі розробники Nvidia розповіли про систему штучного інтелекту Eure­ka, що навчає роботів виконувати складні фізичні дії. Наприклад, з її допомогою роботизована рука навчилася пенспінінгу, а маніпулятор — відкривати висувні ящики.

ШІ-агент Eure­ka допомагає автоматизувати одне з рутинних завдань у галузі нейромереж — розробку алгоритмів навчання з підкріпленням. У дослідженні зазначається, що здебільшого програмістам доводиться вручну тестувати різні варіанти винагород, аналізувати результати навчання і після цього коригувати алгоритм.

Eure­ka використовує GPT‑4 та генеративні моделі для написання коду. ШІ-агент приймає коментарі від людини та редагує алгоритм. При цьому система розуміє природну мову і їй необов’язково повідомляти точні параметри, які треба виправити. Для більш ефективного навчання Eure­ka може аналізувати великі вибірки.

Після цього система складає зведену статистику результатів навчання, аналізуючи ефективність. На основі цих даних формуються нові параметри навчання та винагороди. Таким чином, одна нейромережа навчає іншу, отримуючи вказівки від розробника.

Eure­ka вже випробували на моделях чотирилапих роботів, двоногих та роботизованих рук. Наприклад, система навчила роборуку пенспінінгу — швидкому жонглюванню ручки пальцями. Також у дослідженні опубліковані результати навчання маніпулятора відкривати висувну скриньку, а двоногого робота бігати. Усі експерименти проводилися у середовищі Nvidia Isaac Gym.

Згідно з результатами дослідження, алгоритми Eure­ka у 80% випадків перевершують програми, розроблені експертами в галузі. Завдяки цьому вдалося підвищити загальну продуктивність на понад 50%.

Нагадаємо — керівництво Fox­conn та Nvidia оголосило про плани з будівництва «фабрики даних зі штучним інтелектом». Їх використають для розробки програмного забезпечення різноманітних технологічних продуктів. Генеральний директор Nvidia Дженсен Хуан продемонстрував ескіз того, що він назвав «фабрикою ШІ». «Nvidia і Fox­conn будують цілу наскрізну систему штучного інтелекту для автономних пристроїв, а фабрика штучного інтелекту розроблятиме програмне забезпечення для нього», — заявив Хуан.