Суперкомп’ютер розробив унікальний штучний інтелект з трильйоном параметрів

Суперкомп’ютер Frontier, один з найпотужніших у світі, створив штучний інтелект з трильйоном параметрів. Для цього було використано лише 3072 з 37 888 графічних процесорів.

Дослідники з Національної лабораторії Ок-Рідж (США) навчили велику мовну модель, подібну до ChatGPT, за допомогою Frontier. Цей суперкомп’ютер оснащений 9 472 процесорами Epyc 7A53 та 37 888 графічними процесорами Radeon Instinct. Однак, для створення великої мовної моделі використовувалися лише 3072 графічних процесори.

Для навчання такого великого ШІ потрібен величезний обсяг пам’яті — мінімум 14 Тб. Тому дослідники використовували кілька графічних процесорів MI250X з 64 Гб відеопам'яті кожен. Однак, це створило нову проблему — паралелізму. Використання більшої кількості графічних процесорів у великій мовній моделі вимагає кращої взаємодії для ефективного використання більшої кількості ресурсів.

Учені розв’язали цю проблему, використовуючи платформи, такі як Megatron-DeepSpeed і FSDP. Результати виявилися вражаючими: при збільшенні розміру робочого навантаження більше графічних процесорів використовувалися максимально ефективно.

Нагадаємо — роботи над створенням суперкомп’ютера JUPITER завершаться наступного року. Деякі експерти вважають, що він може стати найпотужнішим суперкомп’ютером у світі. За допомогою JUPITER вчені зможуть створювати складні ШІ-моделі для своїх розробок і експериментів. Наразі такі можливості є у США та Китаї, а незабаром з’являться і в Європі.