Вченим вдалося суттєво прискорити розвиток штучного інтелекту

Дослідники з ETH Zurich розробили нову технологію, яка може значно підвищити продуктивність нейронних мереж, зокрема, великих мовних моделей (LLM).

Вчені продемонстрували, що зміна процесу виведення може радикально скоротити обчислювальні вимоги. Експерименти з моделлю BERT проілюстрували скорочення обчислень на більш ніж 99%. Дослідники переконані: підхід можна застосовувати до інших мовних моделей, як-от GPT-3, і забезпечити швидше й ефективне опрацювання запитів.

Щоб перевірити методику, вчені розробили FastBERT — модифікацію моделі трансформера BERT від Google. Для оцінки продуктивності ШІ дослідники налаштували різні варіанти розв’язання кількох завдань із тесту General Language Companing Evaluation (GLUE — комплексна колекція наборів даних, призначена для навчання, оцінки та аналізу систем розуміння природної мови — ред.).

Результат вразив фахівців: FastBERT показував продуктивність, яку можна порівняти з базовими моделями BERT такого самого розміру і тією ж методикою навчання. Варіанти FastBERT, навчені лише за один день на одному графічному процесорі A6000, зберігали не менше 96% продуктивності оригінальної моделі BERT.

Дослідники припускають, що використання швидких мереж прямого поширення в LLM має величезний потенціал для підвищення швидкості роботи ШІ.

Раніше ми розповідали про декілька інших технологічних досягнень ETH Zurich. Так вчені зі Швейцарської вищої технічної школи Цюриха заявили про відкриття, що дасть змогу гаджетам керувати активністю генів людини. Також дослідники хотіли оснастити космічні супутники лазерним зв’язком для передачі даних на Землю і зрештою їм це вдалося.