Розробники штучного інтелекту змусили нейромережі боротися між собою у комп’ютерній грі

Минулого тижня на хакатоні Mistral AI Hackathon у Сан-Франциско невелика команда ентузіастів штучного інтелекту шукала відповідь про здібності великих мовних моделей. Розробники прагнули дізнатися, яка LLM найкраще бореться з суперниками.

Змагання LLM у комп’ютерній грі, на думку фахівців, могло б це пояснити. Як відбувається боротьба ШІ у грі Street Fighter? Спершу нейромережа отримує текстовий опис екрана, а потім обчислює, який хід зробить гравець, виходячи з попередніх ходів опонента та індикаторів здоров’я персонажів. Далі залишається дозволити двом LLM поборотися один з одним.

Перші тестові запуски містили випробування різних версій LLM у битвах, але потім група підвищила ставки, залучивши OpenAI та його моделі GPT-3.5 і GPT-4.

У протистоянні виграла нейромережа від OpenAI GPT-3.5, остання версія Turbo. Срібло і бронзу розділили з мінімальним відривом Mistral-small-2042 та GPT-4.

Нагадаємо — вчені та керівники компаній-розробників ШІ стурбовані, що у найближчі два роки може не вистачити якісних текстів для подальшого навчання великих мовних моделей (LLM). Це, на думку дослідників, сповільнить розвиток галузі. Компанія OpenAI, що розробляє ChatGPT, вже розглядає можливість навчання GPT-5 на транскрипціях публічних роликів на YouTube.