Науковці дослідили, що для вдосконалення найпопулярнішого штучного інтелекту не вистачить даних всього світового інтернету

Вчені та керівники компаній-розробників ШІ стурбовані, що у найближчі два роки може не вистачити якісних текстів для подальшого навчання великих мовних моделей (LLM). Це, на думку дослідників, сповільнить розвиток галузі. Компанія OpenAI, що розробляє ChatGPT, вже розглядає можливість навчання GPT-5 на транскрипціях публічних роликів на YouTube.

За словами Пабло Вільялобоса, який вивчає штучний інтелект у Дослідницькому інституті Epoch, GPT-4 навчали на 12 трильйонах токенів даних. А згідно із законами масштабування Шиншили, ШІ на кшталт GPT-5 знадобиться 60−100 трильйонів токенів. Якщо зібрати всі високоякісні текстові та графічні дані в інтернеті, для навчання GPT-5 не вистачить від 10 до 20 трильйонів токенів, а може й більше — і наразі незрозуміло, де їх узяти.

Два роки тому Вільялобос та інші дослідники вже попереджали, що до середини 2024 року з 50%-ю ймовірністю ШІ вже не вистачатиме даних для навчання, до 2026 — з імовірністю 90%. За словами вчених, більшість даних в інтернеті непридатна для навчання нейромереж, оскільки містить незв’язний текст або не додає нової інформації до вже наявної.

На цей час дослідники з OpenAI експериментують з так званими «високоякісними синтетичними даними». У нещодавньому інтерв'ю головний науковий співробітник Anthropic Джаред Каплан розпові, що подібні «згенеровані всередині компанії дані» можуть бути корисні й використовувалися в останніх версіях Claude.

Нагадаємо — на початку березня Ілон Маск заявив, що штучний інтелект спричинить дефіцит електроенергії вже у 2025 році. «Я ніколи не бачив, щоб якась технологія розвивалася швидше, ніж ця. Дефіцит чипів, можливо, вже позаду, але штучний інтелект та електромобілі розвиваються такими хижацькими темпами, що наступного року світ зіткнеться з перебоями у постачанні електроенергії та трансформаторів», — наголосив мільярдер.