Найвідоміший штучний інтелект навчили обробляти мільйон слів лише за один запит

Аспірант Каліфорнійського університету в Берклі та позаштатний дослідник Google DeepMind Хао Лю запропонував спосіб збільшити кількість слів, які може обробляти ChatGPT за один запит, до мільйонів. На цей час модель OpenAI GPT-3.5 підтримує контекстне вікно з обмеженням до 16 000 слів, а її наступниця GPT-4 — до 32 000.

Лю розповідає: новий підхід формує своєрідний ланцюг графічних процесорів, які передають частини інформації наступному графічному процесору, одночасно отримуючи подібні блоки від іншого сусіднього графічного процесора і так далі. «Це фактично усуває обмеження пам’яті, накладені окремими пристроями», — зазначає науковець.

Лю припускає, що у майбутньому чимало книжок і навіть фільмів можна буде додати в контекстні вікна за раз, а моделі штучного інтелекту аналізуватимуть їх і створюватимуть узгоджені відповіді: «Чим більше у вас графічних процесорів, тим довшим може бути контекстне вікно. Цікаво, що зможуть побудувати з цього великі технологічні компанії».

Аспірант Каліфорнійського університету розрахував, що модель із 13 мільярдами параметрів і контекстним вікном у 16 000 знаків (токенів), що використовує 256 графічних процесорів Nvidia A100, зможе за нового «кільцевого підходу» обробляти контекстне вікно з 4 мільйонами токенів.

Висновки наштовхують важливе питання: якщо ви зможете зробити більше з меншою кількістю графічних процесорів, чи означає це зниження попиту на ШІ-мікросхеми від Nvidia? Лю переконує, що ні. Натомість розробники та технологічні компанії пробуватимуть вводити інновації без побоювань.