Найвідоміший штучний інтелект навчили обробляти мільйон слів лише за один запит

Аспірант Каліфорнійського університету в Берклі та позаштатний дослідник Google Deep­Mind Хао Лю запропонував спосіб збільшити кількість слів, які може обробляти Chat­G­PT за один запит, до мільйонів. На цей час модель Ope­nAI GPT‑3.5 підтримує контекстне вікно з обмеженням до 16 000 слів, а її наступниця GPT‑4 — до 32 000.

Лю розповідає: новий підхід формує своєрідний ланцюг графічних процесорів, які передають частини інформації наступному графічному процесору, одночасно отримуючи подібні блоки від іншого сусіднього графічного процесора і так далі. “Це фактично усуває обмеження пам’яті, накладені окремими пристроями”, — зазначає науковець.

Лю припускає, що у майбутньому чимало книжок і навіть фільмів можна буде додати в контекстні вікна за раз, а моделі штучного інтелекту аналізуватимуть їх і створюватимуть узгоджені відповіді: “Чим більше у вас графічних процесорів, тим довшим може бути контекстне вікно. Цікаво, що зможуть побудувати з цього великі технологічні компанії”.

Аспірант Каліфорнійського університету розрахував, що модель із 13 мільярдами параметрів і контекстним вікном у 16 000 знаків (токенів), що використовує 256 графічних процесорів Nvidia A100, зможе за нового “кільцевого підходу” обробляти контекстне вікно з 4 мільйонами токенів.

Висновки наштовхують важливе питання: якщо ви зможете зробити більше з меншою кількістю графічних процесорів, чи означає це зниження попиту на ШІ-мікросхеми від Nvidia? Лю переконує, що ні. Натомість розробники та технологічні компанії пробуватимуть вводити інновації без побоювань.