Підписуйтеся на наш телеграм канал!

Найвідоміший штучний інтелект навчили обробляти мільйон слів лише за один запит

4:59 pm, 19 Жовтня, 2023

Аспірант Каліфорнійського університету в Берклі та позаштатний дослідник Google DeepMind Хао Лю запропонував спосіб збільшити кількість слів, які може обробляти ChatGPT за один запит, до мільйонів. На цей час модель OpenAI GPT-3.5 підтримує контекстне вікно з обмеженням до 16 000 слів, а її наступниця GPT-4 — до 32 000.

Лю розповідає: новий підхід формує своєрідний ланцюг графічних процесорів, які передають частини інформації наступному графічному процесору, одночасно отримуючи подібні блоки від іншого сусіднього графічного процесора і так далі. «Це фактично усуває обмеження пам’яті, накладені окремими пристроями», — зазначає науковець.

Лю припускає, що у майбутньому чимало книжок і навіть фільмів можна буде додати в контекстні вікна за раз, а моделі штучного інтелекту аналізуватимуть їх і створюватимуть узгоджені відповіді: «Чим більше у вас графічних процесорів, тим довшим може бути контекстне вікно. Цікаво, що зможуть побудувати з цього великі технологічні компанії».

Аспірант Каліфорнійського університету розрахував, що модель із 13 мільярдами параметрів і контекстним вікном у 16 000 знаків (токенів), що використовує 256 графічних процесорів Nvidia A100, зможе за нового «кільцевого підходу» обробляти контекстне вікно з 4 мільйонами токенів.

Висновки наштовхують важливе питання: якщо ви зможете зробити більше з меншою кількістю графічних процесорів, чи означає це зниження попиту на ШІ-мікросхеми від Nvidia? Лю переконує, що ні. Натомість розробники та технологічні компанії пробуватимуть вводити інновації без побоювань.

Підписуйтеся на наш телеграм канал!

BTC

$65,587.03

1.73%

ETH

$3,451.58

-0.11%

BNB

$580.42

1.20%

XRP

$0.56

-1.87%

SOL

$167.81

4.79%

Всі курси
Підписуйтеся на наш
телеграм канал!
Свіжі новини та огляди
ринків криптовалют останньої
доби прямо у вашому мессенджері. Чекаємо на вас!
ПЕРЕЙТИ
Показати більше