Google запустить найпотужніший штучний інтелект у світі, що перевершить усі популярні LLM-моделі

Всього через два місяці після запуску мовної моделі Gemini 1.0 Pro від Google, яка прийшла на зміну Bard, і за тиждень після запуску просунутої Gemini 1.0 Ultra, компанія анонсувала Gemini 1.5 Pro, нову версію фірмової LLM-моделі, яка покликана ще більше зміцнити позиції технологічного гіганта на ринку ШІ.

Gemini 1.5 Pro являє собою поетапну зміну в підході компанії, що ґрунтується на дослідженнях та інженерних інноваціях практично у всіх сферах розроблення моделі та супутньої інфраструктури. За продуктивністю Gemini 1.5 Pro приблизно можна порівняти з поточним флагманом Gemini 1.0 Ultra, проте інших нововведень у ШІ-моделі досить, щоб виділити її окремо.

Основним нововведенням є технологія «Mixture of Experts» (MoE), що дає змогу обробляти запити більш ефективно й економічно. Одна велика нейромережа тепер буде розділена на безліч дрібних «експертних» нейромереж, які зможуть давати точніші відповіді та розвиватися незалежно одна від одної. Своєю чергою це спростить процес їхнього подальшого навчання.

Проте найбільший інтерес викликає значне розширення контекстного вікна нової моделі до 1 мільйона токенів, що в рази перевищує можливості конкурентів. GPT-4 Turbo, наприклад, може похвалитися лише 128 тисячами токенів, а Claude 2.1 — 200 тисячами.

Настільки широке контекстне вікно дає змогу обробляти запити зі значно більшим обсягом інформації, краще розуміти контекст, аналізувати й узагальнювати дані. Усе це відкриває нові горизонти для використання ШІ в бізнесі та розвагах, даючи змогу працювати з величезними масивами інформації, включно з довгими відеофайлами або складними фінансовими звітами.

Проте, контекстне вікно в мільйон токенів перший час буде доступне лише деяким розробникам і корпоративним клієнтам, а всім іншим користувачам доведеться задовольнятися 128 000 токенів. Але і це лише тимчасове обмеження.

Компанія також заявила, що вже тестує контекстне вікно в 10 мільйонів токенів. Можливо, це вже певний доробок під Gemini 1.5 Ultra. Однак позиція Google зрозуміла — компанія вочевидь хоче створити найпотужнішу й найефективнішу ШІ-модель на ринку.