Технологічні гіганти у майбутьому можуть відмовитися від розвику найпопулярніших моделей штучного інтелекту

Технологічні гіганти та стартапи переходять на компактніші та ефективніші моделі штучного інтелекту, щоби знизити витрати та підвищити продуктивність. Нові нейромережі, на відміну від великих мовних моделей, таких як GPT-4, можуть навчатися на меншому обсязі даних і спеціалізуються на вирішенні конкретних завдань.

Microsoft, Google, Apple та стартапи Mistral, Anthropic і Cohere, все частіше звертаються до малих і середніх мовних моделей ШІ. Великі моделі, такі як GPT-4 від OpenAI, використовують понад один трильйон параметрів і коштують понад 100 мільйонів доларів, тоді як компактні моделі можуть навчатися на вузьких наборах даних і коштують менше ніж 10 мільйонів доларів, використовуючи менш ніж 10 мільярдів параметрів.

Microsoft представила сімейство невеликих моделей під назвою Phi, які у 100 разів менші за безплатну версію ChatGPT, але справляються з багатьма завданнями майже так само ефективно. Google, Apple, Mistral, Anthropic і Cohere також випустили свої версії малих і середніх моделей. Apple планує використовувати такі моделі локально на смартфонах, що підвищить швидкість роботи та безпеку.

Експерти зазначають, що для багатьох завдань, таких як узагальнення документів або створення зображень, великі моделі можуть бути зайвими.

Ключова перевага малих моделей — можливість їхнього налаштування під конкретні завдання і набори даних. Це дозволяє ефективно працювати в спеціалізованих галузях з меншими витратами. А проте, техногіганти не відмовляються від великих мовних моделей повністю. Apple інтегрує ChatGPT у Siri, а Microsoft використовуватиме останню модель OpenAI у новій версії Windows.

Перехід до малих моделей відбувається на фоні уповільнення прогресу у великих публічно доступних моделях ШІ через нестачу високоякісних нових даних для навчання. Це вказує на новий важливий етап еволюції індустрії.