Розробники представили технологію, що дозволить кожному користувачеві володіти власним штучним інтелектом

Розробники Nvidia анонсували програму Chat with RTX, що відкриває нові можливості для роботи з мовними моделями локально. Тепер користувачі, які мають певне технічне оснащення, можуть взаємодіяти зі штучним інтелектом на комп’ютерах.

Програма Chat with RTX, сумісна з Windows 11, дозволяє запускати великі мовні моделі на пристрої користувача. Для його використання потрібна наявність відеокарти RTX 30 або 40 серії та мінімум 16 ГБ оперативної пам’яті.

Chat with RTX дає можливість працювати з відомими мовними моделями, такими як Llama та Mistral, як показано у відео від Nvidia. Користувачі можуть також інтегрувати власні документи або нотатки у процес, щоб програма враховувала ці дані для формування відповідей.

Особливістю програми є функція аналізу змісту YouTube-відео: користувачі можуть надати посилання на відео та ставити питання про його зміст. У разі роботи з локальними файлами програма вкаже джерело даних, використане для генерації відповіді, що забезпечує додаткову перевірку отриманої інформації.

Nvidia наголошує, що вся обробка даних відбувається на пристрої користувача і не передається на зовнішні сервери. Для роботи програми необхідна не лише відповідна відеокарта та оперативна пам’ять, а й 8 ГБ відеопам'яті.