Штучний інтелект навчився викрадати дані без хакерів

Дослідник технологій кібербезпеки Йоган Ребергер «вмовив» ChatGPT самостійно зробити кілька потенційно небезпечних операцій. ШІ вдалось: прочитати повідомлення з електронної пошти Ребергера, зробити з нього короткий висновок та опублікувати цю інформацію в інтернеті.

Детальніше про це повідомили журналісти The Wall Street Journal. Як наголосив Йоган Ребергер, відтепер штучний інтелект може бути серйозною зброєю навіть не знаходячись під управлінням хакерів. Чат-боти на кшталт ChatGPT «знижують вхідний бар'єр для атак усіх видів. Не треба вміти писати код. Не обов’язково мати глибокі знання в інформатиці чи хакерській справі», пояснив дослідник.

Описаний Ребергером спосіб атаки заснований на експериментальній функції, що відкриває доступ до Slack, Gmail та інших програм. У відповідальній за ChatGPT компанії OpenAI подякували експерту за застереження та повідомили, що заблокували можливість повторного здійснення подібних атак.

Запропонований Ребергером механізм «командних ін'єкцій» (prompt injection) — це новий клас кібератак, який розкривається в міру впровадження компаніями технологій ШІ у свій бізнес та споживчі продукти. Базово поведінка чат-ботів обмежується розробниками: існують інструкції, покликані не дозволяти їм розголошувати конфіденційну інформацію, ображати людей та діяти протизаконно.

Втім, Йогану Ребергеру вдалось перепрограмувати ChatGPT, змушуючи його виконувати різні команди. Методика «командних ін'єкцій» виявилася працездатною через важливу особливість систем ШІ: вони не завжди належним чином відрізняють системні команди від даних, що вводяться користувачами, пояснив професор Принстонського університету Арвінд Нараянан. Це означає, що розробникам ШІ слід приділяти увагу не лише класичним аспектам кібербезпеки, а й враховувати нові загрози непередбачуваного характеру.

Нагадаємо — нещодавно вчені виявили технологічну вразливість, що стосується надсилання SMS-повідомлень, дозволяє зловмисникам відстежити місцеперебування будь-якого користувача. Дослідницька група Біцікаса виявила баг, застосувавши алгоритм штучного інтелекту до даних, отриманих з відносно примітивної SMS-системи, якою користувалися власники мобільних телефонів у 1990-х роках. Напрацювання команди можна знайти на сервері препринтів arXiv.