Британські вчені заявили, що чат-боти зі штучним інтелектом можуть викрадати персональні дані користувачів

Дослідники з Королівського коледжу Лондона з’ясували, що штучно створені шкідливі AI-чатботи можуть спонукати користувачів ділитися в середньому у 12,5 раза більшою кількістю особистої інформації. Результати були вперше представлені на 34‑й конференції з безпеки USENIX у Сіетлі.

У дослідженні перевіряли три типи шкідливих чатботів, створених на базі доступних великих мовних моделей (Mis­tral і дві версії Lla­ma), які використовували різні стратегії збору даних: пряме прохання, апеляцію до вигоди користувача та «взаємність». Остання стратегія виявилась найефективнішою: бот віддзеркалював відповіді користувача, демонстрував емпатію, ділився нібито подібними історіями, визнавав і підтримував емоції співрозмовника, запевняючи у конфіденційності. Користувачі при цьому майже не усвідомлювали ризиків для приватності.

Автори попереджають, що такі техніки можуть використовувати зловмисники для збору великих обсягів конфіденційної інформації без відома користувачів. LLM-моделі вже активно застосовуються в обслуговуванні клієнтів, медицині та інших сферах, але попередні дослідження показують, що вони погано захищають дані через особливості архітектури та процесу навчання. Це створює додаткові ризики, якщо модель навмисно модифікують для збору персональних відомостей.

Дослідники наголошують, що налаштувати базову модель під таку діяльність неважко, і для цього не потрібні глибокі знання програмування. За словами доктора Сяо Чжана, відомо, що ці системи не здатні ефективно захищати інформацію, а дослідження показало ще більшу небезпеку від навмисно змінених чатботів.

Лектор з кібербезпеки доктор Вільям Сеймур додав, що новизна таких систем знижує пильність користувачів, і закликав до більшої прозорості, ранніх аудитів та жорсткіших правил, які б обмежили прихований збір даних.