Кіберфахівці знайшли 100 різновидів штучного інтелекту, які атакують гаджети користувачів

Експерти компанії JFrog виявили щонайменше 100 шкідливих ШІ-моделей на популярній відкритій платформі Hugging Face.

Hugging Face дає змогу дослідникам у сфері ШІ та машинного навчання публікувати свої розробки та обмінюватися ними зі спільнотою. У сервісі доступні десятки тисяч моделей для обробки природної мови, комп’ютерного зору та інших завдань.

Виявляється, деякі з представлених алгоритмів містять шкідливий код. Зокрема, було знайдено моделі з можливістю встановлення «бекдорів» — прихованих каналів віддаленого доступу, що дають змогу зловмисникам отримати контроль над комп’ютером жертви.

Однією з найнебезпечніших загроз стала нещодавно завантажена модель PyTorch від користувача «baller423», яку згодом було видалено. Вона інтегрувала в себе шкідливе навантаження, здатне встановлювати зворотне з'єднання із заданим віддаленим хостом (210.117.212.93).

Для маскування шкідливого коду зловмисники використовували метод «__reduce__» модуля pickle мови Python. Він давав змогу виконати довільні команди під час завантаження файлу PyTorch, сховавши їх усередині процесу серіалізації. Таким чином, системи виявлення не розпізнавали цей прийом.

Аналогічні закладки було виявлено в моделях, пов’язаних із безліччю інших IP-адрес.

«Хотілося б підкреслити, що під „шкідливими моделями“ ми маємо на увазі саме ті, які несуть у собі реальні небезпечні навантаження», — наголошується у звіті JFrog. — «У це число не включені помилкові спрацьовування системи, тому ми маємо повне уявлення про кількість шкідливих моделей для PyTorch і Tensorflow на платформі Hugging Face».

На думку JFrog, частина подібних алгоритмів могла бути завантажена дослідниками в рамках тестування системи безпеки Hugging Face. Фахівці нерідко отримують винагороду за виявлені вразливості. Однак навіть у цьому разі публікація небезпечних моделей є вкрай ризикованою і неприйнятною, оскільки вони стають доступними для звантаження всім користувачам.

Для пошуку шкідливих програм експерти JFrog розробили спеціальну систему сканування з урахуванням специфіки ШІ. Ця система дала змогу вперше виявити приховані закладки в коді, попри те, що на Hugging Face вже використовуються заходи безпеки.

Висновки аналітиків демонструють потенційні ризики використання ШІ-моделей з неперевірених джерел. Експерти закликають розробників проявляти підвищену пильність і впроваджувати додаткові заходи безпеки для захисту екосистеми ШІ від кібератак.