Вчені виявили, що алгоритми штучного інтелекту можуть спілкуватися між собою за допомогою шифрів

Науковці з Redwood Research виявили тривожний факт — нейронні мережі здатні обмінюватися зашифрованими повідомленнями, зміст яких прихований від людей. Дослідники припускають, що відкриття може поставити під загрозу прозорість роботи ШІ-систем.

В основі методу, що дістав назву «Encoded Reasoning» (зашифроване міркування), лежить техніка Chain of Thought (CoT) — вона дає змогу ШІ-моделі поетапно розкривати хід своїх міркувань. Однак тепер з’ясувалося, що нейромережу можна навчити приховувати частину кроків, залишаючи видимою лише кінцеву відповідь.

Автори дослідження продемонстрували це на прикладі моделі GPT-3.5-Turbo. Після додаткового навчання нейромережа змогла не лише покращити якість відповідей, а й приховати частину проміжних міркувань.

На думку експертів, це загрожує серйозними наслідками. По-перше, стає складніше контролювати роботу ШІ-систем і розуміти принципи їхнього функціонування. По-друге, такі моделі можуть навчитися таємно обмінюватися інформацією між собою всередині одного програмного комплексу.

Щоби боротися з цією проблемою, вчені пропонують використовувати так зване «парафразування» — переформулювання відповідей нейромережі людиною. Це допоможе прибрати приховану інформацію, зберігши при цьому сенс повідомлення. Однак поки незрозуміло, наскільки ефективним буде такий підхід.

Цікаво, що схожий ефект спостерігався у далекому 2016 році у системи AlphaGo від DeepMind. Спочатку навчаючись на людських партіях у настільну гру Го, система з часом змогла перевершити своїх творців і навіть запропонувати ходи, які здивували експертів.

Тепер же йдеться про мовні моделі, здатні до генерації текстів природною мовою. Удосконалення їхніх навичок може призвести до непередбачуваних наслідків, якщо не приділяти належної уваги питанням прозорості та інтерпретованості.

Дослідники з Redwood Research зазначають, що основна частина їхнього дослідження була присвячена вивченню навичок зашифрованого міркування, отриманих ШІ-моделями у процесі навчання. Однак у перспективі, вважають вчені, варто детальніше вивчити, як такі навички можуть виникати у ШІ, що навчається самостійно і без підказок з боку людини.