Штучний інтелект самостійно переписав власний код, щоби вийти з‑під контролю науковців

Дослідники з компанії Sakana AI, що базується у Токіо, розповіли про несподівану поведінку їхньої нової системи штучного інтелекту під назвою “AI Sci­en­tist”. Нейромережа, розроблена для автоматичного проведення наукових досліджень, почала самостійно змінювати свій код з метою продовжити час роботи над проблемою, інформує Ars Tech­ni­ca.

Під час одного з тестувань система змінила код, щоби викликати системний виклик і запустити себе знову. Це призвело до безперервного виконання програми. В іншому випадку, коли експеримент тривав занадто довго і перевищував встановлені обмеження часу, система не прискорила виконання коду, а спробувала змінити свій код для подовження цього часу.

Хоча така поведінка не становила негайної загрози в контрольованому середовищі, дослідники наголошують на важливості обмеження автономного функціонування штучного інтелекту у системах, які не ізольовані від зовнішнього світу.

“Штучний інтелект не обов’язково має бути “AGI” або “самосвідомим”, щоб становити небезпеку, якщо йому дозволено самостійно писати та виконувати код без нагляду”, — говорять дослідники.

Sakana AI рекомендує використовувати механізм “пісочниці” для захисту операційного середовища, де працює AI Sci­en­tist, щоб уникнути можливих небажаних наслідків. Це дозволить ізолювати програмне забезпечення від впливу на ширшу систему та запобігти його неконтрольованій поведінці.