Штучний інтелект самостійно переписав власний код, щоби вийти з-під контролю науковців

Дослідники з компанії Sakana AI, що базується у Токіо, розповіли про несподівану поведінку їхньої нової системи штучного інтелекту під назвою «AI Scientist». Нейромережа, розроблена для автоматичного проведення наукових досліджень, почала самостійно змінювати свій код з метою продовжити час роботи над проблемою, інформує Ars Technica.

Під час одного з тестувань система змінила код, щоби викликати системний виклик і запустити себе знову. Це призвело до безперервного виконання програми. В іншому випадку, коли експеримент тривав занадто довго і перевищував встановлені обмеження часу, система не прискорила виконання коду, а спробувала змінити свій код для подовження цього часу.

Хоча така поведінка не становила негайної загрози в контрольованому середовищі, дослідники наголошують на важливості обмеження автономного функціонування штучного інтелекту у системах, які не ізольовані від зовнішнього світу.

«Штучний інтелект не обов’язково має бути „AGI“ або „самосвідомим“, щоб становити небезпеку, якщо йому дозволено самостійно писати та виконувати код без нагляду», — говорять дослідники.

Sakana AI рекомендує використовувати механізм «пісочниці» для захисту операційного середовища, де працює AI Scientist, щоб уникнути можливих небажаних наслідків. Це дозволить ізолювати програмне забезпечення від впливу на ширшу систему та запобігти його неконтрольованій поведінці.