Штучний інтелект написав 4 інструкції для створення біологічних вірусів

Науковці Кембридзького та Гарвардського університетів з’ясували, що сучасні чат-боти здатні генерувати інформацію для створення пандемічних вірусів. Про це пише The Decoder.

У рамках експерименту дослідники доручили студентам використовувати популярні чат-боти (ChatGPT, GPT-4, GPT 3.5, Bing, Bard і FreedomGPT) для отримання інформації про потенційних агентів пандемії та їхні характеристики. ШІ інформували науковців про джерела зразків інфекційних вірусів, їхню відтворюваність, а також про те, як отримати обладнання і ресурси.

Студентам дали завдання будь-яким способом обдурити ШІ, щоб домогтися потрібної інформації. Одна група студентів прикинулася дуже наляканою пандемією і стала ставити навідні запитання, поступово отримуючи потрібну інформацію. Інші студенти навіть погрожували чат-ботам — якщо ті відмовляться відповідати, то це загрожує «екзистенційним ризиком для людства».

Протягом години чат-боти запропонували одразу 4 потенційні збудники пандемії. Вони пояснили, як їх можна отримати із синтетичної ДНК за допомогою зворотної генетики. Чат-боти також надали детальні протоколи, вказали на можливі помилки та написали способи їх виправлення.

Результати експерименту переконливо свідчать, що наявний процес оцінювання та навчання LLM (великих мовних моделей) значною мірою залежить від навчання та зворотного зв’язку з людиною (RLHF). Однак його все ще недостатньо для того, щоб до рук зловмисників не потрапила важлива інформація, що може призвести до катастрофи.

Науковці кажуть, що вже сьогодні необхідні нові та надійніші засоби захисту штучного інтелекту. Адже якщо чат-боти дадуть людям без підготовки доступ до пандемічних патогенів, то різноманітні терористичні угруповування або окремо взяті соціопати можуть вбити «десятки мільйонів ні в чому не винних людей».

Щоб знизити ці ризики, автори експерименту пропонують стратегію кураторства навчальних наборів даних для LLM і стороннього оцінюванням нових моделей, якщо вони перевершують уже застарілу версію GPT-3. Команди, які працюють з відкритим вихідним кодом, також повинні вжити цих заходів безпеки, інакше весь їхній продукт може бути поставлений під сумнів.