Розробники ChatGPT бояться катастрофічної загибелі людства через штучний інтелект

Відповідальна за сервіс Chat­G­PT компанія Ope­nAI повідомила, що сформувала підрозділ з оцінки та дослідження моделей штучного інтелекту щодо захисту від катастрофічних ризиків ШІ.

Команду під назвою Pre­pared­ness очолив директор Центру машинного навчання при Массачусетському технологічному інституті Олександр Мадрі. За даними LinkedIn, він зайняв цю посаду в компанії ще в травні. До завдань підрозділу входить відстеження, прогнозування та захист від небезпек, які несуть перспективні системи ШІ — від їхнього дару переконання до генерації шкідливих кодів. До критично небезпечних загроз віднесли хімічні, біологічні, радіаційні та ядерні.

Гендиректор Ope­nAI Сем Альтман неодноразово висловлював побоювання, що ШІ здатний «призвести до вимирання людства» і формування в компанії відповідного підрозділу відображає цю позицію. Компанія відкрита і для вивчення «менш очевидних» сфер ризику ШІ, додав Альтман. Зв’язатися з компанією для обговорення своїх побоювань щодо ШІ може будь-хто — автори десяти кращих текстів про загрози ШІ отримають грошовий приз у розмірі $25 000 або роботу в Ope­nAI.

Підрозділу Pre­pared­ness буде доручено сформулювати «політику розробки з урахуванням загроз» — документ із детальним описом підходу Ope­nAI до побудови інструментів оцінки та моніторингу моделей ШІ, дій щодо зниження загроз, а також структури управління для нагляду у процесі розвитку моделей. Фахівці команди доповнять інші аспекти роботи Ope­nAI у сфері безпечного ШІ, приділяючи особливу увагу етапам до та після розгортання моделі.

Нагадаємо — раніше Ope­nAI за підтримки Microsoft подала заявку на реєстрацію товарного знаку GPT‑5 в США. У заявці описується GPT‑5 як «завантажуване комп’ютерне програмне забезпечення для використання мовної моделі». Ope­nAI раніше використовувала аналогічний опис у заявках на GPT‑4 та GPT‑3.5.