Розробники ChatGPT бояться катастрофічної загибелі людства через штучний інтелект

Відповідальна за сервіс ChatGPT компанія OpenAI повідомила, що сформувала підрозділ з оцінки та дослідження моделей штучного інтелекту щодо захисту від катастрофічних ризиків ШІ.

Команду під назвою Preparedness очолив директор Центру машинного навчання при Массачусетському технологічному інституті Олександр Мадрі. За даними LinkedIn, він зайняв цю посаду в компанії ще в травні. До завдань підрозділу входить відстеження, прогнозування та захист від небезпек, які несуть перспективні системи ШІ — від їхнього дару переконання до генерації шкідливих кодів. До критично небезпечних загроз віднесли хімічні, біологічні, радіаційні та ядерні.

Гендиректор OpenAI Сем Альтман неодноразово висловлював побоювання, що ШІ здатний «призвести до вимирання людства» і формування в компанії відповідного підрозділу відображає цю позицію. Компанія відкрита і для вивчення «менш очевидних» сфер ризику ШІ, додав Альтман. Зв’язатися з компанією для обговорення своїх побоювань щодо ШІ може будь-хто — автори десяти кращих текстів про загрози ШІ отримають грошовий приз у розмірі $ 25 000 або роботу в OpenAI.

Підрозділу Preparedness буде доручено сформулювати «політику розробки з урахуванням загроз» — документ із детальним описом підходу OpenAI до побудови інструментів оцінки та моніторингу моделей ШІ, дій щодо зниження загроз, а також структури управління для нагляду у процесі розвитку моделей. Фахівці команди доповнять інші аспекти роботи OpenAI у сфері безпечного ШІ, приділяючи особливу увагу етапам до та після розгортання моделі.

Нагадаємо — раніше OpenAI за підтримки Microsoft подала заявку на реєстрацію товарного знаку GPT-5 в США. У заявці описується GPT-5 як «завантажуване комп’ютерне програмне забезпечення для використання мовної моделі». OpenAI раніше використовувала аналогічний опис у заявках на GPT-4 та GPT-3.5.