Підписуйтеся на наш телеграм канал!
Розробники найвідомішого штучного інтелекту створили нейромережу, що критикує ChatGPT
Компанія OpenAI представила нову модель штучного інтелекту CriticGPT, призначену для виявлення помилок у коді, згенерованому ChatGPT. Нейромережа буде використовуватися як алгоритмічний помічник для тестувальників, які перевіряють програмний код, створений ChatGPT, інформує Ars Technica.
“CriticGPT, заснований на сімействі великої мовної моделі GPT‑4, аналізує код і вказує на потенційні помилки, полегшуючи спеціалістам виявлення недоліків, які могли б залишитися непоміченими через людський фактор”, — заявили у компанії.
Дослідження OpenAI, опубліковане у рамках роботи “LLM Critics Help Catch LLM Bugs”, показало, що в 63% випадків аннотатори надавали перевагу критиці CriticGPT над людською. Команди, які використовували CriticGPT, створювали повніші відгуки та знижували рівень конфабуляцій (хибних фактів і галюцинацій — ред.). Модель була навчена на наборі даних з навмисно внесеними помилками, що дозволило їй розпізнавати різні типи помилок у коді.
CriticGPT виявився здатним вловлювати як навмисно внесені баги, так і природні помилки в коді, згенерованому ChatGPT. Для цього був розроблений новий метод “Force Sampling Beam Search” (FSBS), який допомагає моделі писати детальні огляди коду, регулюючи глибину пошуку проблем і контролюючи частоту хибних спрацьовувань.
Інтерес викликало те, що можливості CriticGPT виходять за межі простої перевірки коду. В експериментах модель застосували до ряду тренувальних даних ChatGPT, раніше оцінених людьми як бездоганні, і CriticGPT виявив помилки у 24% випадків, які згодом підтвердили експерти. Це демонструє потенціал моделі не лише для технічних завдань, але й для виявлення тонких помилок, які можуть залишитися непоміченими навіть при ретельній перевірці людиною.
Попри обнадійливі результати, CriticGPT, як і всі моделі ШІ, має свої обмеження. Модель навчалася на відносно коротких відповідях ChatGPT, що може не підготувати її до оцінки довших і складніших завдань. Команда дослідників визнає, що модель найбільш ефективна у виявленні помилок, які можна визначити в одному конкретному місці коду, проте реальні помилки часто розкидані по декількох частинах відповіді, що є викликом для майбутніх ітерацій моделі.