Розробники штучного інтелекту визнали нездатність ChatGPT відрізнити текст чат-бота від створеного людиною

Компанія OpenAI визнала, що наявні інструменти для виявлення текстів, створених їх ШІ, неефективні та часто видають помилкові спрацьовування. В оновленому FAQ-розділі представники техностартапу наголошують, що навіть сам ChatGPT не здатний точно визначити, створений текст людиною чи машиною. Експерти закликають відмовитися від автоматизованих інструментів виявлення ШІ та покладатися на людський досвід та інтуїцію.

На своєму сайті у розділі FAQ під заголовком «Як викладачі можуть реагувати на те, що студенти видають роботи, створені ШІ, за свої власні?» компанія розповідає про те, чи працюють детектори ШІ:

«Коротко кажучи — ні. Попри те, що деякі компанії (включно з OpenAI) випустили інструменти, призначені для виявлення контенту, створеного ШІ, жоден із них не зміг правдиво відрізнити контент, створений ШІ, від контенту, створеного людиною».

Також у липні OpenAI припинила підтримку свого експериментального інструменту AI Text Classifier із доволі сумнівним показником точності у 26%.

OpenAI визнає схильність своїх ШІ-моделей повідомляти неправдиву інформацію: «Іноді ChatGPT звучить переконливо, але може дати невірну або таку, що вводить в оману, інформацію („галюцинацію“). Він навіть може вигадувати речі на кшталт цитат або посилань, тому не використовуйте його як єдине джерело для досліджень».

Нагадаємо — цьогоріч у травні нью-йоркському адвокату, який скористався ChatGPT і отримав у відповідь вигадані факти, загрожувала втрата ліцензії.

Попри те, що ШІ-детектори не працюють, це не означає, що людина ніколи не зможе виявити текст, створений нейромережею. Наприклад, викладач, знайомий із письмовим стилем учня чи студента, може помітити, коли його стиль або рівень знань раптово змінюються.

На даному етапі технологічного розвитку найбезпечніше уникати повністю автоматизованих інструментів для визначення текстів, створених за допомогою ШІ, вважають в OpenAI. Це підтверджує і думка Етана Молліка, професора з бізнес-школи Вортона (Wharton School of the University of Pennsylvania) та аналітика у галузі ШІ. Вчений підкреслює, що наразі ШІ-детектори мають високий рівень помилкових спрацьовувань і ними користуватися не слід.

Питання про відмінність машинного тексту від людського залишається відкритим, а відповідь на нього, ймовірно, лежить у сфері інтуїтивного розуміння і професійного досвіду кожної окремої людини.