Фахівці Google навчили штучний інтелект не брехати

Науковці з лабораторії Google Deep­Mind та Стенфордського університету створили систему контролю правдивості відповідей штучного інтелекту під назвою Search-Aug­ment­ed Fac­tu­al­i­ty Eval­u­a­tor (SAFE). Інновація націлена на розв’язання проблеми неправдивих або “вигаданих” відповідей, які можуть надавати масштабні мовні моделі, такі як Chat­G­PT.

Традиційно для оцінки правдивості відповідей штучного інтелекту використовували людське оцінювання, процес якого був пов’язаний з суб’єктивністю та обмеженими можливостями масштабування. Нова система SAFE пропонує більш автоматизований та об’єктивний підхід, дозволяючи масштабно та ефективно перевіряти точність відповідей штучного інтелекту.

Система працює шляхом аналізу довгострокових відповідей, створених штучним інтелектом, розбиваючи їх на окремі факти, кожен з яких перевіряється на точність за допомогою пошуку Google як точки відліку. У ході дослідження використовувалася мовна модель GPT для створення Long­Fact, бази даних, що містить близько 16 000 фактів на різні теми.

SAFE демонструє високу ефективність, збігаючись з людськими оцінками правдивості в 72% випадків із приблизно 16 000 окремих фактів Long­Fact. Завдяки SAFE науковці сподіваються покращити якість і надійність інформації, що генерується штучним інтелектом, що має велике значення для різних галузей, від освіти до науки та технологій.

Нагадаємо — нове дослідження підрозділу Google Deep­Mind показало, що штучний інтелект може перевершувати людей у перевірці фактів, що генеруються мовними моделями, наприклад, GPT та Gem­i­ni. Система під назвою SAFE розбиває згенерований текст на частини та багаторазово зіставляє їх із результатами пошуку Google для оцінки точності тверджень. SAFE збігався з оцінками людей у 72% випадків, а при розбіжностях рішення ШІ було правильним у 76% випадків.