Штучний інтелект провалив шкільні іспити для 12-річних дітей

ChatGPT провалив іспити для учнів 6 класу сінгапурської загальноосвітньої школи. Завдання з математики штучний інтелект склав лише на 16%, з природничих наук — на 21%. Оцінка тесту з англійської мови — 55%. За словами фахівців, причиною провалу ШІ на екзаменах могли стати некоректно поставлені та надто прості запитання.

Після закінчення 6 класу всі учні Сінгапуру проходять тест PSLE (Primary School Leaving Examination), що визначає, в яку середню школу дитина зможе вступити — спеціалізовану чи звичайну. PSLE складається з чотирьох предметів: англійської мови, математики, природничих наук та мови, яку вивчає учень на вибір.

Згідно з даними The Straits Times, ChatGPT впорався з іспитом набагато гірше, ніж більшість 12-річних дітей. ChatGPT зробив помилки у звичайних прикладах на додавання і не зміг зрозуміти жодної діаграми. Менше того: за всі питання PSLE, пов’язані з діаграмами та графіками, чат-бот отримав нульові бали. Це можна пояснити тим, що ChatGPT поки не розуміє пов’язані із зображеннями запити. Розумний бот попросив описати словами зміст графіків, але більшість із них виявилися надто складними для його розуміння.

«Як штучний інтелект, я не маю власних емоцій та думок, і мої здібності обмежені залежно від мого навчання і досвіду. Я можу розв’язувати математичні завдання для шостого класу, якщо у мене є відповідні знання та інструкції, які мені нададуть. Проте, якщо у мене немає потрібної інформації, то можу бути не в змозі відповісти на конкретне завдання.

Якщо у вас є конкретні математичні задачі, які ви хочете розв’язати, я з радістю допоможу вам з ними. Просто опишіть мені завдання, і я спробую вирішити його разом з вами", — відповів чат-бот на запитання журналістів NoWorries, щодо його вмінь розв’язувати шкільні завдання.

Через декілька днів, коли журналісти Insider вирішили протестувати ChatGPT на двох питаннях PSLE — ШІ відповів правильно на обидва. За словами експертів, у своїх відповідях штучний інтелект використав алгебру, а це виходить за межі очікуваних здібностей більшості 12-річних учнів у Сінгапурі.

Нагадаємо, що психолог зі Стенфордського університету протестував ChatGPT на здатність проходити іспит Theory of Mind. Міхал Косінські повідомив: тестування останньої версії ChatGPT показало, що алгоритм виконує завдання на рівні середньостатистичної 9-річної дитини. Остання версія чат-бота davinci-003 змогла виконати 93% завдань — це майже так само, як би тест проходила 9-річна дитина.