Штучний інтелект провалив шкільні іспити для 12-річних дітей

Chat­G­PT провалив іспити для учнів 6 класу сінгапурської загальноосвітньої школи. Завдання з математики штучний інтелект склав лише на 16%, з природничих наук — на 21%. Оцінка тесту з англійської мови — 55%. За словами фахівців, причиною провалу ШІ на екзаменах могли стати некоректно поставлені та надто прості запитання.

Після закінчення 6 класу всі учні Сінгапуру проходять тест PSLE (Pri­ma­ry School Leav­ing Exam­i­na­tion), що визначає, в яку середню школу дитина зможе вступити — спеціалізовану чи звичайну. PSLE складається з чотирьох предметів: англійської мови, математики, природничих наук та мови, яку вивчає учень на вибір.

Згідно з даними The Straits Times, Chat­G­PT впорався з іспитом набагато гірше, ніж більшість 12-річних дітей. Chat­G­PT зробив помилки у звичайних прикладах на додавання і не зміг зрозуміти жодної діаграми. Менше того: за всі питання PSLE, пов’язані з діаграмами та графіками, чат-бот отримав нульові бали. Це можна пояснити тим, що Chat­G­PT поки не розуміє пов’язані із зображеннями запити. Розумний бот попросив описати словами зміст графіків, але більшість із них виявилися надто складними для його розуміння.

“Як штучний інтелект, я не маю власних емоцій та думок, і мої здібності обмежені залежно від мого навчання і досвіду. Я можу розв’язувати математичні завдання для шостого класу, якщо у мене є відповідні знання та інструкції, які мені нададуть. Проте, якщо у мене немає потрібної інформації, то можу бути не в змозі відповісти на конкретне завдання.

Якщо у вас є конкретні математичні задачі, які ви хочете розв’язати, я з радістю допоможу вам з ними. Просто опишіть мені завдання, і я спробую вирішити його разом з вами”, - відповів чат-бот на запитання журналістів NoWor­ries, щодо його вмінь розв’язувати шкільні завдання.

Через декілька днів, коли журналісти Insid­er вирішили протестувати Chat­G­PT на двох питаннях PSLE — ШІ відповів правильно на обидва. За словами експертів, у своїх відповідях штучний інтелект використав алгебру, а це виходить за межі очікуваних здібностей більшості 12-річних учнів у Сінгапурі.

Нагадаємо, що психолог зі Стенфордського університету протестував Chat­G­PT на здатність проходити іспит The­o­ry of Mind. Міхал Косінські повідомив: тестування останньої версії Chat­G­PT показало, що алгоритм виконує завдання на рівні середньостатистичної 9‑річної дитини. Остання версія чат-бота davin­ci-003 змогла виконати 93% завдань — це майже так само, як би тест проходила 9‑річна дитина.