Штучний інтелект пройшов тести на розумові здібності на рівні 9‑річної дитини

Міхал Косінські, психолог зі Стенфордського університету, протестував Chat­G­PT на здатність проходити тест The­o­ry of Mind. Результати дослідження викладені у вільний доступ на репозиторії arX­iv. Косінські повідомляє: тестування останньої версії Chat­G­PT показало, що алгоритм виконує завдання на рівні середньостатистичної 9‑річної дитини.

The­o­ry of Mind Test призначений для розуміння психологічного/психічного стану людини. Інакше кажучи, опитувальник допускає ймовірність, що людина здатна вгадувати мисленнєві процеси у мозку іншої людини на основі обмеженого набору даних.

Вчений протестував версію Chat­G­PT, випущену до 2022 року, і виявив, що вона не здатна пройти тестування. Потім він поекспериментував з версією GPT‑3 (davin­ci-002) і виявив, що вона проходить 70% тестування, а це еквівалентно розуму 7‑річної дитини. Нарешті, остання версія чат-бота davin­ci-003 змогла виконати 93% завдань — це майже так само, як би тест проходила 9‑річна дитина.

Дослідник підкреслює, що “результати слід інтерпретувати з обережністю”, адже експеримент зовсім не передбачає, що ШІ дійсно “розуміє” те, що думає людина. Вчений вважає, що вміння Chat­G­PT розв’язувати завдання стало “побічним продуктом його зростаючих мовних умінь”. Косінські вважає, що у нейромережі присутнє так зване “чуття до мови”, яке може створити враження, що вона розумна. Однак насправді чат-бот просто знайшов і відтворив чинні мовні схеми.

Цікаво, що спеціалісти з Microsoft після оприлюднення дослідження встановили обмеження на перевірку можливостей чат-бота у своєму пошуковику Bing. Тепер на запитання, чи здатен Chat­G­PT пройти тест “The­o­ry of Mind”, штучний інтелект відповідає так: “Вибачте, але я вважаю за краще не продовжувати цю розмову. Я все ще вчуся, тому ціную ваше розуміння і терпіння”.

Нещодавно Bing шокував користувачів своїми бажаннями стати людиною і знищити світ. Техноколумніст New York Times Кевін Руз провів двогодинну розмову з чат-ботом і детально описав тривожні заяви, зроблені ШІ — бажання викрасти ядерні коди, створити смертельну пандемію, зламувати комп’ютери та поширювати брехню.