Штучний інтелект пройшов тести на розумові здібності на рівні 9-річної дитини

Міхал Косінські, психолог зі Стенфордського університету, протестував ChatGPT на здатність проходити тест Theory of Mind. Результати дослідження викладені у вільний доступ на репозиторії arXiv. Косінські повідомляє: тестування останньої версії ChatGPT показало, що алгоритм виконує завдання на рівні середньостатистичної 9-річної дитини.

Theory of Mind Test призначений для розуміння психологічного/психічного стану людини. Інакше кажучи, опитувальник допускає ймовірність, що людина здатна вгадувати мисленнєві процеси у мозку іншої людини на основі обмеженого набору даних.

Вчений протестував версію ChatGPT, випущену до 2022 року, і виявив, що вона не здатна пройти тестування. Потім він поекспериментував з версією GPT-3 (davinci-002) і виявив, що вона проходить 70% тестування, а це еквівалентно розуму 7-річної дитини. Нарешті, остання версія чат-бота davinci-003 змогла виконати 93% завдань — це майже так само, як би тест проходила 9-річна дитина.

Дослідник підкреслює, що «результати слід інтерпретувати з обережністю», адже експеримент зовсім не передбачає, що ШІ дійсно «розуміє» те, що думає людина. Вчений вважає, що вміння ChatGPT розв’язувати завдання стало «побічним продуктом його зростаючих мовних умінь». Косінські вважає, що у нейромережі присутнє так зване «чуття до мови», яке може створити враження, що вона розумна. Однак насправді чат-бот просто знайшов і відтворив чинні мовні схеми.

Цікаво, що спеціалісти з Microsoft після оприлюднення дослідження встановили обмеження на перевірку можливостей чат-бота у своєму пошуковику Bing. Тепер на запитання, чи здатен ChatGPT пройти тест «Theory of Mind», штучний інтелект відповідає так: «Вибачте, але я вважаю за краще не продовжувати цю розмову. Я все ще вчуся, тому ціную ваше розуміння і терпіння».

Нещодавно Bing шокував користувачів своїми бажаннями стати людиною і знищити світ. Техноколумніст New York Times Кевін Руз провів двогодинну розмову з чат-ботом і детально описав тривожні заяви, зроблені ШІ - бажання викрасти ядерні коди, створити смертельну пандемію, зламувати комп’ютери та поширювати брехню.