Штучний інтелект склав найскладніший у світі іспит з медицини

ЗМІ повідомили, що ChatGPT склав медичний іспит United States Medical Licensing Examination (USMLE) на право працювати лікарем у США. Чат-бот успішно відповів на 88,9% запитань тесту (всього їх 350), при тому що прохідний рівень — 60%. У рамках наукового дослідження два лікарі-практики оцінювали відповіді ChatGPT, а розбіжності в результатах тесту розглядалися окремо третім експертом.

USMLE — це іспит, який необхідно скласти, щоб мати право працювати лікарем у США та низці інших країн (Ізраїль, Нова Зеландія, Катар). Цей тест вважається одним із найскладніших медичних іспитів у світі, а його складання підтверджує високий рівень знань і компетенцій лікаря-початківця, наприклад, для студентів вищих курсів педіатричного спрямування.

Під час перевірки ChatGPT з’ясувалося, що нейромережа зробила «принаймні одне важливе відкриття» під час постановки діагнозу, яке було «новим, неочевидним і клінічно достовірним».

«Досягнення прохідного бала за цей загальновідомо складний експертний іспит без будь-якої допомоги з боку людини знаменує собою значну віху в розвитку медичного ШІ», — пояснили ЗМІ дослідники з технологічної компанії AnsibleHealth, які проводили іспит з ChatGPT.

Фахівці AnsibleHealth вважають, що отримані ними результати дають змогу припустити, що ChatGPT може стати цінним інструментом для отримання медичної освіти. Вони розповіли, що чат-бот має часткову здатність викладати медицину, виявляючи нові та неочевидні концепції, які можуть бути недоступні для учнів без допомоги ШІ.

Одночасно з ChatGPT іспит USMLE складала нейромережа PubMedGPT, навчена виключно на медичній літературі та профільних базах даних. Вона дала лише 50,8% правильних відповідей.

На початку лютого чат-бот ChatGPT пройшов співбесіду в Google на посаду молодшого інженера-програміста із зарплатою близько $ 180 тис. на рік. У рамках тестової співбесіди всередині компанії ChatGPT обійшов за основними показниками мовну модель LaMDA від Google, відповівши на всі технічні запитання.