Нова версія ChatGPT склала іспит на лікаря і за лічені секунди поставила правильний діагноз пацієнтові

Доктор Айзек Кохейн (Isaac Kohane), гарвардський фахівець з інформаційних технологій і медицини, спільно з двома колегами протестував GPT-4 на предмет можливості використовувати штучний інтелект у лікарській сфері. За словами дослідника, система проявила себе краще за багатьох лікарів.

Результати експерименту доктор Кохейн виклав у книзі «Революція ШІ в медицині», написаній спільно з незалежною журналісткою Кері Голдберг (Carey Goldberg) і віцепрезидентом Microsoft з досліджень Пітером Лі (Peter Lee). Випущена в березні ШІ-модель GPT-4 у 90% випадків правильно відповідала на запитання з іспиту на отримання ліцензії лікаря, виступаючи краще за ChatGPT на базі GPT-3 і GPT-3.5 і навіть за деяких лікарів, у яких вже є ліцензії.

GPT-4 відмінно проявив себе не тільки як екзаменований і знавець фактів, а й як перекладач. Він розібрався з медичною випискою пацієнта португальською мовою і перефразував наповнений технічним жаргоном текст. ШІ пропонував лікарям корисні поради, як поводитися біля ліжка хворого і як розмовляти з пацієнтом про його стан зрозуміло, але співчутливо. Машина справлялася з обробкою об'ємних звітів про обстеження, миттєво узагальнюючи їхній вміст.

Свої відповіді система викладала у форматі, який начебто вказує на інтелект на кшталт людського, але дослідники все одно поки що роблять висновок, що у своїх міркуваннях ШІ обмежений шаблонами — пускатися в повноцінні міркування з причинно-наслідковими зв’язками GPT-4 ще не вміє. Проте, коли системі запропонували дані реального випадку, та на рівні фахівця з роками навчання і практики правильно діагностувала рідкісну хворобу.

Доктор Кохейн, з одного боку, радий, що в найближчому майбутньому такий інструмент буде доступний мільйонам людей, але, з іншого боку, він поки не знає, як зробити платформу безпечною для користувача. GPT-4 не завжди надійний у своїх відповідях, і в книзі наводиться безліч прикладів його помилок різного роду. Причому ШІ схильний наполягати на своїй правоті, коли йому на ці помилки вказують — це явище в технічному середовищі вже назвали «галюцинаціями». На свій захист GPT-4 одного разу заявив: «У мене немає намірів когось обманювати або вводити в оману, але я іноді роблю помилки і роблю припущення, ґрунтуючись на неповних або неточних даних. Я не даю клінічних оцінок і не несу етичної відповідальності як лікар або медсестра».

Як один із варіантів захисту автори книги пропонують проводити по кілька сесій з GPT-4, щоб ШІ сам «перечитував» або «перевіряв» власну роботу «свіжим поглядом». Іноді це допомагає виявляти помилки: GPT-4 кілька разів у стриманій формі визнавав свою помилку. Або можна доручити перевірку його роботи людині з профільною освітою.