Нова версія ChatGPT склала іспит на лікаря і за лічені секунди поставила правильний діагноз пацієнтові

Доктор Айзек Кохейн (Isaac Kohane), гарвардський фахівець з інформаційних технологій і медицини, спільно з двома колегами протестував GPT‑4 на предмет можливості використовувати штучний інтелект у лікарській сфері. За словами дослідника, система проявила себе краще за багатьох лікарів.

Результати експерименту доктор Кохейн виклав у книзі “Революція ШІ в медицині”, написаній спільно з незалежною журналісткою Кері Голдберг (Carey Gold­berg) і віцепрезидентом Microsoft з досліджень Пітером Лі (Peter Lee). Випущена в березні ШІ-модель GPT‑4 у 90% випадків правильно відповідала на запитання з іспиту на отримання ліцензії лікаря, виступаючи краще за Chat­G­PT на базі GPT‑3 і GPT‑3.5 і навіть за деяких лікарів, у яких вже є ліцензії.

GPT‑4 відмінно проявив себе не тільки як екзаменований і знавець фактів, а й як перекладач. Він розібрався з медичною випискою пацієнта португальською мовою і перефразував наповнений технічним жаргоном текст. ШІ пропонував лікарям корисні поради, як поводитися біля ліжка хворого і як розмовляти з пацієнтом про його стан зрозуміло, але співчутливо. Машина справлялася з обробкою об’ємних звітів про обстеження, миттєво узагальнюючи їхній вміст.

Свої відповіді система викладала у форматі, який начебто вказує на інтелект на кшталт людського, але дослідники все одно поки що роблять висновок, що у своїх міркуваннях ШІ обмежений шаблонами — пускатися в повноцінні міркування з причинно-наслідковими зв’язками GPT‑4 ще не вміє. Проте, коли системі запропонували дані реального випадку, та на рівні фахівця з роками навчання і практики правильно діагностувала рідкісну хворобу.

Доктор Кохейн, з одного боку, радий, що в найближчому майбутньому такий інструмент буде доступний мільйонам людей, але, з іншого боку, він поки не знає, як зробити платформу безпечною для користувача. GPT‑4 не завжди надійний у своїх відповідях, і в книзі наводиться безліч прикладів його помилок різного роду. Причому ШІ схильний наполягати на своїй правоті, коли йому на ці помилки вказують — це явище в технічному середовищі вже назвали “галюцинаціями”. На свій захист GPT‑4 одного разу заявив: “У мене немає намірів когось обманювати або вводити в оману, але я іноді роблю помилки і роблю припущення, ґрунтуючись на неповних або неточних даних. Я не даю клінічних оцінок і не несу етичної відповідальності як лікар або медсестра”.

Як один із варіантів захисту автори книги пропонують проводити по кілька сесій з GPT‑4, щоб ШІ сам “перечитував” або “перевіряв” власну роботу “свіжим поглядом”. Іноді це допомагає виявляти помилки: GPT‑4 кілька разів у стриманій формі визнавав свою помилку. Або можна доручити перевірку його роботи людині з профільною освітою.