Мозкові імпланти зі штучним інтелектом допомогли паралізованій жінці заговорити

За допомогою штучного інтелекту та мозкових імплантів вченим з UCSF та Каліфорнійського університету в Берклі вдалось відновити у паралізованої жінки здатність «говорити».

Новаторська процедура використовує масив з 253 електродів, які імплантували в мозок 48-річної Енн Джонсон, а потім з'єднали з комп’ютерами. Електроди, які охоплюють ділянку мозку, де обробляється мова, перехоплюють сигнали мозку жінки та надсилають їх у комп’ютери. Штучний інтелект генерує аватар, що є цифровою копією Енн.

Штучний інтелект може «говорити» те, про що пацієнтка думає, використовуючи копію голосу Енн Джонсон, записану багато років тому. Аватар також кліпає очима і використовує міміку, таку як посмішка, стиснуті губи і підняті брови, що робить його більш реалістичним.

Команда з UCSF разом з колегами з Каліфорнійського університету в Берклі заявили, що це перший випадок, коли мова або міміка були синтезовані з сигналів мозку. Щоб навчити систему штучного інтелекту, жінці довелося мовчки «повторювати» різні фрази зі словника з 1024 слів знову і знову, поки комп’ютер не розпізнавав патерни мозкової активності, пов’язані з кожним звуком.

Замість цілих слів програму штучного інтелекту навчили розпізнавати фонеми — одиниці мови, з яких складаються вимовлені слова. Наприклад, слово «Hello» складається з чотирьох фонем: «HH», «AH», «L» і «OW». Розпізнавши 39 фонем, програма ШІ може декодувати сигнали мозку Енн Джонсон в повні слова зі швидкістю близько 80 слів на хвилину — приблизно вдвічі менше, ніж під час звичайного діалогу між людьми.

Нагадаємо — на початку серпня вчені відновили рух паралізованої людини завдяки мозковим імплантам і штучному інтелекту. «Вперше мозок, тіло і спинний мозок пов’язали в електронному вигляді у паралізованої людини, щоб відновити тривалий рух та відчуття», — розповів Чад Бутон, головний дослідник клінічного випробування.

Під час експерименту команда Northwell Health використовувала функціональну магнітно-резонансну томографію (ФМРТ) для картування мозку пацієнта Кіта Томаса. Так вони виявили області, відповідальні за рух руки та відчуття дотику до неї. Потім йому провели 15-годинну операцію на відкритому мозку для імплантатів вживлення. Іноді Томаса будили, щоб давав зворотний зв’язок хірургам в режимі реального часу.