Розробники з Сінгапуру навчились створювати фейкові відео людей з однієї фотографії

Дослідники з Наньянського технологічного університету в Сінгапурі розробили комп’ютерну програму, що створює реалістичні відео людей з однієї фотографії та аудіозапису. Програма DIRFA (Diverse yet Realistic Facial Animations) розроблена на базі штучного інтелекту та здатна створювати 3D-відео з реалістичною та послідовною анімацією особи, синхронізованою з аудіозаписом.

За словами спеціалістів, DIRFA покращує існуючі підходи до анімації цифрових аватарів, які мають труднощі з варіацією поз та зображенням емоцій. Команда навчила програму на більш ніж мільйоні аудіовізуальних кліпів від 6000 осіб, взятих з відкритої бази даних VoxCeleb2 Dataset. Тепер вона може передбачати мовні сигнали та пов’язувати їх із мімікою та рухами голови.

Дослідники кажуть, що створення реалістичних лицьових виразів на основі аудіо — складне завдання. Для кожного аудіосигналу може бути багато відповідних виразів обличчя, кількість яких збільшується. «Один і той же текст можна вимовляти серйозно, а можна іронічно і кривляючись. Ми отримуємо точну інформацію про наміри співрозмовника з його міміки, але програмне забезпечення для анімації цифрових аватарів часто упускає це», — зауважили розробники.

Мова тісно пов’язана з рухами губ, а на другому місці за важливістю — вираз обличчя і положення голови. Тому команда зосередилася на анімованих аватарах з точними рухами губ, різноманітною мімікою та природними рухами голови, що відповідають аудіо.

Спеціалісти зазначили, що DIRFA можна використовувати у додатках для різних сфер життя, включаючи охорону здоров’я. DIRFA дозволить створювати реалістичних віртуальних помічників і чат-ботів, покращуючи користувальницький досвід. Вона також буде корисною для людей з порушеннями мови або лицьової міміки, допомагаючи їм передавати думки та емоції через виразні аватари.

Нагадаємо — у квітні китайська компанія Tencent Cloud оголосила про запуск платформи для створення цифрових копій людей Deepfakes-as-a-Service (DFaaS). Згідно з повідомленнями китайських ЗМІ, сервісу потрібно всього 3 хвилини живого відео та 100 сказаних речень. За $ 145 платформа створить цифрову людину високої роздільної здатності. Для створення діпфейка потрібно всього 24 години.