Підписуйтеся на наш телеграм канал!

Розробники з Сінгапуру навчились створювати фейкові відео людей з однієї фотографії

6:14 pm, 20 Листопада, 2023

Дослідники з Наньянського технологічного університету в Сінгапурі розробили комп’ютерну програму, що створює реалістичні відео людей з однієї фотографії та аудіозапису. Програма DIRFA (Diverse yet Realistic Facial Animations) розроблена на базі штучного інтелекту та здатна створювати 3D-відео з реалістичною та послідовною анімацією особи, синхронізованою з аудіозаписом.

За словами спеціалістів, DIRFA покращує існуючі підходи до анімації цифрових аватарів, які мають труднощі з варіацією поз та зображенням емоцій. Команда навчила програму на більш ніж мільйоні аудіовізуальних кліпів від 6000 осіб, взятих з відкритої бази даних VoxCeleb2 Dataset. Тепер вона може передбачати мовні сигнали та пов’язувати їх із мімікою та рухами голови.

Дослідники кажуть, що створення реалістичних лицьових виразів на основі аудіо — складне завдання. Для кожного аудіосигналу може бути багато відповідних виразів обличчя, кількість яких збільшується. «Один і той же текст можна вимовляти серйозно, а можна іронічно і кривляючись. Ми отримуємо точну інформацію про наміри співрозмовника з його міміки, але програмне забезпечення для анімації цифрових аватарів часто упускає це», — зауважили розробники.

Мова тісно пов’язана з рухами губ, а на другому місці за важливістю — вираз обличчя і положення голови. Тому команда зосередилася на анімованих аватарах з точними рухами губ, різноманітною мімікою та природними рухами голови, що відповідають аудіо.

Спеціалісти зазначили, що DIRFA можна використовувати у додатках для різних сфер життя, включаючи охорону здоров’я. DIRFA дозволить створювати реалістичних віртуальних помічників і чат-ботів, покращуючи користувальницький досвід. Вона також буде корисною для людей з порушеннями мови або лицьової міміки, допомагаючи їм передавати думки та емоції через виразні аватари.

Нагадаємо — у квітні китайська компанія Tencent Cloud оголосила про запуск платформи для створення цифрових копій людей Deepfakes-as-a-Service (DFaaS). Згідно з повідомленнями китайських ЗМІ, сервісу потрібно всього 3 хвилини живого відео та 100 сказаних речень. За $ 145 платформа створить цифрову людину високої роздільної здатності. Для створення діпфейка потрібно всього 24 години.

Підписуйтеся на наш телеграм канал!

BTC

$36,476.45

-1.14%

ETH

$2,040.74

2.85%

BNB

$231.19

-11.45%

XRP

$0.59

-1.18%

SOL

$54.97

-0.61%

Всі курси
Підписуйтеся на наш
телеграм канал!
Свіжі новини та огляди
ринків криптовалют останньої
доби прямо у вашому мессенджері. Чекаємо на вас!
ПЕРЕЙТИ
Показати більше