Штучний інтелект створив реалістичні відео з одного лише запису звуку і фото людини

Дослідники з Наньянського технологічного університету (Сінгапур) представили програму DIRFA, що працює на основі ШІ і здатна створювати реалістичні 3D-відеоролики на основі запису звуку і статичної фотографії обличчя.

DIRFA значно перевершує наявні методи, даючи змогу керувати змінами пози та емоційними нюансами.

Навчена на масивному наборі даних, що містить понад мільйон аудіовізуальних кліпів із The VoxCeleb2 Dataset, DIRFA має багатообіцяючі перспективи для застосування в різних галузях: від створення віртуальних помічників і чат-ботів до використання в якості потужного інструменту для людей із вадами мовлення або міміки.

Провідний дослідник, доцент Лу Шіцзянь, вважає, що DIRFA стане рушійної силою в мультимедійній комунікації, пропонуючи високоавтентичні відеоролики, які передають точні рухи губ, динамічну міміку і природні пози голови, використовуючи для генерації тільки аудіозаписи і статичні зображення.

Це не перша сброса створювати відео на основі лише одного фото — діпфейки з таким підходом створюються щонайменше рік: