Штучний інтелект DragGAN здатний робити 3D з фото і рухати тіла на знімках

Дослідники з Інституту Макса Планка представили ШІ-модель DragGAN, яка дає змогу маніпулювати зображеннями практично в режимі реального часу. Інструмент схожий на функцію «Викривлення» в Photoshop, але набагато потужніший, оскільки користувач не просто переміщує пікселі, а використовує штучний інтелект для повторного створення базового об'єкта. Навіть більше — він дає змогу обертати зображення, як якби вони були в 3D-форматі.

DragGAN може не тільки змінювати розміри об'єкта на зображенні або перетворювати посмішку на похмурий вираз обличчя простим клацанням миші, а й повертати його так, ніби це була 3D-модель. Наприклад, можна змінити напрямок обличчя людини. Наведені нижче відео взяті з сайту дослідницької групи. Повний текст дослідницької роботи можна прочитати на сайті arXiv.

Як зазначає команда розробників, те, що справді цікаво в цій роботі, це не маніпуляція зображеннями як така, а користувацький інтерфейс. Ми вже давно можемо використовувати інструменти ШІ, як-от GANs, для створення реалістичних зображень, але більшості методів не вистачає гнучкості та точності. Ви можете сказати генератору зображень ШІ: «Зроби зображення лева, що спостерігає за саваною», і отримаєте його, але може виявитися, що лев сидить не зовсім у тій позі, яка вам потрібна.

DragGAN пропонує вирішення цієї проблеми. Інтерфейс такий самий, як і в традиційних редакторах зображень, але замість того, щоб просто розмазувати наявні пікселі, модель створює об'єкт заново. Дослідники пишуть: «Наш підхід не тільки може створювати оклюзію об'єктів, а й може деформувати їх відповідно до жорсткості, наприклад, при згинанні ноги коня».

Поки що це тільки демонстрація, яка не дає оцінити технологію повністю, але це ще один приклад того, як зробити маніпуляції із зображеннями за допомогою ШІ доступнішими.