Xiaomi відкрила доступ до моделі клонування голосу для 646 мов

Xiao­mi випустила OmniVoice — модель штучного інтелекту для клонування голосу, яка підтримує 646 мов, зокрема найрідкісніші, для яких майже не існує навчальних даних. Розробка повністю відкрита для всіх охочих.

Для коректної вимови складних слів модель використовує великі мовні моделі — за принципом, схожим на Chat­G­PT. В основі навчання — 50 відкритих наборів голосових даних загальним обсягом 580 тисяч годин аудіозаписів різними мовами світу.

Одна з ключових можливостей OmniVoice — клонування голосу з будь-якого зразка. Достатньо записати, як говорить людина, і модель відтворить цей голос іншою мовою. Це відкриває широкі можливості для локалізації контенту та озвучення.

Окрім клонування, інструмент дозволяє описати бажаний голос текстом — наприклад, «чоловік середнього віку з низьким голосом» — і отримати синтезований результат. Також підтримується додавання емоційних відтінків: сміху, зітхань або шепоту.

Серед додаткових функцій — виправлення неправильної вимови та очищення фонових шумів у записах. Це робить OmniVoice корисним інструментом не лише для генерації, а й для редагування аудіо.

Код моделі, навчальні дані та готові ваги розміщені у відкритому доступі на GitHub і Hug­ging Face. Там само доступна демоверсія, яку можна протестувати без жодного встановлення.