Липсинг лица по изображению.

Описание

Заказчик попросил сделать несколько версий видео ролика из одного текста но на разных языках.

Решение

В Elevenlabs я создал три аудио дорожки.
Использовав нейросеть и первый кадр как опорное изображения я создал 3 ролика.
На русском языке, на английском языке а так же на китайском.

Результат

В результате получилось три видео ролика очень близких к реалистичному результату.
Есть небольшие недостатки в версии видео с русским языком, это чисто техническая проблема которая в будущем должна решится.

Ссылки на примеры реализации

 disk.yandex.ru/i/9u-MjxNGuINhbg  disk.yandex.ru/i/ppEb-dwu0O5pQA  disk.yandex.ru/i/5qRVmKSC4KTWCw

Презентация проекта