Липсинк нейросетью

Липсинком называют совпадение движения губ с речью. Раньше это была ручная работа аниматора покадрово, теперь модель раскладывает текст на звуки и строит артикуляцию сама — по одной фотографии.

Сделать липсинк

Результат за минуту · Есть бесплатные шаблоны

Выглядит это как настоящая съёмка говорящего человека: губы попадают в слова, лицо живёт, голова слегка двигается. Отличить от записи на камеру с первого взгляда почти невозможно.

Как это устроено
Текст разбирается на фонемы — минимальные звуки речи, — и каждому подбирается положение губ. Затем модель дорисовывает промежуточные кадры, чтобы переходы были плавными. Поэтому речь выглядит непрерывной, а не набором поз.
Какое фото подходит
Портрет анфас, лицо крупно и открыто: без маски, без ладони у подбородка, без сильной тени на половину лица. Чем лучше модель видит рот, щёки и подбородок, тем точнее получается артикуляция и тем живее выглядит речь.
Свой голос или синтезированный
Голос берётся из библиотеки, где собраны мужские и женские варианты с разной подачей, либо накладывается ваша собственная запись. Во втором случае артикуляция подстроится под вашу интонацию, паузы и темп речи.
Липсинк или липсинг
Правильно — липсинк, от английского lip sync, «синхронизация губ». Вариант с «г» на конце встречается часто, но это ошибка расшифровки на слух: речь именно о синхронности движения губ, а не о пении под фонограмму.