01
Подготовьте материалы
Начните с исходного аудио, чёткого референсного изображения персонажа и текста песни или реплик, которые задают нужный липсинк.
Аудиореференс в Seedance 2.0 не работает?
Попробуйте этот рабочий процесс с видео на чёрном экране, чтобы Seedance 2.0 точнее следовала референсному аудио при липсинке, создании клипов и видео с персонажами.
Проблема
Аудиореференсы могут «плыть» по ритму и интервалам.
Решение
Подавайте аудиофрагменты как видео с чёрным экраном.
Аудиореференс может звучать похоже, но всё равно расходиться
Seedance 2.0 нативно поддерживает аудиореференсы, однако при прямом использовании аудио в качестве референса сгенерированный звук может заметно отличаться от оригинала. Особенно это заметно на музыке.
Преобразуйте аудио в видео с чёрным экраном
Ключевое решение простое: преобразуйте каждый аудиофрагмент в видео с чёрным экраном, а затем используйте это видео как входные данные для Seedance 2.0.
02
Разделите аудио
Поскольку Seedance 2.0 поддерживает видео длительностью не более 15 секунд, разбейте длинную музыку или диалог на несколько коротких фрагментов.
03
Преобразуйте каждый фрагмент в видео с чёрным экраном
Создайте MP4 с чёрным экраном и исходной аудиодорожкой. Так аудио превращается в видеовход, которому Seedance следует точнее.
04
Сгенерируйте в Seedance 2.0
Используйте видео с чёрным экраном как входной референс и строго выдерживайте длительность результата равной длительности входного видео.
Подготовьте аудио, текст и референсное изображение
Исходное аудио
Текст песни
Waking up to golden light. Coffee warm and feeling right.
Birds are singing just for me. Living life so wild and free.
This is my beautiful life. Every moment shining bright.
Dancing through the ups and downs. Wearing joy like a crown.
Beautiful life, oh yeah. Beautiful life
Ключевой шаг: преобразуйте каждый аудиофрагмент в MP4 с чёрным экраном, прежде чем использовать его как видеореференс в Seedance 2.0.
Создайте видео с чёрным экраном
Это можно сделать с помощью FFmpeg или в видеоредакторе вроде CapCut: поместите аудиофрагмент на чёрный холст и экспортируйте в MP4.
Пример команды FFmpeg
ffmpeg -f lavfi -i color=c=black:s=1280x720:r=24 -i clip1_audio.mp3 -shortest -c:v libx264 -c:a aac clip1.mp4Вход с чёрным экраном и результат Seedance
Для каждого фрагмента видео с чёрным экраном используется как входной референс, а Seedance 2.0 получает задачу оживить героя с изображения со строгим липсинком.
01
woo~
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, creating an overall light, lively, and sunny atmosphere. Lip-sync is strictly synchronized: "woo~ woo~"
Видео с чёрным экраном
Итоговое видео
02
Waking up to golden light. Coffee warm and feeling right.
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, change the outfit and background, and create an overall light, lively, and sunny atmosphere. Lip-sync strictly: "Waking up to golden light. Coffee warm and feeling right."
Видео с чёрным экраном
Итоговое видео
03
Birds are singing just for me. Living life so wild and free.
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, change the outfit and background, and create an overall light, lively, and sunny atmosphere. Lip-sync strictly: "Birds are singing just for me. Living life so wild and free."
Видео с чёрным экраном
Итоговое видео
04
This is my beautiful life
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, change the outfit and background, and create an overall light, lively, and sunny atmosphere. Lip-sync strictly: "This is my beautiful life"
Видео с чёрным экраном
Итоговое видео
05
Every moment shining bright. Dancing through the ups and downs. Wearing joy like a crown.
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, change the outfit and background, and create an overall light, lively, and sunny atmosphere. Lip-sync strictly: "Every moment shining bright, Dancing through the ups and downs. Wearing joy like a crown."
Видео с чёрным экраном
Итоговое видео
06
woo~ Beautiful life, oh yeah Beautiful life.
Референсное видео с чёрным экраном и результат Seedance 2.0
Промпт
Use the audio from @Video 1 to drive the protagonist in @Image 1 to generate an MV with multiple shots, change the outfit and background, and create an overall light, lively, and sunny atmosphere. Lip-sync strictly: "woo~ Beautiful life, oh yeah Beautiful life"
Видео с чёрным экраном
Итоговое видео
Финальный результат
Готовый ролик после сведения липсинк-видео с исходным аудио
Звук на выходе не на 100% идентичен входному, но согласованность достаточно высока, чтобы сократить затраты на доработку при постпродакшене клипа.
Попробуйте аудио-workflow в Seedance 2.0.
Превратите аудиофрагменты в видеореференсы с чёрным экраном и создавайте более согласованные липсинк-видео на SeeGen AI.
Попробовать Seedance 2 бесплатно