Офіційний партнер BytePlusBytePlus, компанія ByteDance
Офіційний партнер BytePlus · OmniHuman 2.0
Ліпсинк зі ШІ: фото та голос перетворюються на відео з мовленням
Завантажте фото, додайте голос, і Lip Sync у KreatorFlow змусить людину на зображенні вимовити або заспівати кожне слово з природними жестами та мімікою. Працює на OmniHuman 2.0, моделі ByteDance, якою керує звук, а один дубль триває до 5 хвилин.
- До 5 хвилин
- Мовлення, спів та реп
- Люди, персонажі та домашні улюбленці
- 720p або 1080p
- $0.20/с у 720p
Ліпсинк доступний лише на платному доступі. Два способи почати з невеликої суми: пробний доступ на 48 год за $3 (60 кр., приблизно 15 с у 720p; далі підключається тариф Creator: $19 за перший місяць і $25 на місяць, якщо не скасувати його протягом цих 48 год; також на Pro (60 кр., далі $49 на місяць) або Max (60 кр., далі $99 на місяць)) або пакет кредитів від $8 (160 кр., приблизно 40 с у 720p, разова оплата без підписки).
Останнє оновлення:
На цій сторінці
- Що робить ліпсинк зі ШІ
- Чого він не робить: оживляє фото, а не відео
- Як створити відео з ліпсинком за три кроки
- Що можна зробити
- Звідки береться голос
- Скільки коштує відео з ліпсинком
- Для чого його використовують найчастіше
- Поради для природного результату
- Згода та відповідальне використання
- Питання про ліпсинк з ШІ
- Ще почитати
Що робить ліпсинк зі ШІ
Ліпсинк зі ШІ бере дві речі: зображення людини та те, що вона має сказати, і повертає відео, де ця людина це говорить. Lip Sync у KreatorFlow робить це з OmniHuman 2.0, найновішою відеомоделлю ByteDance, якою керує звук. KreatorFlow є офіційним партнером BytePlus, компанії ByteDance, а модель працює через BytePlus.
«Керує звук» означає, що головне тут аудіо. Рот рухається за словами, брови та голова реагують на наголоси, паузи виглядають як паузи, а пісня саме виконується, а не просто промовляється. Не обов'язковий текстовий промпт додає лише те, чого немає в аудіо: посмішку, кивок або повільний наїзд камери.
Чого він не робить: оживляє фото, а не відео
Щоб було зрозуміло: Lip Sync починає з нерухомого фото. Він не дублює та не пересинхронізує вже готове відео і не змінює рот у записаному кліпі. Якщо потрібно, щоб людина з відео сказала щось інше, візьміть чіткий кадр з цього відео як фото та згенеруйте новий ролик з новим голосом. Розмову двох людей в одному завданні він теж не робить: кожне відео це одне фото і один голос.
Як створити відео з ліпсинком за три кроки
- 1
Завантажте фото
Чітке фото людини, персонажа або улюбленця: ваше, з ваших генерацій або з збережених персонажів. Найкраще працює одне обличчя, яке дивиться приблизно в камеру, з добре видимим ротом.
- 2
Додайте голос
Завантажте свій MP3 або WAV (запис, пісню або фразу, створену в аудіостудії, зокрема клонованим голосом) або напишіть текст і виберіть голос. Довжина доріжки від 4 секунди до 5 хвилин.
- 3
Згенеруйте і завантажте
Виберіть 720p або 1080p, за бажанням додайте підказку про жести або камеру і натисніть «Згенерувати». Ціна видна заздалегідь: $0.20 за секунду в 720p (4 кредити). Відео триває рівно стільки, скільки аудіо, і зберігається у вашій бібліотеці.
Що можна зробити
До 5 хвилин одним дублем
Будь-яка голосова доріжка від 4 секунди до 5 хвилин. Відео триває рівно стільки ж, скільки аудіо.
Мовлення, спів та реп
Діалоги, закадровий текст, пісні та швидкі куплети. Форма губ, інтонація та емоція слідують за доріжкою.
Люди, персонажі та домашні улюбленці
Портрети, персонажі аніме та мультфільмів, 3D-персонажі, фантастичні істоти та тварини.
Будь-яка мова
Модель слідує за звуком: українська, англійська або будь-яка інша мова, яка є у вашому аудіо.
Режисура виконання
До 2 000 символів промпту: жести, емоції, рухи камери.
720p або 1080p
$0.20 за секунду в 720p (4 кредити); $0.30 за секунду в 1080p (6 кредитів).
Хочете, щоб фото співало? Дивіться, як змусити фото співати. Намальований або 3D-персонаж? Для цього є ліпсинк для мультфільмів (англійською). Потрібен ведучий для роликів? Це говорячий аватар зі ШІ.
Звідки береться голос
Голос з аудіостудії. Напишіть фразу в синтезі мови (англійською) (2 кредити за 1000 символів), оберіть готовий голос та потім оберіть цей запис у Lip Sync. Українських голосів у каталозі поки немає.
Ваш власний запис. Запишіть себе на телефон, експортуйте MP3 або WAV та завантажте. Чистий голос без шуму дає най чіткіший рух губ.
Ваш клонований голос. Клонуйте свій голос в аудіостудії (клонування голосу зі ШІ (англійською)), створіть ним фразу та оберіть її в Lip Sync.
Голоси на сторінці Lip Sync. Вони англійською: підходять, якщо відео має говорити англійською.
Скільки коштує відео з ліпсинком
Ціна за кожну розпочату секунду аудіо, з того ж коду, за яким списує студія.
За секунду в 720p
$0.20
4 кредити
За секунду в 1080p
$0.30
6 кредитів
| Довжина аудіо | 720p | 1080p |
|---|---|---|
| 4 секунди | 16 кредитів | 24 кредити |
| 10 секунд | 40 кредитів | 60 кредитів |
| 30 секунд | 120 кредитів | 180 кредитів |
| 1 хвилина | 240 кредитів | 360 кредитів |
| 5 хвилин | 1 200 кредитів | 1 800 кредитів |
Для Lip Sync потрібен платний акаунт: пробний доступ на 48 год до Creator, Pro або Max, пакет кредитів від $8 (разовий платіж, без підписки) або тариф від $19 за перший місяць на Creator. Кредити за невдале відео повертаються автоматично. Усі ціни на сторінці цін.
Для чого його використовують найчастіше
- Ведучі для презентацій продуктів та реклами з одного фірмового фото
- Курси та навчання з одним і тим самим ведучим у кожному уроці
- Вітання та подяки вашим власним голосом
- Кліпи та віртуальні виконавці з персонажа та вокальної доріжки
- Одне й те саме повідомлення українською, англійською та іншими мовами з одного фото
- Говорючі домашні улюбленці, персонажі та тварини для соцмереж
Поради для природного результату
- Беріть чітке фото з одним добре видимим обличчям. Крупний та середній план працюють краще, ніж маленьке обличчя на загальному плані.
- Залиште рот та підборіддя відкритими: без рук, мікрофонів та волосся на губах.
- Використовуйте чисте аудіо. Фоновий шум та гучна музика роблять рух губ менш точним.
- Пишіть промпт простими фразами про рух, наприклад «Посміхається та нахиляється до камери, поки говорить».
- Спочатку спробуйте коротку фразу в 720p, а потім робіть довгий дубль в 1080p.
Згода та відповідальне використання
Використовуйте лише свої фото або фото людей, які дали дозвіл. Щоб змусити говорити реальну людину, потрібна її згода, і видавати себе за іншу людину не можна. Голос та музика також мають бути вашими або з правами на використання. Жодного сексуального контенту та нічого з неповнолітніми. Публікуючи реалістичне відео з реальною людиною, вкажіть, що воно створено за допомогою ШІ. Повні правила в правилах використання (англійською).
Питання про ліпсинк з ШІ
Що таке ліпсинк ШІ?
Чи можна синхронізувати губи в уже готовому відео?
Скільки це коштує?
Чи потрібен платний тариф?
Чи працює ліпсинк українською?
Якої довжини може бути відео?
Чи може фото співати, а не тільки говорити?
Чи можна використовувати фото іншої людини?
Зробіть перше говорюче відео
Відкрийте Lip Sync, додайте фото та голос і подивіться ціну до генерації. Доступно на будь-якому платному тарифі, з пробним доступом на 48 год до Creator, Pro або Max або з пакетом кредитів від $8.