Black Friday sale50% OFFyour first month

Get 50% off

Офіційний партнер BytePlusBytePlus, компанія ByteDance

Офіційний партнер BytePlus · OmniHuman 2.0

Ліпсинк зі ШІ: фото та голос перетворюються на відео з мовленням

Завантажте фото, додайте голос, і Lip Sync у KreatorFlow змусить людину на зображенні вимовити або заспівати кожне слово з природними жестами та мімікою. Працює на OmniHuman 2.0, моделі ByteDance, якою керує звук, а один дубль триває до 5 хвилин.

  • До 5 хвилин
  • Мовлення, спів та реп
  • Люди, персонажі та домашні улюбленці
  • 720p або 1080p
  • $0.20/с у 720p

Ліпсинк доступний лише на платному доступі. Два способи почати з невеликої суми: пробний доступ на 48 год за $3 (60 кр., приблизно 15 с у 720p; далі підключається тариф Creator: $19 за перший місяць і $25 на місяць, якщо не скасувати його протягом цих 48 год; також на Pro (60 кр., далі $49 на місяць) або Max (60 кр., далі $99 на місяць)) або пакет кредитів від $8 (160 кр., приблизно 40 с у 720p, разова оплата без підписки).

На цій сторінці
  1. Що робить ліпсинк зі ШІ
  2. Чого він не робить: оживляє фото, а не відео
  3. Як створити відео з ліпсинком за три кроки
  4. Що можна зробити
  5. Звідки береться голос
  6. Скільки коштує відео з ліпсинком
  7. Для чого його використовують найчастіше
  8. Поради для природного результату
  9. Згода та відповідальне використання
  10. Питання про ліпсинк з ШІ
  11. Ще почитати

Що робить ліпсинк зі ШІ

Ліпсинк зі ШІ бере дві речі: зображення людини та те, що вона має сказати, і повертає відео, де ця людина це говорить. Lip Sync у KreatorFlow робить це з OmniHuman 2.0, найновішою відеомоделлю ByteDance, якою керує звук. KreatorFlow є офіційним партнером BytePlus, компанії ByteDance, а модель працює через BytePlus.

«Керує звук» означає, що головне тут аудіо. Рот рухається за словами, брови та голова реагують на наголоси, паузи виглядають як паузи, а пісня саме виконується, а не просто промовляється. Не обов'язковий текстовий промпт додає лише те, чого немає в аудіо: посмішку, кивок або повільний наїзд камери.

Чого він не робить: оживляє фото, а не відео

Щоб було зрозуміло: Lip Sync починає з нерухомого фото. Він не дублює та не пересинхронізує вже готове відео і не змінює рот у записаному кліпі. Якщо потрібно, щоб людина з відео сказала щось інше, візьміть чіткий кадр з цього відео як фото та згенеруйте новий ролик з новим голосом. Розмову двох людей в одному завданні він теж не робить: кожне відео це одне фото і один голос.

Як створити відео з ліпсинком за три кроки

  1. 1

    Завантажте фото

    Чітке фото людини, персонажа або улюбленця: ваше, з ваших генерацій або з збережених персонажів. Найкраще працює одне обличчя, яке дивиться приблизно в камеру, з добре видимим ротом.

  2. 2

    Додайте голос

    Завантажте свій MP3 або WAV (запис, пісню або фразу, створену в аудіостудії, зокрема клонованим голосом) або напишіть текст і виберіть голос. Довжина доріжки від 4 секунди до 5 хвилин.

  3. 3

    Згенеруйте і завантажте

    Виберіть 720p або 1080p, за бажанням додайте підказку про жести або камеру і натисніть «Згенерувати». Ціна видна заздалегідь: $0.20 за секунду в 720p (4 кредити). Відео триває рівно стільки, скільки аудіо, і зберігається у вашій бібліотеці.

Що можна зробити

До 5 хвилин одним дублем

Будь-яка голосова доріжка від 4 секунди до 5 хвилин. Відео триває рівно стільки ж, скільки аудіо.

Мовлення, спів та реп

Діалоги, закадровий текст, пісні та швидкі куплети. Форма губ, інтонація та емоція слідують за доріжкою.

Люди, персонажі та домашні улюбленці

Портрети, персонажі аніме та мультфільмів, 3D-персонажі, фантастичні істоти та тварини.

Будь-яка мова

Модель слідує за звуком: українська, англійська або будь-яка інша мова, яка є у вашому аудіо.

Режисура виконання

До 2 000 символів промпту: жести, емоції, рухи камери.

720p або 1080p

$0.20 за секунду в 720p (4 кредити); $0.30 за секунду в 1080p (6 кредитів).

Хочете, щоб фото співало? Дивіться, як змусити фото співати. Намальований або 3D-персонаж? Для цього є ліпсинк для мультфільмів (англійською). Потрібен ведучий для роликів? Це говорячий аватар зі ШІ.

Звідки береться голос

Голос з аудіостудії. Напишіть фразу в синтезі мови (англійською) (2 кредити за 1000 символів), оберіть готовий голос та потім оберіть цей запис у Lip Sync. Українських голосів у каталозі поки немає.

Ваш власний запис. Запишіть себе на телефон, експортуйте MP3 або WAV та завантажте. Чистий голос без шуму дає най чіткіший рух губ.

Ваш клонований голос. Клонуйте свій голос в аудіостудії (клонування голосу зі ШІ (англійською)), створіть ним фразу та оберіть її в Lip Sync.

Голоси на сторінці Lip Sync. Вони англійською: підходять, якщо відео має говорити англійською.

Скільки коштує відео з ліпсинком

Ціна за кожну розпочату секунду аудіо, з того ж коду, за яким списує студія.

За секунду в 720p

$0.20

4 кредити

За секунду в 1080p

$0.30

6 кредитів

Кредити Lip Sync за довжиною аудіо та роздільною здатністю
Довжина аудіо720p1080p
4 секунди16 кредитів24 кредити
10 секунд40 кредитів60 кредитів
30 секунд120 кредитів180 кредитів
1 хвилина240 кредитів360 кредитів
5 хвилин1 200 кредитів1 800 кредитів

Для Lip Sync потрібен платний акаунт: пробний доступ на 48 год до Creator, Pro або Max, пакет кредитів від $8 (разовий платіж, без підписки) або тариф від $19 за перший місяць на Creator. Кредити за невдале відео повертаються автоматично. Усі ціни на сторінці цін.

Для чого його використовують найчастіше

  • Ведучі для презентацій продуктів та реклами з одного фірмового фото
  • Курси та навчання з одним і тим самим ведучим у кожному уроці
  • Вітання та подяки вашим власним голосом
  • Кліпи та віртуальні виконавці з персонажа та вокальної доріжки
  • Одне й те саме повідомлення українською, англійською та іншими мовами з одного фото
  • Говорючі домашні улюбленці, персонажі та тварини для соцмереж

Поради для природного результату

  • Беріть чітке фото з одним добре видимим обличчям. Крупний та середній план працюють краще, ніж маленьке обличчя на загальному плані.
  • Залиште рот та підборіддя відкритими: без рук, мікрофонів та волосся на губах.
  • Використовуйте чисте аудіо. Фоновий шум та гучна музика роблять рух губ менш точним.
  • Пишіть промпт простими фразами про рух, наприклад «Посміхається та нахиляється до камери, поки говорить».
  • Спочатку спробуйте коротку фразу в 720p, а потім робіть довгий дубль в 1080p.

Згода та відповідальне використання

Використовуйте лише свої фото або фото людей, які дали дозвіл. Щоб змусити говорити реальну людину, потрібна її згода, і видавати себе за іншу людину не можна. Голос та музика також мають бути вашими або з правами на використання. Жодного сексуального контенту та нічого з неповнолітніми. Публікуючи реалістичне відео з реальною людиною, вкажіть, що воно створено за допомогою ШІ. Повні правила в правилах використання (англійською).

Питання про ліпсинк з ШІ

Що таке ліпсинк ШІ?

Це перетворення нерухомого фото і аудіодоріжки на відео, де людина з фото вимовляє або співає це аудіо. У KreatorFlow за це відповідає OmniHuman 2.0, відеомодель ByteDance, якою керує звук: губи слідують за кожним словом, а обличчя, голова і плечі рухаються в ритмі і з емоцією голосу.

Чи можна синхронізувати губи в уже готовому відео?

Ні. Ліпсинк оживляє фото, а не існуюче відео: він створює новий ролик із нерухомого зображення і голосу і не змінює рот у записаному кліпі. Якщо у вас є відео з людиною, візьміть із нього чіткий кадр, де вона дивиться в камеру, і використовуйте його як фото.

Скільки це коштує?

$0.20 за секунду в 720p (4 кредити) і $0.30 за секунду в 1080p (6 кредитів), за кожну розпочату секунду, мінімум 4 секунди. Кліп на 10 секунд коштує 40 кредитів у 720p, а хвилина 240 кредитів. Точну ціну ви бачите до генерації, а якщо відео не вдалося, кредити повертаються автоматично.

Чи потрібен платний тариф?

Так, Ліпсинк платний. Можна розпочати з пробного доступу на 48 год до Creator, Pro або Max або з пакету кредитів від $8 без підписки, або з будь-якого тарифу, від $19 за перший місяць на Creator. Обидві роздільні здатності доступні на всіх платних акаунтах.

Чи працює ліпсинк українською?

Так. Модель слідує за звуком, тому голос може бути будь-якою мовою і з будь-яким акцентом, зокрема українською. Готові голоси на сторінці Lip Sync англійською; для української запишіть власний голос або клонуйте свій в аудіостудії. Каталог голосів аудіостудії поки що не містить українських голосів.

Якої довжини може бути відео?

Як ваше аудіо: від 4 секунди до 5 хвилин за одну генерацію. Цього вистачає на презентацію, урок, фрагмент подкасту або цілу пісню одним дублем.

Чи може фото співати, а не тільки говорити?

Так. OmniHuman 2.0 слідує за піснями і швидким репом, а не тільки за мовою. Завантажте вокальну доріжку: чистий голос з тихою музикою дає найточніший рух губ.

Чи можна використовувати фото іншої людини?

Тільки з її згоди. Ви повинні бути людиною на фото або мати її згоду, щоб змусити її говорити, а також права на голос і музику. Сайт просить підтвердити це для кожного нового фото. Не можна використовувати знаменитостей і публічних людей без дозволу, а також сексуальний контент і будь-які матеріали з неповнолітніми.

Зробіть перше говорюче відео

Відкрийте Lip Sync, додайте фото та голос і подивіться ціну до генерації. Доступно на будь-якому платному тарифі, з пробним доступом на 48 год до Creator, Pro або Max або з пакетом кредитів від $8.

Ще почитати