Black Friday sale50% OFFyour first month

Get 50% off

Официален партньор на BytePlusBytePlus, компания на ByteDance

Официален партньор на BytePlus · OmniHuman 2.0

AI lip sync: създай видео с говорещи персонажи от снимки и глас

Качи снимка, добави гласова дорожка, а персонажът на снимката ще изговаря или ще пее всяка дума с естествени изрази и движения. Работи с OmniHuman 2.0, аудио-управляем модел на ByteDance, с едно вземане до 5 минута.

  • До 5 минути
  • Говорене, пеене и рап
  • Хора, персонажи и животни
  • 720p или 1080p
  • 4 кредита за секунда

Lip Sync е платен инструмент. Два начина да започнеш с малка сума: пробен период от 48 часа за $3 (60 кредита, около 15 секунди в 720p; след това Creator продължава на цена $19 за първия месец и $25/месец, освен ако не откажеш в рамките на 48 часа; налично и с Pro (60 кредита, после $49/месец) или Max (60 кредита, после $99/месец)) или пакет с кредити от $8 (160 кредита, около 40 секунди в 720p, еднократно плащане без абонамент).

На тази страница
  1. Какво можеш да създадеш с AI lip sync
  2. Създай видео с lip sync в 3 стъпки
  3. Видео, което можеш да създадеш
  4. Откъде идва гласът?
  5. Какво струва видео със синхронизация на устните
  6. Популярни приложения
  7. Съвети за естествен резултат
  8. Често задавани въпроси за AI lip sync
  9. Продължи да изследваш

Какво можеш да създадеш с AI lip sync

AI lip sync приема две неща: снимка на човек и нещо, което той да каже. Резултатът е видео, в което този човек наистина говори. Lip Sync в KreatorFlow използва OmniHuman 2.0 най-новия аудио-управляем видео модел на ByteDance. KreatorFlow е официален партньор на BytePlus, компания на ByteDance и изпълнява този модел чрез BytePlus.

Аудио-управляем означава, че звукът води. Движенията на устата съвпадат със думите, веждите и главата реагират на акцентите, паузите изглеждат като паузи, а песента звучи като истинско пеене, а не просто съвпадение с устата. Писмените инструкции са достатъчни за неща, които аудио не предава, като усмивка, кимане или бавно приближаване на камерата.

Едно генериране може да продължи до 5 минути, така че цял разговор, учебен материал, презентация на продукт или цяла песен могат да станат едно непрекъснато видео със същото лице от начало до край, без сглобяване на къси клипове.

Създай видео с lip sync в 3 стъпки

  1. 1

    Качи снимка

    Качи една ясна снимка на човек, персонаж или домашен любимец, или избери от качените, генерираните или запазените персонажи. Най-добри резултати дава снимка с едно лице, обърнато към камерата и с открити устни.

  2. 2

    Добави аудио

    Въведи текст и избери един от вградените гласове, или качи собствено записано аудио, песен или гласова линия от Audio studio (MP3 или WAV). Дължината на аудио може да бъде 4 секунди до 5 минути.

  3. 3

    Генерирай и изтегли

    Избери резолюция 720p или 1080p, добави по желание инструкции за жестове и движение на камерата, и натисни Генерирай. Цената се показва предварително: 4 кредита за секунда в 720p и 6 кредита за секунда в 1080p. Видеото е с дължина, равна на аудио, и се появява в библиотеката ти.

Видео, което можеш да създадеш

Едно вземане до 5 минути

Аудиото може да продължи 4 секунди до 5 минути, а дължината на видеото е точно същата като на аудио.

Говоряща снимка, пееща снимка

Разговор, разказ, песен, до бърз рап. Движенията на устата, интонацията и емоциите следват аудио.

Хора, персонажи, животни

Портрети, аниме и карикури персонажи, 3D персонажи, фентъзи същества и животни могат да бъдат анимирани.

Всеки език

Моделът следва звука, така че български и други езици или диалекти могат да се използват, ако има аудио.

Инструкции за движение

Напиши движения, емоции, движения на камерата и събития във фона до 2000 знака.

720p или 1080p

4 кредита за секунда в 720p и 6 кредита за секунда в 1080p, показани преди генериране.

Откъде идва гласът?

Вграден глас. Въведи текст и избери един от вградените английски гласове на страницата за синхронизация на устни. Гласовата линия се създава първо чрез текст към реч (2 кредита за 1000 знака), след което видеото.

Твоето собствено записване. Запиши се с телефона си и качи MP3 или WAV. По-чистият звук и по-малко шумове дават по-ясно движение на устните.

Звук от аудио студиото. Създай гласова линия чрез текст към реч на много езици и гласове или клонирай собствения си глас. Гласовите линии, които създадеш, се появяват в избора за аудио на синхронизацията на устните.

Песен. Качи вокална линия, за която притежаваш права. Ако имаш само пълен микс, версия с тиха музика в фона дава по-добри резултати.

Какво струва видео със синхронизация на устните

Кредитите се броят за всяка започната секунда от аудио, прочетени от един и същ код, който студиото използва за таксуване.

720p за секунда

4

кредита

1080p за секунда

6

кредита

Кредити за синхронизация на устните според дължина на аудио и резолюция
Дължина на аудио720p1080p
4 секунди16 кредита24 кредита
10 секунди40 кредита60 кредита
30 секунди120 кредита180 кредита
1 минути240 кредита360 кредита
5 минути1200 кредита1800 кредита

Минималната дължина, която се брои, е 4 секунди, а най-дългото видео, 5 минути струва 1200 кредита в 720p. Синхронизацията на устните изисква платен акаунт: план (започвайки от Creator започвайки $19 в първия месец) или пакет кредити (започвайки от $8), достатъчен е един от тях. Кредитите за неуспешно видео се връщат автоматично. Всички планове виждаш на страницата цени. Цените в долари.

Популярни приложения

  • Презентации на продукти и реклами с говорител от една снимка на бранда
  • Обучителни видеа и уроци с един и същ водещ във всяко занятие
  • Рождени и благодарствени съобщения от твоя снимка и глас
  • Музикални видеа и виртуални певци от персонаж и вокална линия
  • Едно и също съобщение на няколко езика от една снимка
  • Аудиокниги, подкасти и новинарски сегменти с лице на екрана
  • Говорещи маскоти, домашни любимци и анимационни персонажи за социални мрежи

Съвети за естествен резултат

  • Използвай остра снимка с ясно видима една лице. Най-добре работят близки планове и полуфигури; малки лица в широки планове не са подходящи.
  • Не покривай устните и брадичката: ръце, микрофон или коса не трябва да засенчват устните.
  • Използвай чист аудио запис. Шумът и силната музика в задния план правят движението на устните по-малко точно.
  • Пиши указанията като обикновени изречения само за движение, например „тя се усмихва, после се навежда към камерата, докато говори“. Не описвай това, което вече е на снимката.
  • Тествай кратък запис в 720p, преди да генерираш дълъг клип в 1080p.

Съгласие и отговорно използване

AI lip sync кара лицето на снимката да изговаря аудио запис точно така, както е. Правилата са ясни. При първото генериране с нова снимка сайтът те моли да потвърдиш, че си ти или че имаш разрешение. Снимката се проверява преди да се начислят кредити, а снимки с голи тела или с лица под 18 години не се обработват.

  • Използвай собствено изображение или изображение на лице, което е дало съгласие за анимиране на лицето. Можеш да използваш свои персонажи, животни и илюстрации.
  • Използвай глас, за който имаш право да го използваш: собствен, по подразбиране, клониран със съгласие или запис с разрешение. Същото важи и за музиката и песните.
  • Сексуално съдържание, включващо лица под 18 години и измама с самоличност са забранени. Не създавай записи, в които реални хора казват неща, които никога не са казвали, с цел измама, тормоз или дезинформация.
  • Публични лица, като знаменитости и политици, не могат да се използват без тяхното съгласие и права за използване на образа.
  • При качване на видео на реално лице, което говори, маркирай, че видеото е създадено с AI. Много платформи изискват това маркиране.

Пълният списък с забрани е в Политика за използване (на английски).

Често задавани въпроси за AI lip sync

Какво е AI lip sync?

AI lip sync превръща статична снимка и аудио в видео, в което човекът на снимката говори или пее това аудио. В KreatorFlow то работи на OmniHuman 2.0, аудио-управлявания видео модел на ByteDance: устните следват всяка дума, а лицето, главата и горната част на тялото се движат според ритъма и емоцията на гласа.

Колко дълго може да бъде видеото с lip sync?

Видеото е с дължина, равна на аудио: 4 секунди до 5 минути за едно генериране. Това е достатъчно за цяла презентация, урок, сегмент от подкаст или цяла песен в едно продължително уе.

Колко струва AI lip sync?

4 кредита за секунда аудио в 720p и 6 кредита за секунда в 1080p, броят се за започната секунда с минимум 4 секунди. 10-секунден клип струва 40 кредита в 720p240 кредита. Точната цена се показва преди генериране, а при неуспешно видео кредитите се връщат.

Трябва ли да имам платен абонамент?

Да. Lip Sync работи с всеки платен план или пакет кредити. Планите започват от Creator $19 за първия месец на $8, а най-малкият пакет кредити е 160 кредита. И двете резолюции са достъпни за всеки платен акаунт.

Може ли снимката да пее, а не само да говори?

Да. OmniHuman 2.0 следва пеене и бърз речитатив, както и обикновена реч, като устните, интонацията и емоцията следват аудио записа. Качи вокалната линия: чист вокал с малко музика в фона дава най-точното движение на устните.

В кои езици работи lip sync?

Моделът следва звука на аудио, така че гласовата линия може да бъде на всеки език. Вградените гласове на страницата за lip sync са на английски; за други езици създай гласова линия в Audio studio или качи собствено записано аудио.

Работи ли с анимационни персонажи, 3D модели и животни?

Да. Освен реални хора, OmniHuman 2.0 анимира аниме и кросувъчни персонажи, 3D модели, фентъзи същества и животни, като котки или еноти, стига лицето да е ясно.

Мога ли да използвам снимка на друг човек?

Само с негово разрешение. Трябва да си лицето на снимката или да имаш съгласието му да го накараш да говори, и трябва да имаш правата върху гласа и музиката. Сайтът те моли да потвърдиш това за всяка нова снимка. Използването на образи на знаменитости и публични личности без разрешение е забранено, както и всичко сексуално или с участието на непълнолетни.

Мога ли да използвам собствения си глас или клониран глас?

Да. Качи запис на себе си, или клонирай гласа си в Audio studio, създай гласова линия с него и избери тази линия в Lip Sync. Вградените гласове струват цената за Text to Speech за линията (2 кредита за 1000 знака) върху цената на видеото.

Има ли API за lip sync?

Да. Разработчиците могат да извикват /v1/lip-sync със снимка и гласова линия и да плащат на секунда с предварително платени токени: $0.20 за секунда в 720p и $0.30 за секунда в 1080p. Виж страницата за OmniHuman API.

Създай първия си говорещ клип

Отвори Lip Sync, качи снимка и аудио запис, а цената ще се покаже преди генерирането. Достъпно е с всеки платен план или пакет кредити.

Lip Sync е платен инструмент. Два начина да започнеш с малка сума: пробен период от 48 часа за $3 (60 кредита, около 15 секунди в 720p; след това Creator продължава на цена $19 за първия месец и $25/месец, освен ако не откажеш в рамките на 48 часа; налично и с Pro (60 кредита, после $49/месец) или Max (60 кредита, после $99/месец)) или пакет с кредити от $8 (160 кредита, около 40 секунди в 720p, еднократно плащане без абонамент).

Продължи да изследваш