Black Friday sale50% OFFyour first month

Get 50% off

Oficiální partner BytePlusBytePlus, společnost ByteDance

Oficiální partner BytePlus · OmniHuman 2.0

AI lip sync: tvořte videa s mluvícími postavami na základě fotografií a hlasu

Nahrajte fotografii, přidejte zvukovou stopu a postava na fotografii bude vyslovovat nebo zpívat každé slovo s přirozenými výrazy a pohyby. Funguje to s OmniHuman 2.0, audio řízeným modelem od ByteDance, a jeden záběr může trvat až 5 minut.

  • Až 5 minut
  • Mluvení, zpěv a rap
  • Lidé, postavy a zvířata
  • 720p nebo 1080p
  • 4 kredity za sekundu

Lip Sync je placený nástroj. Dva způsoby, jak začít s malou částkou: zkušební přístup na 48 hodin za $3 (60 kreditů, přibližně 15 s ve 720p; poté Creator pokračuje za $19 první měsíc a $25/měsíc, pokud nezrušíte do 48 hodin; k dispozici také s plány Pro (60 kreditů, poté $49/měsíc) nebo Max (60 kreditů, poté $99/měsíc)) nebo balíček kreditů od $8 (160 kreditů, přibližně 40 s ve 720p, jednorázová platba bez předplatného).

Na této stránce
  1. Co můžete vytvořit s AI lip sync
  2. Vytvořte video lip sync ve 3 krocích
  3. Video, které můžete vytvořit
  4. Odkud pochází zvuk?
  5. Cena videa s lip sync
  6. Populární použití
  7. Tipy pro přirozený výsledek
  8. Často kladené otázky o AI lip sync
  9. Prozkoumejte další

Co můžete vytvořit s AI lip sync

AI lip sync přijímá dvě věci: fotografii osoby a to, co má říct. Výsledkem je video, ve kterém tato osoba skutečně mluví. Lip sync v KreatorFlow používá OmniHuman 2.0 nejnovější video model řízený zvukem od ByteDance. KreatorFlow je oficiální partner BytePlus, společnosti ByteDance a spouští tento model prostřednictvím BytePlus.

Řízený zvukem znamená, že zvuk vede. Pohyby rtů odpovídají slovům, obočí a hlava reagují na důraz, pauzy vypadají jako pauzy a píseň je předvedena, nikoli jen přizpůsobena rtům. Písemné pokyny stačí na věci, které audio nepřenáší, jako je úsměv, kývnutí nebo pomalé přiblížení kamery.

Jedno vygenerování může trvat až 5 minut, takže celá přednáška, lekce, prezentace produktu nebo celá píseň mohou být jedním plynulým videem se stejnou tváří od začátku do konce, bez spojování krátkých klipů.

Vytvořte video lip sync ve 3 krocích

  1. 1

    Přidejte fotku

    Nahrajte jednu jasnou fotku osoby, postavy nebo zvířete, nebo vyberte z vašich nahraných souborů, generovaných obrázků nebo uložených postav. Nejlepší výsledky dosáhnete s jednou tváří, která je přibližně obrácena kameře a má odhalená ústa.

  2. 2

    Přidejte hlas

    Napište text a vyberte jeden z našich hlasů, nebo přidejte vlastní MP3 nebo WAV: nahrávku, píseň nebo hlasovou linku vytvořenou v Audio studiu, včetně sklonovaného hlasu. Stopa může být dlouhá 4 sekund až 5 minut.

  3. 3

    Generujte a stáhněte

    Vyberte 720p nebo 1080p, přidejte volitelný pokyn pro gesta a pohyb kamery a stiskněte Generovat. Cena se zobrazí předem: 4 kredity za sekundu v 720p, 6 kreditů v 1080p. Video je stejně dlouhé jako audio a objeví se ve vaší knihovně.

Video, které můžete vytvořit

Jeden záběr až 5 minut

Zvuková stopa může trvat 4 sekund až 5 minut a délka videa je přesně stejná jako délka audio.

Mluvící fotografie, zpívající fotografie

Rozhovor, vyprávění, píseň až po rychlý rap. Pohyby rtů, intonace a emoce sledují audio.

Lidé, postavy, zvířata

Portréty, postavy anime a kreslené, 3D postavy, fantasy bytosti a zvířata mohou být animovány.

Jakýkoli jazyk

Model sleduje zvuk, takže lze použít češtinu a další jazyky nebo dialekty, pokud máte audio.

Pokyny k pohybu

Napište pokyny k pohybu, emocím, pohybu kamery a dějům na pozadí do 2 000 znaků.

720p nebo 1080p

4 kredity za sekundu v 720p a 6 kreditů za sekundu v 1080p, zobrazeno před generováním.

Odkud pochází zvuk?

Vestavěný zvuk. Napište text a vyberte jeden z vestavěných anglických hlasů na stránce lip sync. Hlasová linka se nejdřív vytvoří pomocí text to speech (2 kredity za 1 000 znaků), a pak video.

Vaše vlastní nahrávka. Nahrajte ji na telefonu a nahrajte jako MP3 nebo WAV. Čistý zvuk s minimem šumu dává nejostřejší pohyb rtů.

Zvuk ze studia Audio. Vytvořte hlasovou linku pomocí text to speech v mnoha jazycích a hlasech nebo si naklonujte vlastní hlas. Hlasové linky, které vytvoříte, se objeví v výběru audia pro lip sync.

Píseň. Nahrajte vokální stopu, ke které máte práva. Pokud máte k dispozici pouze plný mix, verze s tišší hudbou na pozadí dává lepší výsledky.

Cena videa s lip sync

Kredity se počítají za každou začatou sekundu zvuku, podle kódu, který je stejný jako ten, který studio používá pro odpočítávání kreditů.

720p za sekundu

4

kredity

1080p za sekundu

6

kredity

Kredity pro lip sync závisí na délce zvuku a rozlišení
Délka zvuku720p1080p
4 sekund16 kreditů24 kreditů
10 sekund40 kreditů60 kreditů
30 sekund120 kreditů180 kreditů
1 minut240 kreditů360 kreditů
5 minut1 200 kreditů1 800 kreditů

Minimální délka, která se počítá, je 4 sekund, a nejdelší video, 5 minut stojí 1 200 kreditů v 720p. Lip sync vyžaduje placený účet: plán (začínaje od Creator začínaje $19 v prvním měsíci) nebo balíček kreditů (začínaje od $8), stačí jeden z nich. Kredity za neúspěšná videa se automaticky vrátí. Všechny plány najdete na stránce ceny. Ceny v amerických dolarech.

Populární použití

  • Prezentační videa a reklamy s mluvící postavou z jednoho firemního portrétu
  • Vysvětlující videa k kurzům a školení se stejným lektorem v každé lekci
  • Narozeninové a poděkovací zprávy z vaší fotky a vlastního hlasu
  • Hudební videa a virtuální zpěváci z postavy a vokální stopy
  • Stejná zpráva v několika jazycích z jednoho portrétu
  • Audioknihy, podcasty a zpravodajské segmenty s tváří na obrazovce
  • Mluvící maskoti, domácí mazlíčci a kreslené postavy pro sociální sítě

Tipy pro přirozený výsledek

  • Použijte ostrou fotografii s jasně viditelnou jednou tváří. Nejlepší jsou záběry na obličej a polopostavy; malé tváře v dalekých záběrech nefungují dobře.
  • Nekrývejte ústa a bradu: ruce, mikrofon ani vlasy by neměly zakrývat rty.
  • Používejte čistý zvuk. Šum a hlasitá hudba na pozadí snižují přesnost pohybu rtů.
  • Napište pokyny pro pohyb jako obyčejné věty, například „usměje se, pak se k vám nakloní, když mluví“. Nepopisujte to, co už je na fotce.
  • Než vytvoříte dlouhé video v 1080p, otestujte krátkou větu v 720p.

Souhlas a odpovědné používání

AI lip sync přiměje osobu na fotce mluvit nebo zpívat podle zvukové stopy. Pravidla jsou proto jasná. Při prvním generování s novou fotkou vás stránka požádá o potvrzení, že jste to vy nebo že máte souhlas. Fotka se zkontroluje před účtováním kreditů a fotky s nahotou nebo s osobami mladšími 18 let se nevygenerují.

  • Použijte vlastní fotografii nebo fotografii osoby, která udělila souhlas s animací obličeje. Můžete použít vlastní postavy, zvířata a ilustrace.
  • Použijte hlas, který máte právo používat: vlastní, výchozí, klonovaný se souhlasem nebo povolený záznam. To samé platí pro hudbu a písně.
  • Sexuální obsah, obsah zahrnující osoby mladší 18 let a vydávání se za jiné osoby je zakázán. Nevytvářejte záznamy, ve kterých skutečné osoby říkají věci, které nikdy neřekly, s cílem podvodu, obtěžování nebo dezinformací.
  • Veřejné osoby, jako jsou celebrity a politici, nemohou být použity bez jejich souhlasu a práv k užití jejich podoby.
  • Při nahrávání videa skutečné osoby, která mluví, označte, že video bylo vytvořeno pomocí AI. Mnoho platforem toto označení vyžaduje.

Plný seznam zákazů najdete v Podmínky používání (anglicky).

Často kladené otázky o AI lip sync

Co je AI lip sync?

AI lip sync promění statickou fotku a audio stopu na video, kde osoba na fotce mluví nebo zpívá dané audio. V KreatorFlow běží na OmniHuman 2.0, audio řízeném video modelu od ByteDance: rty sledují každé slovo a obličej, hlava a horní část těla se pohybují v rytmu a emocích hlasu.

Jak dlouhé může být video s lip sync?

Video je stejně dlouhé jako vaše audio: 4 sekund až 5 minut za generování. To je dostatečně dlouhé pro celou prezentaci, lekci, segment podcastu nebo celou píseň v jednom záběru.

Kolik stojí AI lip sync?

4 kredity za sekundu audio v 720p a 6 kreditů za sekundu v 1080p, počítáno za každou započatou sekundu s minimem 4 sekund. 10sekundový klip stojí v 720p 40 kreditů, a celá minuta 240 kreditů. Přesná cena se zobrazí před generováním a neúspěšné video vrátí kredity.

Potřebuji placený plán?

Ano. Lip Sync funguje na jakémkoli placeném plánu nebo balíku kreditů. Plány začínají na Creator $19 za první měsíc na $8 a nejmenší balík kreditů je 160 kreditů. Obě rozlišení jsou dostupná na každém placeném účtu.

Může fotka zpívat, nejen mluvit?

Ano. OmniHuman 2.0 sleduje zpěv a rychlý rap stejně dobře jako řeč, přičemž ústa, intonace a emoce následují stopu. Nahrajte vokální stopu; čistý vokál s málo doprovodnou hudbou dává nejpřesnější pohyb úst.

V jakých jazycích lip sync funguje?

Model sleduje zvuk audio, takže hlasová stopa může být v jakémkoli jazyce. Hlasy zabudované na stránce Lip Sync jsou anglické; pro jiné jazyky vytvořte hlasovou linku v Audio studiu nebo nahrajte vlastní nahrávku.

Funguje to s kreslenými postavami, 3D postavami a zvířaty?

Ano. Kromě reálných lidí animuje OmniHuman 2.0 anime a kreslené postavy, 3D postavy, fantasy tvory a zvířata, jako je kočka nebo mýval, pokud je obličej jasný.

Mohu použít fotku někoho jiného?

Pouze s jejich souhlasem. Musíte být osobou na fotce nebo mít jejich souhlas, aby mluvila, a musíte mít právo používat hlas a jakoukoli hudbu. Webová stránka vás u každé nové fotky vyzve k potvrzení tohoto souhlasu. Bez souhlasu není povoleno používat celebrity a veřejné osoby a nic sexuálního nebo zahrnujícího nezletilé.

Mohu použít svůj vlastní hlas nebo sklonovaný hlas?

Ano. Nahrajte vlastní nahrávku, nebo sklonujte svůj hlas v Audio studiu, vytvořte s ním hlasovou linku a vyberte ji v Lip Sync. Zabudované hlasy stojí cenu Text to Speech za linku (2 kredity za 1 000 znaků) navíc k ceně videa.

Existuje API pro lip sync?

Ano. Vývojáři mohou volat /v1/lip-sync s fotkou a hlasovou stopou a platit za sekundu v předplacených tokenech: $0.20 za sekundu v 720p a $0.30 v 1080p. Viz stránka OmniHuman API.

Vytvořte své první mluvící video

Otevřete Lip Sync, nahrajte fotku a zvuk a cenu uvidíte před generováním. Funguje na jakémkoli placeném plánu nebo v balíčku kreditů od ceny

Lip Sync je placený nástroj. Dva způsoby, jak začít s malou částkou: zkušební přístup na 48 hodin za $3 (60 kreditů, přibližně 15 s ve 720p; poté Creator pokračuje za $19 první měsíc a $25/měsíc, pokud nezrušíte do 48 hodin; k dispozici také s plány Pro (60 kreditů, poté $49/měsíc) nebo Max (60 kreditů, poté $99/měsíc)) nebo balíček kreditů od $8 (160 kreditů, přibližně 40 s ve 720p, jednorázová platba bez předplatného).

Prozkoumejte další