Black Friday sale50% OFFyour first month

Get 50% off

Officiell BytePlus-partnerBytePlus, ett ByteDance-företag

Officiell BytePlus-partner · OmniHuman 2.0

AI lipsync: skapa videor med pratande karaktärer från foton och röst

Ladda upp ett foto, lägg till en röstspår, och personen på bilden kommer att uttala eller sjunga varje ord med naturliga uttryck och rörelser. Kör med OmniHuman 2.0, ByteDances ljudstyrda modell, med ett tag upp till 5 minut.

  • Upp till 5 minuter
  • Prata, sjunga och rap
  • Människor, karaktärer och djur
  • 720p eller 1080p
  • 4 krediter per sekund

Lip Sync är ett betalt verktyg. Två sätt att börja med en liten summa: en provperiod på 48 timmar för $3 (60 krediter, ungefär 15 sekunder i 720p; därefter fortsätter Creator för $19 den första månaden och $25/månad om du inte avbryter inom de 48 timmarna; finns även med Pro (60 krediter, därefter $49/månad) eller Max (60 krediter, därefter $99/månad)) eller ett kreditpaket från $8 (160 krediter, ungefär 40 sekunder i 720p, engångsbetalning utan abonnemang).

På den här sidan
  1. Vad du kan göra med AI lipsync
  2. Skapa en lipsync-video i tre steg
  3. Videor du kan skapa
  4. Varifrån kommer rösten?
  5. AI lipsync: Foto + röst till pratande video
  6. Populära användningsområden
  7. Tips för ett naturligt resultat
  8. Vanliga frågor om AI-lipsync
  9. Utforska mer

Vad du kan göra med AI lipsync

En AI-lipsync tar två saker, en bild på någon och något att säga, och returnerar en video av den personen som säger det. KreatorFlow Lip Sync gör detta med OmniHuman 2.0 ByteDance senaste ljudstyrda videomodell. KreatorFlow är en officiell partner till BytePlus, ett ByteDance-företag och kör modellen via BytePlus.

Ljudstyrt betyder att ljudet leder. Munnens rörelser matchar orden, ögonbryn och huvud reagerar på betoning, pauser ser ut som pauser, och en sång framförs snarare än bara munspelande. Skriftliga instruktioner räcker för saker som ljudet inte kan säga, som ett leende, ett nickande huvud eller en långsam kamerapush-in.

En generation kan köra i upp till 5 minuter, så en hel föreläsning, lektion, produktgenomgång eller sång kan vara ett kontinuerligt tag med samma ansikte från början till slut, i stället för korta klipp som limmas ihop.

Skapa en lipsync-video i tre steg

  1. 1

    Ladda upp ett foto

    Ladda upp ett tydligt foto på en person, en karaktär eller ett husdjur, eller välj ett från dina uppladdningar, generationer eller sparade karaktärer. Bäst resultat får du med ett foto där ett ansikte syns tydligt, ser mot kameran och har öppna läppar.

  2. 2

    Lägg till rösten

    Skriv ett manus och välj en av våra röster, eller lägg till din egen MP3 eller WAV: en inspelning, en sång eller en röstlinje gjord i ljudstudion, inklusive en röst du klonat. Spåret kan vara 4 sekunder till 5 minuter långt.

  3. 3

    Generera och ladda ner

    Välj 720p eller 1080p, lägg till valfri instruktion för rörelser och kamera, och tryck på Generera. Priset visas först: 4 krediter per sekund i 720p, 6 krediter i 1080p. Videon är lika lång som ljudet och hamnar i ditt bibliotek.

Videor du kan skapa

Ett tag upp till 5 minuter

Ljudspåret kan vara 4 sekunder till 5 minuter långt, och videons längd är exakt samma som ljudets.

Pratande bild, sjungande bild

Samtal, narrativ, sång, upp till snabb rap. Munformer, intonation och känslor följer ljudspåret.

Människor, karaktärer, djur

Porträtt, anime- och tecknade karaktärer, 3D-karaktärer, fantasivarelser och djur kan animeras.

Alla språk

Modellen följer ljudet, så svenska och andra språk eller dialekter kan användas så länge det finns ljud.

Rörelseinstruktioner

Skriv rörelser, känslor, kamerarörelser och händelser i bakgrunden upp till 2 000 tecken.

720p eller 1080p

4 krediter per sekund i 720p och 6 krediter per sekund i 1080p, visas innan generering.

Varifrån kommer rösten?

Våra röster. Skriv vad personen ska säga och välj en av de engelska rösterna som finns inbyggda på Lip Sync-sidan. Röstlinjen skapas först med Text to Speech (2 krediter per 1 000 tecken), sedan videon.

Ditt eget inspelade. Spela in dig själv på din telefon, exportera en MP3 eller WAV och ladda upp den. Ren tal med lite bakgrundsljud ger de skarpaste munrörelserna.

En röst från Audio-studion. Skapa en linje med Text to Speech på flera språk och röster eller klona din egen röst. Röstlinjer du skapar visas i Lip Sync-audioutväljaren.

En sång. Ladda upp en vokaltrack du har rättigheterna till. Om du bara har hela mixen fungerar en version med tystare musik bättre än en hög.

AI lipsync: Foto + röst till pratande video

Krediter per påbörjad sekund av ljud, hämtade från samma kod som studion använder för debitering.

720p per sekund

4

krediter

1080p per sekund

6

krediter

Lip Sync-krediter beroende på ljudlängd och upplösning
Ljudlängd720p1080p
4 sekunder16 krediter24 krediter
10 sekunder40 krediter60 krediter
30 sekunder120 krediter180 krediter
1 minuter240 krediter360 krediter
5 minuter1 200 krediter1 800 krediter

Den kortaste fakturerbara klippet är 4 sekunder, och det längsta videon, 5 minuter kostar 1 200 krediter i 720p. Lip Sync kräver ett betalkonto: ett abonnemang (från Creator första $19 första månaden) eller ett kreditpaket (från $8), räcker det att ha en av dem. Krediter för en video som misslyckas återkommer automatiskt. Se priser. Priser i amerikanska dollar.

Populära användningsområden

  • Produktpresentatörer och talspråksreklam från ett varumärkesfoto
  • Kursförklaringar och träningsvideor med samma presentatör i varje lektion
  • Födelsedags- och tackmeddelanden från ett foto, med din egen röst
  • Musikvideor och virtuella sångare från en karaktär och en vokalinspelning
  • Samma meddelande på flera språk, från ett foto
  • Ljudbok, podcast och nyhetssegment med ett ansikte på skärmen
  • Pratande maskotar, husdjur och tecknade karaktärer för sociala inlägg

Tips för ett naturligt resultat

  • Använd ett skarpt foto med ett tydligt synligt ansikte. Närbilder och halvfigurer fungerar bäst; små ansikten i vida skott fungerar inte.
  • Håll munnen och hakan fria: inga händer, mikrofoner eller hår över läpparna.
  • Använd rent ljud. Bakgrundsljud och hög musik gör munrörelserna mindre precisa.
  • Skriv instruktioner som vanliga meningar om rörelse endast, till exempel "hon ler, lutar sig sedan mot kameran medan hon pratar". Beskriv inte vad som redan finns på bilden.
  • Testa en kort linje i 720p innan du renderar ett långt tag i 1080p.

Samtycke och ansvarsfull användning

AI-lipsync får personer på bilden att tala eller sjunga ljudet exakt som det är. Reglerna är därför tydliga. Vid första genereringen med ett nytt foto ber webbplatsen dig att bekräfta att det är du eller att du har samtycke. Bilden kontrolleras innan krediter debiteras, och bilder med nakenhet eller med minderåriga tillåts inte.

  • Använd ett eget foto eller en bild på någon som gett tillstånd till ansiktsanimation. Du kan använda dina egna karaktärer, djur och illustrationer.
  • Använd en röst du har rätt att använda: din egen, standardröst, klonad med tillstånd eller en godkänd inspelning. Samma gäller för musik och sånger.
  • Sexuellt innehåll, innehåll med personer under 18 år och utgivande sig för andra är förbjudet. Skapa inte inspelningar där verkliga personer säger saker de aldrig sagt, för att bedra, trakassera eller sprida desinformation.
  • Offentliga personer, som kändisar och politiker, får inte användas utan deras tillstånd och rättigheter att använda bilden.
  • När du laddar upp en video av en verklig person som pratar, märk att videon skapats med AI. Många plattformar kräver denna märkning.

En fullständig lista över förbjudna saker finns i Användarvillkor (engelska).

Vanliga frågor om AI-lipsync

Vad är AI lipsync?

AI lipsync förvandlar ett stilla foto och ett ljudspår till en video där personen på fotot pratar eller sjunger ljudet. På KreatorFlow körs det på OmniHuman 2.0, ByteDance ljuddrivna videomodel: läpparna följer varje ord, och ansikte, huvud och överkropp rör sig med rösten rytm och känsla.

Hur lång kan en lipsync-video vara?

Videon är lika lång som ditt ljud: 4 sekunder till 5 minuter per generation. Det är långt nog för en hel presentation, en lektion, ett podcastavsnitt eller en hel sång i ett tag.

Hur mycket kostar AI lipsync?

4 krediter per sekund av ljud i 720p och 6 krediter per sekund i 1080p, räknat per påbörjad sekund med ett minimum på 4 sekunder. Ett 10-sekunders klipp kostar 40 krediter, en minut kostar 240 krediter. Exakt pris visas innan du genererar, och en misslyckad video ger tillbaka krediterna.

Behöver jag ett betalt abonnemang?

Ja. Lipsync fungerar med alla betalda abonnemang och med kreditpaket. Abonnemangen börjar med Creator för $19 den första månaden, och det minsta kreditpaketet kostar $8 (160 krediter). Båda alternativen finns för alla konton som betalar.

Kan fotot sjunga, inte bara prata?

Ja. OmniHuman 2.0 följer sång och snabb rap lika bra som tal, med mun, intonation och känsla som följer spåret. Ladda upp vokalspåret; en ren vokal med lite bakgrundsmusik ger mest exakt munrörelse.

Vilka språk fungerar lipsync med?

Modellen följer ljudet och ljudspåret, så röstspåret kan vara på vilket språk som helst. Rösterna som finns inbyggda på lipsync-sidan är engelska; för andra språk, gör röstlinjen i ljudstudion eller ladda upp din egen inspelning.

Fungerar det med tecknade serier, 3D-karaktärer och djur?

Ja. Förutom riktiga människor, animera OmniHuman 2.0 anime- och tecknade karaktärer, 3D-karaktärer, fantasivarelser och djur, som en katt eller en räv, så länge ansiktet är tydligt.

Kan jag använda ett foto av någon annan?

Endast med deras tillstånd. Du måste vara personen på fotot eller ha deras samtycke att få dem att prata, och du måste ha rätt att använda rösten och all musik. Webbplatsen ber dig bekräfta detta för varje nytt foto. Kändisar och offentliga personer är inte tillåtna utan tillstånd, och inget sexuellt eller som involverar minderåriga är tillåtet.

Kan jag använda min egen röst eller en klonad röst?

Ja. Ladda upp en inspelning av dig själv, eller klona din röst i ljudstudion, gör en röstlinje med den och välj den linjen i Lipsync. De inbyggda rösterna kostar Text to Speech-priset för linjen (2 krediter per 1 000 tecken) utöver videon.

Finns det en lipsync-API?

Ja. Utvecklare kan anropa /v1/lip-sync med ett foto och ett ljudspår och betala per sekund i förbetalda tokens: $0.20 per sekund i 720p och $0.30 i 1080p. Se OmniHuman API-sidan.

Skapa din första pratande video

Öppna Lip Sync, lägg till en bild och en röst, så ser du priset innan du skapar. Det går med alla betalda abonnemang eller med ett kreditpaket.

Lip Sync är ett betalt verktyg. Två sätt att börja med en liten summa: en provperiod på 48 timmar för $3 (60 krediter, ungefär 15 sekunder i 720p; därefter fortsätter Creator för $19 den första månaden och $25/månad om du inte avbryter inom de 48 timmarna; finns även med Pro (60 krediter, därefter $49/månad) eller Max (60 krediter, därefter $99/månad)) eller ett kreditpaket från $8 (160 krediter, ungefär 40 sekunder i 720p, engångsbetalning utan abonnemang).

Utforska mer