Black Friday sale50% OFFyour first month

Get 50% off

Virallinen BytePlus-kumppaniBytePlus, ByteDance-yhtiö

Virallinen BytePlus-kumppani · OmniHuman 2.0

Tekoälyhuulisynkronointi: luo puhuvia videoita kuvista ja äänestä

Lataa kuva, lisää ääniraita ja KreatorFlow:n huulisynkronointi saa kuvan henkilön puhumaan tai laulamaan jokaisen sanan luonnollisilla ilmeillä ja eleillä. Se toimii OmniHuman 2.0:n, ByteDancen ääniin perustuvan mallin, avulla, ja yksi otos voi kestää jopa 5 minuuttia.

  • Jopa 5 minuuttia
  • Puhuminen, laulaminen ja rap
  • Ihmiset, hahmot ja lemmikit
  • 720p tai 1080p
  • 4 krediittiä krediittiä sekunnissa

Lip Sync on maksullinen työkalu. Kaksi tapaa aloittaa pienellä summalla: 48 tunnin kokeilu hintaan $3 (60 krediittiä, noin 15 sekuntia 720p-tarkkuudella; sen jälkeen Creator jatkuu hintaan $19 ensimmäiseltä kuukaudelta ja $25/kk, ellet peruuta näiden 48 tunnin aikana; saatavilla myös tilauksilla Pro (60 krediittiä, sen jälkeen $49/kk) tai Max (60 krediittiä, sen jälkeen $99/kk)) tai krediittipaketti alkaen $8 (160 krediittiä, noin 40 sekuntia 720p-tarkkuudella, kertamaksu ilman tilausta).

Tällä sivulla
  1. Mitä voit tehdä sillä
  2. Luo huulisynkronointivideo kolmessa vaiheessa
  3. Mitä voit luoda sillä
  4. Mistä ääni tulee
  5. Tekoälyhuulisynkronointi
  6. Suosittuja käyttötarkoituksia
  7. Vinkkejä luonnolliseen lopputulokseen
  8. Usein kysytyt kysymykset tekoälyhuulisynkronoinnista
  9. Katso myös

Mitä voit tehdä sillä

Tekoälyhuulisynkronointi ottaa kaksi asiaa: kuvan henkilöstä ja sen, mitä hänen pitäisi sanoa. Tuloksena on video, jossa henkilö todella puhuu. KreatorFlow:n huulisynkronointi käyttää OmniHuman 2.0 ByteDancen uusia ääniin perustuvia videomalleja. KreatorFlow on BytePlusin, ByteDance-yhtiön, virallinen kumppani ja suorittaa tämän mallin BytePlusin kautta.

Ääniin perustuva tarkoittaa, että ääni johtaa. Suun liikkeet vastaavat sanoja, kulmakarvat ja pää reagoivat painotuksiin, tauot näyttävät tauoilta ja laulu suoritetaan kuin se olisi aidosti laulettu, ei vain suun liikkeitä jäljitelty. Tekstisuunnitelmat riittävät asioihin, joita ääni ei välitä, kuten hymyyn, nyökkäykseen tai hitaaseen kameraliikkeeseen.

Yksi generointi voi kestää jopa 5 minuuttia, joten koko puhe, opetusvideo, tuote-esittely tai koko kappale voi olla yksi jatkuva otos samalla kasvoilla alusta loppuun ilman lyhyiden klippien yhdistämistä.

Luo huulisynkronointivideo kolmessa vaiheessa

  1. 1

    Lataa kuva

    Lataa yksi selkeä kuva henkilöstä, hahmosta tai lemmikistä, tai valitse se aiemmin ladatuista tiedostoista, luoduista kuvista tai tallennetuista hahmoista. Paras tulos syntyy, kun kuvassa on yksi kasvot kameraan kääntynyt ja suu auki oleva henkilö.

  2. 2

    Lisää ääni

    Kirjoita teksti ja valitse valmiista äänistä, tai lataa oma äänitiedosto, laulu tai ääniraita studion kautta (MP3 tai WAV). Ääniraidan pituus voi olla 4 sekuntia 5 minuuttiin.

  3. 3

    Luo ja lataa

    Valitse 720p tai 1080p, lisää halutessasi ohjeet eleille ja kameralle, ja paina Luo. Hinta näkyy ennen luontia: 4 krediittiä krediittiä sekunnissa 720p:ssä ja 6 krediittiä sekunnissa 1080p:ssä. Videon pituus on sama kuin ääniraidan, ja tulos tallentuu kirjastoon.

Mitä voit luoda sillä

Yksi otos jopa 5 minuuttia

Ääni voi olla 4 sekuntia 5 minuuttiin, ja videon pituus on täsmälleen sama kuin äänen.

Puhuva kuva, laulava kuva

Puhe, dialogit, narratiivi, laulut ja nopea rap. Suun liikkeet, intonaatio ja tunteet seuraavat ääntä.

Ihmiset, hahmot ja lemmikit

Muotokuvat, anime- ja sarjakuvahahmot, 3D-hahmot, fantasiaoliot ja eläimet voidaan animoida.

Mikä tahansa kieli

Malli seuraa ääntä, joten kieli voi olla mikä tahansa kieli tai murre, jolla on ääntä.

Suunnitelma

Lisää liikkeet, tunteet, kameraliikkeet ja taustalla tapahtuvat asiat 2 000 merkkiin asti.

720p tai 1080p

4 krediittiä krediittiä sekunnissa 720p:ssä ja 6 krediittiä krediittiä sekunnissa 1080p:ssä, näytettynä ennen generointia.

Mistä ääni tulee

Sisäänrakennettu ääni. Kirjoita teksti ja valitse yksi Lip Sync -sivun englanninkielisistä äänistä. Ääniraita luodaan ensin tekstistä puheeksi (2 krediittiä krediittiä 1 000 merkillä), ja sen jälkeen video.

Oma äänityksesi. Nauhoita puhelimella ja lataa MP3- tai WAV-tiedostona. Puhtaan äänen ja vähäisen taustakohinan ansiosta huuliliike on terävin.

Ääni Audio-studiosta. Luo ääniraita useammalla kielellä ja äänellä tekstistä puheeksi -toiminnolla tai kloonaa oma äänesi. Luomasi ääniraidat näkyvät Lip Sync -äänivalitsimessa.

Laulu. Lataa lauluraita, jolla on oikeudet. Jos käytössäsi on vain kokonaismixi, hiljaisemman musiikin versio toimii paremmin.

Tekoälyhuulisynkronointi

Krediitit laskutetaan aloitetun äänisekunnin mukaan, samasta koodista kuin studio käyttää.

720p per sekunti

4

krediittiä

1080p per sekunti

6

krediittiä

Lip Sync -krediitit äänen pituuden ja resoluution mukaan
Äänen kesto720p1080p
4 sekuntia16 krediittiä24 krediittiä
10 sekuntia40 krediittiä60 krediittiä
30 sekuntia120 krediittiä180 krediittiä
1 minuuttia240 krediittiä360 krediittiä
5 minuuttia1 200 krediittiä1 800 krediittiä

Lyhyin laskutettava klippi on 4 sekuntia, ja pisin video, 5 minuuttia maksaa 1 200 krediittiä krediittiä 720p:ssä. Lip Sync vaatii maksullisen tilin: minkä tahansa tilauksen (alkaen Creator alkaen $19 ensimmäisen kuukauden aikana) tai krediittipaketin (alkaen $8), riittää kumpi tahansa. Epäonnistuneen videon krediitit palautuvat automaattisesti. Kaikki tilaukset näet hintasivulla. Hinnat yhdysvaltalaisissa dollareissa.

Suosittuja käyttötarkoituksia

  • Tuotepresentaatiot ja mainokset yhdellä brändikuvalla
  • Kurssiselitykset ja koulutusvideot, joissa sama esittäjä kaikissa osissa
  • Syntymäpäivä- ja kiitosviestit kuvasta ja omasta äänestä
  • Musiikkivideot ja virtuaaliartistit hahmosta ja lauluraidasta
  • Sama viesti useilla kielillä yhdellä kuvalla
  • Äänikirjat, podcastit ja uutisjaksot, joissa kasvoja näkyy
  • Mascotit, lemmikit ja piirrossarjahahmot sosiaaliseen mediaan

Vinkkejä luonnolliseen lopputulokseen

  • Käytä terävää kuvaa, jossa on selvästi näkyvä yksi kasvot. Lähikuvat ja puolivartalon otokset toimivat parhaiten; kaukokuvat, joissa kasvot ovat pieniä, eivät sovi.
  • Pidä suu ja leuka paljaana: kädet, mikrofonit tai hiukset eivät saa peittää huulia.
  • Käytä puhdasta ääntä. Taustamelu ja kova musiikki tekevät huuliliikkeistä vähemmän tarkkoja.
  • Kirjoita ohjeet pelkkinä liikekuvauksina, esimerkiksi "hymyile, puhu ja kallista sitten päätäsi kohti kameraa". Älä kuvaile sitä, mikä on jo valmiiksi kuvassa.
  • Testaa lyhyt kappale 720p-resoluutiolla ennen pitkän otoksen luomista 1080p-resoluutiolla.

Lupa ja vastuullinen käyttö

Tekoälyhuulisynkronointi saa henkilön kuvassa puhumaan tai laulamaan ääniraitaa täsmälleen sen mukaan. Säännöt ovat siis selkeät. Kun luot uuden kuvan ensimmäistä kertaa, sivusto pyytää vahvistamaan, että olet itse kuvassa tai että sinulla on lupaa. Kuva tarkistetaan ennen krediittien vähentämistä, ja alastonkuvat tai alle 18-vuotiaiden kuvat eivät kelpaa.

  • Käytä omaa valokuvaa tai henkilön valokuvaa, joka on antanut luvan kasvojen animointiin. Voit käyttää omia hahmojasi, eläimiä ja piirroksia.
  • Käytä ääntä, jolla sinulla on käyttöoikeus: omaa, oletusääntä, kloonattua luvalla tai lupaa saanutta nauhoitusta. Sama pätee musiikkiin ja kappaleisiin.
  • Seksuaalinen sisältö, alaikäiset ja muiden henkilöiden esiintyminen ilman lupaa on kielletty. Älä luo nauhoituksia, joissa todelliset henkilöt sanovat asioita, joita he eivät ole koskaan sanoneet, huijausta, häirintää tai harhaanjohtamista varten.
  • Julkkikset ja poliitikot eivät saa olla käytössä ilman heidän lupaaan ja käyttöoikeuksiaan.
  • Kun lähetät todellisen henkilön puhuvan videon, merkitse, että video on luotu tekoälyllä. Monet alustat vaativat tätä merkintää.

Kiellettyjen asioiden täydellinen lista löytyy osoitteesta Käyttöehdot (englanniksi).

Usein kysytyt kysymykset tekoälyhuulisynkronoinnista

Mikä on AI-huulisynkronointi?

Tekoälyhuulisynkronointi muuttaa tyhjän kuvan ja ääniraidan videoksi, jossa kuvan henkilö puhuu tai laulaa äänen. KreatorFlow:ssa se toimii ByteDancen ääniin perustuvalla videomallilla OmniHuman 2.0: huulet seuraavat jokaista sanaa, ja kasvot, pää ja ylävartalo liikkuvat äänen rytmin ja tunteiden mukaan.

Kuinka pitkä huulisynkronointivideo voi olla?

Videon pituus on sama kuin ääniraidan: 4 sekuntia 5 minuuttiin per luonti. Se on tarpeeksi pitkä koko esitykseen, oppituntiin, podcast-jaksoon tai koko lauluun yhdellä otolla.

Mikä on AI-huulisynkronoinnin hinta?

4 krediittiä krediittiä sekunnissa 720p:ssä ja 6 krediittiä sekunnissa 1080p:ssä, laskutettu aloitetun sekunnin mukaan vähintään 4 sekunnin välein. 10 sekunnin klippi maksaa 40 krediittiä krediittiä 720p:ssä, 1 minuutti vaatii 240 krediittiä. Tarkka hinta näkyy ennen luontia, ja epäonnistuneesta videosta saa krediitit takaisin.

Tarvinko maksullisen tilauksen?

Kyllä. Huulisynkronointi toimii kaikilla maksullisilla tilauksilla tai krediittipakkauksilla. Tilaukset alkavat hinnasta Creator $19 ensimmäisen kuukauden aikana, ja pienin krediittipaketti on $8 160 krediittiä krediittiä. Molemmat resoluutiot ovat saatavilla kaikilla maksullisilla tileillä.

Voiko kuva laulaa, ei vain puhua?

Kyllä. OmniHuman 2.0 tukee puhetta, laulua ja jopa nopeaa rap-esitystä. Lataa lauluraita: mitä puhtaampi ääni ja vähemmän taustamusiikkia, sitä tarkempi huuliliike.

Toimiiko huulisynkronointi suomen kielellä?

Kyllä. Malli seuraa äänen ääntämistä, joten ääniraita voi olla missä tahansa kielessä. Huulisynkronoinnin valmiit äänet ovat englanniksi; muilla kielillä luo ääniraita äänistudion kautta tai lataa oma äänitiedosto.

Voivatko sarjakuvahahmot tai eläimet puhua?

Kyllä. Ihmisten lisäksi OmniHuman 2.0 animoi anime- ja sarjakuvahahmoja, 3D-hahmoja, fantasiaolentoja ja eläimiä, kuten kissoja tai pesukarhuja, kunhan kasvot ovat selkeästi näkyvissä.

Voinko käyttää toisen henkilön kuvaa?

Vain hänen suostumuksellaan. Sinun on oltava kuvan henkilö tai sinulla on oltava hänen suostumuksensa, ja sinulla on oltava oikeudet käyttää ääntä ja musiikkia. Sivusto pyytää vahvistamaan tämän jokaisesta uudesta kuvasta. Julkisten henkilöiden ja kuuluisuuksien käyttö ilman lupaa on kielletty, samoin kuin seksuaalinen sisältö tai alaikäisten käyttö.

Voinko käyttää omaa ääntäni tai kloonattua ääntä?

Kyllä. Lataa oma äänitiedostosi tai kloonaa äänesi äänistudion kautta, luo ääniraita ja valitse se huulisynkronoinnissa. Jos käytät valmiita ääniä, niihin lisätään tekstistä ääneksi -hinta (2 krediittiä krediittiä 1 000 merkillä) videon hinnan päälle.

Onko huulisynkronoinnille API?

Kyllä. Kehittäjät voivat kutsua /v1/lip-sync:ää antamalla kuvan ja ääniraidan, ja maksaa sekunnin perusteella esimaksullisilla tokenneilla: $0.20 sekunnissa 720p:ssä ja $0.30 sekunnissa 1080p:ssä. Katso OmniHuman API -sivu.

Luo ensimmäinen puhuva videosi

Avaa huulisynkronointi, lataa kuva ja ääni, ja näe hinta ennen luomista. Saatavilla mille tahansa maksulliselle tilille tai krediittipaketille.

Lip Sync on maksullinen työkalu. Kaksi tapaa aloittaa pienellä summalla: 48 tunnin kokeilu hintaan $3 (60 krediittiä, noin 15 sekuntia 720p-tarkkuudella; sen jälkeen Creator jatkuu hintaan $19 ensimmäiseltä kuukaudelta ja $25/kk, ellet peruuta näiden 48 tunnin aikana; saatavilla myös tilauksilla Pro (60 krediittiä, sen jälkeen $49/kk) tai Max (60 krediittiä, sen jälkeen $99/kk)) tai krediittipaketti alkaen $8 (160 krediittiä, noin 40 sekuntia 720p-tarkkuudella, kertamaksu ilman tilausta).

Katso myös