Black Friday sale50% OFFyour first month

Get 50% off

Opisyal na partner ng BytePlusBytePlus, isang kumpanya ng ByteDance

Opisyal na partner ng BytePlus · OmniHuman 2.0

AI Lip Sync: Gawin ang Nagsasalitang Video mula sa Litrato at Boses

Mag-upload ng litrato, magdagdag ng voice track, at ang taong nasa litrato ay magsasalita o magsasaya ng bawat salita nang may natural na ekspresyon at galaw. Ito ay gumagana sa OmniHuman 2.0, audio-driven model ni ByteDance, at isang take ay maaaring tumagal ng hanggang 5 minuto.

  • Hanggang 5 minuto
  • Nagsasalita, kumakanta, at rap
  • Mga tao, karakter, at hayop
  • 720p o 1080p
  • 4 credits bawat segundo

Bayad na tool ang Lip Sync. Dalawang paraan para magsimula sa maliit na halaga: 48 oras na trial sa halagang $3 (60 credits, mga 15 segundo sa 720p; pagkatapos ay magpapatuloy ang Creator sa $19 para sa unang buwan at $25/buwan kung hindi ka magka-cancel sa loob ng 48 oras; available din sa Pro (60 credits, pagkatapos ay $49/buwan) o Max (60 credits, pagkatapos ay $99/buwan)) o isang credit pack na nagsisimula sa $8 (160 credits, mga 40 segundo sa 720p, minsanang bayad nang walang plan).

Sa pahinang ito
  1. Ano ang maaari mong gawin sa AI Lip Sync
  2. Gumawa ng Lip Sync video sa tatlong hakbang
  3. Mga video na maaari mong gumawa
  4. Saan galing ang boses?
  5. AI Lip Sync: foto + boses para sa nagsasalitang video
  6. Mga sikat na paggamit
  7. Mga Tip para sa Natural na Resulta
  8. Karaniwang Tanong tungkol sa AI Lip Sync
  9. Mag-explore pa

Ano ang maaari mong gawin sa AI Lip Sync

Ang AI lip sync ay gumagamit ng dalawang bagay, isang larawan ng tao at isang audio track para sinabi, at nagbibigay ng video kung saan ang taong iyon ay nagsasalita o sumasayaw. OmniHuman 2.0 Pinakabagong audio-driven na video model ni ByteDance. Ang KreatorFlow ay isang opisyal na partner ng BytePlus, isang kumpanya ng ByteDance at pinapatakbo ang model sa pamamagitan ng BytePlus.

Ang audio-driven ay nangangahulugang ang tunog ang namumuno. Ang galaw ng bibig ay tugma sa mga salita, ang kilay at ulo ay reaksyon sa diin, ang mga pause ay mukhang pause, at ang isang kanta ay ginagawa kaysa sa simpleng paggalaw ng bibig. Ang mga text direction ay sapat para sa mga bagay na hindi maaaring sabihin ng audio, tulad ng ngiti, pagkiling ng ulo o mabagal na pag-push ng kamera.

Ang isang generation ay maaaring tumagal ng hanggang 5 minuto, kaya ang isang buong talumpati, aralin, product walkthrough o kanta ay maaaring isang tuloy-tuloy na take na may parehong mukha mula simula hanggang dulo, imbes na maikling clips na pinagsama.

Gumawa ng Lip Sync video sa tatlong hakbang

  1. 1

    Mag-upload ng photo

    Mag-upload ng malinaw na photo ng isang tao, karakter, o alagang hayop, o pumili mula sa iyong mga na-upload, na-generate, o naka-save na mga karakter. Pinakamaganda ang resulta kapag may isang mukha, nakatingin sa camera, at walang nakabalot na bibig.

  2. 2

    Magdagdag ng boses

    Mag-type ng script at pumili ng isa sa aming mga boses, o magdagdag ng iyong sariling MP3 o WAV: isang recording, isang kanta, o isang voice line na ginawa sa Audio studio, kabilang ang boses na i-clone mo. Maaaring 4 seconds hanggang 5 minutes ang haba ng track.

  3. 3

    I-generate at i-download

    Pumili ng 720p o 1080p, magdagdag ng optional na direksyon para sa mga galaw at camera, at pindutin ang Generate. Ipinapakita muna ang presyo: 4 credits per second sa 720p, 6 credits sa 1080p. Ang video ay katumbas ng haba ng audio at makikita mo ito sa iyong library.

Mga video na maaari mong gumawa

Isang take hanggang 5 minuto

Ang voice track ay maaaring 4 seconds hanggang 5 minutes ang haba, at ang haba ng video ay eksaktong pareho sa audio.

Nagsasalitang litrato, kumakantang litrato

Mga usapan, narration, kanta, hanggang mabilis na rap. Ang mga hugis ng bibig, intonation, at emosyon ay sumusunod sa voice track.

Mga tao, karakter, hayop

Mga portrait, anime at cartoon characters, 3D characters, fantasy creatures, at hayop ay maaaring i-animate.

Anumang wika

Ang model ay sumusunod sa tunog, kaya ang boses ay maaaring anumang wika o dialekto na mayroon kang audio para dito.

Mga instruksyon sa galaw

Isulat ang mga galaw, emosyon, camera moves, at mga nangyayari sa background hanggang 2,000 characters.

720p o 1080p

4 credits bawat segundo sa 720p at 6 credits bawat segundo sa 1080p, ipinapakita bago i-generate.

Saan galing ang boses?

Ang aming mga boses. Isulat kung ano ang dapat sabihin ng tao at pumili ng isa sa mga English na boses na naka-embed sa Lip Sync page. Ang voice line ay ginawa muna gamit ang Text to Speech (2 credits bawat 1 000 karakter), pagkatapos ay ang video.

Ang iyong sariling naka-record. Mag-record ng iyong sarili sa iyong telepono, i-export ang MP3 o WAV at i-upload ito. Ang malinis na pagbubos na may kaunting background noise ay nagbibigay ng pinakamalinaw na galaw ng bibig.

Ang boses mula sa Audio studio. Gumawa ng line gamit ang Text to speech sa maraming wika at boses o i-clone ang iyong sariling boses. Ang mga voice line na iyong ginawa ay makikita sa Lip Sync audio picker.

Ang isang kanta. I-upload ang vocal track na may karapatan ka. Kung ikaw ay mayroon lamang ang buong mix, ang isang bersyon na may mas mahinang musika ay mas mabuti kaysa sa malakas.

AI Lip Sync: foto + boses para sa nagsasalitang video

Credits bawat nagsisimulang segundo ng audio, mula sa parehong code na ginagamit ng studio para sa billing.

720p bawat segundo

4

kredito

1080p bawat segundo

6

kredito

Lip Sync credits base sa haba ng audio at resolution
Haba ng audio720p1080p
4 seconds16 credits24 credits
10 seconds40 credits60 credits
30 seconds120 credits180 credits
1 minutes240 credits360 credits
5 minutes1,200 credits1,800 credits

Ang pinakamaikling billable clip ay 4 segundo, at ang pinakamahabang video, 5 minutes ay nagkakahalaga ng 1,200 credits sa 720p. Ang Lip Sync ay nangangailangan ng bayad na account: isang subscription (mula sa Creator una $19 una na buwan) o isang credit pack (mula sa $8), sapat na mayroon ka ng isa. Ang mga kredito para sa isang video na nabigo ay awtomatikong bumabalik. Tingnan ang mga presyo. Mga presyo sa US dollars.

Mga sikat na paggamit

  • Mga presenter ng produkto at mga reklamo ng boses mula sa isang larawan ng brand
  • Mga paliwanag sa kurso at mga video ng pagsasanil na may parehong presenter sa bawat aralin
  • Mga mensahe para sa kaarawan at pasasalamat mula sa isang larawan, sa iyong sariling boses
  • Mga music video at mga virtual na mang-aawit mula sa isang karakter at isang vocal track
  • Parehong mensahe sa maraming wika, mula sa isang larawan
  • Mga audiobook, podcast at mga segment ng balita na may mukha sa screen
  • Mga nagsasalitang mascot, alagang hayop at mga karakter na cartoon para sa mga social post

Mga Tip para sa Natural na Resulta

  • Gumamit ng malinaw na larawan na may malinaw na nakikitang mukha. Ang mga close-up at half-body shots ang gumagana nang pinakamahusay; ang mga maliit na mukha sa malawak na shots ay hindi gumagana.
  • Panatilihin ang bibig at panga na walang takot: walang mga kamay, mikropono o buhok sa labi.
  • Gumamit ng malinis na audio. Ang background noise at malakas na musika ay nagpapababa ng katumpakan ng galaw ng bibig.
  • Isulat ang mga tagubilin bilang karaniwang mga pangungusap tungkol sa galaw lamang, halimbawa "ngumiti siya, pagkatapos ay lumapit sa kamera habang siya ay nagsasalita." Huwag ilarawan kung ano ang mayroon na sa larawan.
  • Subukan ang maikling line sa 720p bago i-render ang mahabang take sa 1080p.

Pahintulot at responsableng paggamit

Ang AI lip sync ay nagpapahintulot sa mga tao sa larawan na magsalita o sumayaw sa audio nang eksakto. Ang mga patakaran ay malinaw. Sa unang generation ng isang bagong larawan, hinihingi ng website na kumpirmahin mo na ikaw ang tao o mayroon kang pahintulot. Ang larawan ay sinusuri bago ang mga kredito ay debited, at ang mga larawan na may kalagnasan o may mga minor ay hindi pinapayagan.

  • Gamitin ang sarili mong litrato o litrato ng taong nagbigay ng pahintulot sa pag-animate ng mukha. Maaari kang gumamit ng iyong mga karakter, hayop, at ilustrasyon.
  • Gamitin ang boses na may karapatan kang gamitin: ang sarili mong boses, standard na boses, cloned na may pahintulot, o isang approved na recording. Pareho ito para sa musika at kanta.
  • Ang sexual content, content na may mga taong baba ng 18 taong gulang, at pagpanggap na iba ay bawal. Huwag gumawa ng mga recording kung saan ang mga tunay na tao ay nagsasalita ng mga bagay na hindi nila sinabi, upang manloko, manliligalig, o kumalat ng disimpormasyon.
  • Ang mga public figures, tulad ng mga celebrity at politiko, ay hindi pwedeng gamitin nang walang kanilang pahintulot at karapatan sa paggamit ng larawan.
  • Kapag nag-upload ka ng video ng isang tunay na tao na nagsasalita, markahan na ang video ay gawa ng AI. Maraming platform ang nangangailangan ng marking na ito.

Ang isang kumpletong listahan ng mga bawal na bagay ay nasa Mga tuntunin ng paggamit (Ingles).

Karaniwang Tanong tungkol sa AI Lip Sync

Ano ang AI lip sync?

Ang AI lip sync ay nagpapalitan ng isang static na photo at audio track sa isang video kung saan ang taong nasa photo ay nagsasalita o sumasayaw ng audio na iyon. Sa KreatorFlow, ito ay tumatakbo sa OmniHuman 2.0, audio-driven video model ng ByteDance: ang mga labi ay sumusunod sa bawat salita, at ang mukha, ulo, at itaas na katawan ay gumagalaw ayon sa ritmo at damdamin ng boses.

Gaano katagal ang isang lip sync video?

Ang video ay katumbas ng haba ng iyong audio: 4 seconds hanggang 5 minutes per generation. Sapat na ito para sa isang buong presentasyon, aralin, podcast segment, o buong kanta sa isang take.

Magkano ang AI lip sync?

4 credits bawat segundo ng audio sa 720p at 6 credits bawat segundo sa 1080p, binabayaran bawat nagsisimulang segundo na may minimum na 4 segundo. Isang 10-segundong clip ay gumagastos ng 40 credits, at isang minuto ay 240 credits. Ipinapakita ang eksaktong presyo bago ka mag-generate, at ibinabalik ang credits kung mabigo ang video.

Kailangan ko ba ng paid plan?

Oo. Ang Lip Sync ay gumagana sa anumang paid plan o credit pack. Ang mga plan ay nagsisimula sa Creator para sa unang buwan sa $19, at ang pinakamaliit na credit pack ay kostong $8 para sa 160 credits. Magagamit ang parehong resolution sa lahat ng paid account.

Puwede bang sumayaw ang photo, hindi lang magsalita?

Oo. Ang OmniHuman 2.0 ay sumusunod sa pag-awit at mabilis na rap nang maganda, kasama ang bibig, intonation, at damdamin na sumusunod sa track. Mag-upload ng vocal track; ang malinis na boses na may kaunting background music ang nagbibigay ng pinakamataas na katumpakan sa galaw ng bibig.

Anong mga wika ang gumagana sa lip sync?

Sinusunod ng model ang tunog ng audio, kaya ang voice track ay maaaring nasa anumang wika. Ang mga boses na built-in sa Lip Sync page ay English; para sa ibang wika, gawin ang voice line sa Audio studio o mag-upload ng iyong sariling recording.

Gumagana ba ito sa mga cartoon, 3D characters, at hayop?

Oo. Bukod sa mga tunay na tao, ang OmniHuman 2.0 ay nag-a-animate ng mga anime at cartoon characters, 3D characters, fantasy creatures, at hayop, tulad ng pusa o raccoon, basta malinaw ang mukha.

Puwede bang gumamit ng photo ng ibang tao?

Kung may pahintulot sila. Kailangan mong maging ang taong nasa photo o may pahintulot sila na magsalita, at kailangan mo ng karapatan na gamitin ang boses at anumang musika. Hinihingi ng website na kumpirmahin mo ito para sa bawat bagong photo. Hindi pinapayagan ang mga celebrity at public figures nang walang pahintulot, at walang pinapayagang sekswal o may kasamang minors.

Puwede bang gumamit ng sarili kong boses o cloned boses?

Oo. Mag-upload ng recording ng iyong sarili, o i-clone ang iyong boses sa Audio studio, gawin ang voice line gamit ito, at piliin ang line na iyon sa Lip Sync. Ang mga built-in na boses ay kostong Text to Speech price para sa line (2 credits bawat 1 000 karakter) sa ibabaw ng video.

May lip sync API ba?

Oo. Maaaring tumawag ang mga developer sa /v1/lip-sync gamit ang photo at voice track at magbayad per second sa prepaid tokens: $0.20 per second sa 720p at $0.30 sa 1080p. Tingnan ang OmniHuman API page.

Gumawa ng iyong unang nagsasalitang video

Buksan ang Lip Sync, magdagdag ng larawan at boses, at makikita mo ang presyo bago mag-generate. Available sa anumang bayad na plano o credit pack.

Bayad na tool ang Lip Sync. Dalawang paraan para magsimula sa maliit na halaga: 48 oras na trial sa halagang $3 (60 credits, mga 15 segundo sa 720p; pagkatapos ay magpapatuloy ang Creator sa $19 para sa unang buwan at $25/buwan kung hindi ka magka-cancel sa loob ng 48 oras; available din sa Pro (60 credits, pagkatapos ay $49/buwan) o Max (60 credits, pagkatapos ay $99/buwan)) o isang credit pack na nagsisimula sa $8 (160 credits, mga 40 segundo sa 720p, minsanang bayad nang walang plan).

Mag-explore pa