Black Friday sale50% OFFyour first month

Get 50% off

Rakan kongsi rasmi BytePlusBytePlus, sebuah syarikat ByteDance

Rakan kongsi rasmi BytePlus · OmniHuman 2.0

Lip Sync AI: foto + suara ke video bercakap

Muat naik foto, tambah trek suara, dan KreatorFlow Lip Sync akan membuatkan orang dalam foto itu bercakap atau menyanyi setiap perkataan, dengan ekspresi dan gerakan semula jadi. Ia berjalan pada OmniHuman 2.0, model pendorong audio ByteDance, dengan satu penggambaran sehingga 5 minit.

  • Sehingga 5 minit
  • Bercakap, menyanyi dan rap
  • Orang, watak dan haiwan
  • 720p atau 1080p
  • 4 kredit setiap saat

Lip Sync ialah alat berbayar. Dua cara untuk bermula dengan jumlah kecil: percubaan 48 jam dengan harga $3 (60 kredit, kira-kira 15 saat dalam 720p; selepas itu Creator diteruskan dengan $19 untuk bulan pertama dan $25/bulan melainkan anda membatalkan dalam tempoh 48 jam itu; juga tersedia dengan Pro (60 kredit, kemudian $49/bulan) atau Max (60 kredit, kemudian $99/bulan)) atau pek kredit bermula dari $8 (160 kredit, kira-kira 40 saat dalam 720p, bayaran sekali sahaja tanpa pelan).

Di halaman ini
  1. Apa yang boleh anda buat dengan Lip Sync AI
  2. Cara buat video lip sync dalam tiga langkah
  3. Video yang boleh anda buat
  4. Dari mana suara berasal?
  5. Lip Sync AI: foto + suara ke video bercakap
  6. Penggunaan popular
  7. Petua untuk hasil yang semula jadi
  8. Soalan lazim tentang lip sync AI
  9. Teroka lagi

Apa yang boleh anda buat dengan Lip Sync AI

Penjana lip sync AI mengambil dua perkara, iaitu gambar seseorang dan sesuatu untuk mereka ucapkan, kemudian menghasilkan video orang tersebut mengucapkannya. KreatorFlow Lip Sync melakukan ini dengan OmniHuman 2.0 model video audio-driven terbaru ByteDance. KreatorFlow adalah rakan kongsi rasmi BytePlus, sebuah syarikat ByteDance dan menjalankan model ini melalui BytePlus.

Audio-driven bermaksud bunyi yang memimpin. Pergerakan mulut sepadan dengan kata-kata, kening dan kepala bertindak balas terhadap penekanan, jeda kelihatan seperti jeda sebenar, dan lagu dipersembahkan bukannya sekadar menggerakkan mulut. Arahan teks hanya menambah apa yang bunyi tidak boleh nyatakan, seperti senyuman, anggukan kepala atau gerakan kamera perlahan-lahan.

Satu penjanaan boleh berjalan sehingga 5 minit, jadi satu persembahan penuh, pelajaran, penerangan produk atau lagu boleh menjadi satu penggambaran berterusan dengan wajah yang sama dari awal hingga akhir, bukannya klip pendek yang disambung.

Cara buat video lip sync dalam tiga langkah

  1. 1

    Muat naik foto

    Muat naik satu foto jelas seseorang, watak atau haiwan peliharaan, atau pilih satu daripada muat naik, penjanaan atau watak tersimpan anda. Satu wajah, melihat kira-kira ke arah kamera, mulut tidak tertutup, memberikan hasil terbaik.

  2. 2

    Tambah suara

    Taip skrip dan pilih salah satu suara kami, atau tambah MP3 atau WAV anda sendiri: rakaman, lagu, atau baris suara yang dibuat di studio Audio, termasuk suara yang anda klon. Trek boleh menjadi 4 saat hingga 5 minit panjang.

  3. 3

    Jana dan muat turun

    Pilih 720p atau 1080p, tambah arahan pilihan untuk gerakan dan kamera, dan tekan Jana. Harga ditunjukkan dahulu: 4 kredit per saat pada 720p, 6 kredit pada 1080p. Video adalah sama panjang dengan audio dan masuk ke perpustakaan anda.

Video yang boleh anda buat

Satu penggambaran sehingga 5 minit

Trek suara boleh menjadi 4 saat hingga 5 minit panjang, dan panjang video adalah sama tepat dengan audio.

Foto bercakap, foto menyanyi

Perbualan, narasi, lagu, sehingga rap pantas. Bentuk mulut, intonasi dan emosi mengikuti trek.

Orang, watak, haiwan

Potret, watak anime dan kartun, watak 3D, makhluk fantasi dan haiwan boleh dianimasikan.

Mana-mana bahasa

Model mengikuti bunyi, jadi bahasa apa pun atau dialek boleh digunakan selagi ada audio.

Arahan gerakan

Tulis gerakan, emosi, pergerakan kamera dan perkara berlaku di latar belakang sehingga 2,000 aksara.

720p atau 1080p

4 kredit setiap saat pada 720p dan 6 kredit setiap saat pada 1080p, ditunjukkan sebelum penjanaan.

Dari mana suara berasal?

Rasa kami. Taip apa yang orang itu perlu ucapkan dan pilih salah satu rasa bahasa Inggeris yang terbina dalam halaman Lip Sync. Jalur rasa dibuat dahulu dengan Text to Speech (2 kredit per 1 000 aksara), kemudian video.

Rakaman anda sendiri. Rakam diri anda pada telefon, eksport fail MP3 atau WAV dan muat naik. Suara yang jelas dengan sedikit bunyi latar memberikan pergerakan mulut yang paling tajam.

Rasa dari studio Audio. Buat jalur dengan Text to speech dalam pelbagai bahasa dan rasa atau klon rasa anda sendiri. Jalur rasa yang anda buat akan muncul dalam pemilih audio Lip Sync.

Satu lagu. Muat naik trek vokal yang anda mempunyai hak ke atasnya. Jika anda hanya mempunyai campuran penuh, versi dengan muzik yang lebih perlahan berfungsi lebih baik berbanding yang kuat.

Lip Sync AI: foto + suara ke video bercakap

Kredit per saat bermula bagi audio, diambil daripada kod yang sama yang digunakan studio untuk pengebilan.

720p per saat

4

kredit

1080p per saat

6

kredit

Kredit Lip Sync berdasarkan panjang audio dan resolusi
Panjang audio720p1080p
4 saat16 kredit24 kredit
10 saat40 kredit60 kredit
30 saat120 kredit180 kredit
1 minit240 kredit360 kredit
5 minit1,200 kredit1,800 kredit

Klip yang boleh difakturkan paling pendek ialah 4 saat, dan video paling panjang, 5 minit menyebabkan 1,200 kredit dalam 720p. Lip Sync memerlukan akaun berbayar: langganan (dari Creator bulan $19 bulan pertama) atau pakej kredit (dari $8), cukup mempunyai salah satu daripadanya. Kredit untuk video yang gagal dikembalikan secara automatik. Lihat harga. Harga dalam dolar AS.

Penggunaan popular

  • Pembentang produk dan iklan jurucakap daripada satu foto jenama
  • Penjelasan kursus dan video latihan dengan pembentang yang sama dalam setiap pelajaran
  • Mesej hari jadi dan ucapan terima kasih daripada satu foto, dengan suara anda sendiri
  • Video muzik dan penyanyi maya daripada satu watak dan trek vokal
  • Mesej yang sama dalam beberapa bahasa, daripada satu foto
  • Buku audio, podcast dan segmen berita dengan wajah di skrin
  • Maskot, haiwan peliharaan dan watak kartun bercakap untuk pos media sosial

Petua untuk hasil yang semula jadi

  • Gunakan foto yang tajam dengan satu wajah yang jelas kelihatan. Potret dekat dan separuh badan berfungsi paling baik; wajah kecil dalam skop luas tidak berfungsi.
  • Pastikan mulut dan dagu tidak tertutup: tiada tangan, mikrofon atau rambut di atas bibir.
  • Gunakan audio yang bersih. Bunyi latar dan muzik kuat menjadikan pergerakan mulut kurang tepat.
  • Tulis arahan sebagai ayat biasa tentang pergerakan sahaja, contohnya "dia tersenyum, kemudian condong ke arah kamera semasa dia bercakap". Jangan huraikan apa yang sudah ada pada foto.
  • Uji satu baris pendek dalam 720p sebelum anda menghasilkan penggambaran panjang dalam 1080p.

Persetujuan dan penggunaan bertanggungjawab

AI lip sync menjadikan orang dalam foto bercakap atau menyanyi bunyi tersebut dengan tepat. Peraturan adalah jelas. Pada penjanaan pertama dengan foto baru, laman web meminta anda mengesahkan bahawa itu adalah anda atau anda mempunyai persetujuan. Foto diperiksa sebelum kredit didebit, dan foto yang mengandungi ketelanjangan atau kanak-kanak bawah umur tidak dibenarkan.

  • Gunakan foto sendiri atau gambar orang yang telah memberi kebenaran untuk animasi wajah. Anda boleh menggunakan watak, haiwan dan ilustrasi sendiri.
  • Gunakan suara yang anda ada hak untuk gunakan: suara sendiri, suara standard, suara yang diklon dengan kebenaran atau rakaman yang diluluskan. Ini juga terpakai untuk muzik dan lagu.
  • Kandungan seksual, kandungan melibatkan individu bawah 18 tahun dan penyamaran sebagai orang lain adalah dilarang. Jangan buat rakaman di mana orang sebenar berkata perkara yang tidak pernah mereka kata, untuk menipu, mengganggu atau menyebarkan maklumat palsu.
  • Orang awam, seperti selebriti dan ahli politik, tidak boleh digunakan tanpa kebenaran dan hak untuk menggunakan gambar tersebut.
  • Apabila anda memuat naik video orang sebenar yang bercakap, tandakan bahawa video itu dicipta dengan AI. Banyak platform memerlukan penandaan ini.

Senarai lengkap perkara yang dilarang terdapat dalam Terma pengguna (Bahasa inggeris).

Soalan lazim tentang lip sync AI

Apa itu lip sync AI?

Lip sync AI menukar foto statik dan trek audio kepada video di mana orang dalam foto itu bercakap atau menyanyi audio tersebut. Di KreatorFlow, ia berjalan pada OmniHuman 2.0, model video berasaskan audio dari ByteDance: bibir mengikuti setiap perkataan, dan wajah, kepala dan bahagian atas badan bergerak mengikut irama dan emosi suara.

Berapa lama video lip sync boleh menjadi?

Video adalah sama panjang dengan audio anda: 4 saat hingga 5 minit per penjanaan. Itu cukup panjang untuk pembentangan penuh, pelajaran, segmen podcast atau keseluruhan lagu dalam satu pengambilan.

Berapa kos lip sync AI?

4 kredit per saat audio pada 720p dan 6 kredit per saat pada 1080p, dikira per saat bermula dengan minimum 4 saat. Klip 10 saat berharga 40 kredit, dan satu minit penuh 240 kredit. Harga tepat ditunjukkan sebelum anda menjana, dan video yang gagal akan memulangkan kredit.

Adakah saya memerlukan pelan berbayar?

Ya. Lip Sync berfungsi pada mana-mana pelan berbayar atau pakej kredit. Pelan bermula pada Creator untuk bulan pertama pada $19, dan pakej kredit terkecil berharga $8 untuk 160 kredit. Kedua-dua resolusi tersedia pada setiap akaun berbayar.

Bolehkah foto menyanyi, bukan hanya bercakap?

Ya. OmniHuman 2.0 mengikuti nyanyian dan rap pantas sama seperti percakapan, dengan mulut, intonasi dan emosi mengikuti trek. Muat naik trek vokal; vokal bersih dengan sedikit muzik latar memberikan pergerakan mulut yang paling tepat.

Bahasa manakah yang berfungsi dengan lip sync?

Model mengikuti bunyi audio, jadi trek suara boleh dalam mana-mana bahasa. Suara yang terbina dalam di halaman Lip Sync adalah bahasa Inggeris; untuk bahasa lain, buat baris suara di studio Audio atau muat naik rakaman anda sendiri.

Adakah ia berfungsi dengan kartun, watak 3D dan haiwan?

Ya. Selain manusia sebenar, OmniHuman 2.0 menganimasikan watak anime dan kartun, watak 3D, makhluk fantasi dan haiwan, seperti kucing atau rakun, selagi wajahnya jelas.

Bolehkah saya menggunakan foto orang lain?

Hanya dengan kebenaran mereka. Anda mesti menjadi orang dalam foto atau mempunyai persetujuan mereka untuk menjadikan mereka bercakap, dan anda mesti mempunyai hak untuk menggunakan suara dan mana-mana muzik. Laman web meminta anda mengesahkan ini untuk setiap foto baru. Selebriti dan tokoh awam tidak dibenarkan tanpa kebenaran, dan apa-apa yang bersifat seksual atau melibatkan kanak-kanak tidak dibenarkan.

Bolehkah saya menggunakan suara saya sendiri atau suara yang diklon?

Ya. Muat naik rakaman anda sendiri, atau klon suara anda di studio Audio, buat baris suara dengannya dan pilih baris itu di Lip Sync. Suara terbina dalam berharga harga Text to Speech untuk baris tersebut (2 kredit per 1 000 aksara) di atas video.

Adakah terdapat API lip sync?

Ya. Pembangun boleh memanggil /v1/lip-sync dengan foto dan trek suara dan membayar per saat dalam token prabayar: $0.20 per saat pada 720p dan $0.30 pada 1080p. Lihat halaman API OmniHuman.

Hasilkan video bercakap pertama anda

Buka Lip Sync, tambah gambar dan suara, dan lihat harga sebelum anda menjana. Ia tersedia pada mana-mana pelan berbayar atau pakej kredit.

Lip Sync ialah alat berbayar. Dua cara untuk bermula dengan jumlah kecil: percubaan 48 jam dengan harga $3 (60 kredit, kira-kira 15 saat dalam 720p; selepas itu Creator diteruskan dengan $19 untuk bulan pertama dan $25/bulan melainkan anda membatalkan dalam tempoh 48 jam itu; juga tersedia dengan Pro (60 kredit, kemudian $49/bulan) atau Max (60 kredit, kemudian $99/bulan)) atau pek kredit bermula dari $8 (160 kredit, kira-kira 40 saat dalam 720p, bayaran sekali sahaja tanpa pelan).

Teroka lagi