Black Friday sale50% OFFyour first month

Get 50% off

Επίσημος συνεργάτης του BytePlusBytePlus, εταιρεία της ByteDance

Επίσημος συνεργάτης του BytePlus · OmniHuman 2.0

AI lip sync: Δημιούργησε βίντεο με ομιλούντα πρόσωπα από φωτογραφίες και φωνή

Μεταφόρτωσε μια φωτογραφία, πρόσθεσε ένα αρχείο ήχου και το πρόσωπο στη φωτογραφία θα μιλά ή θα τραγουδά κάθε λέξη με φυσικές εκφράσεις και κινήσεις. Τρέχει στο OmniHuman 2.0, το μοντέλο ελεγχόμενο από ήχο της ByteDance, με μία λήψη έως 5 λεπτό.

  • Έως 5 λεπτά
  • Ομιλία, τραγούδι και ραπ
  • Άνθρωποι, χαρακτήρες και ζώα
  • 720p ή 1080p
  • 4 πιστώσεις ανά δευτερόλεπτο

Το Lip Sync είναι εργαλείο επί πληρωμή. Δύο τρόποι να ξεκινήσεις με μικρό ποσό: μια δοκιμή 48 ωρών για $3 (60 πιστώσεις, περίπου 15 δευτερόλεπτα σε 720p· στη συνέχεια το Creator συνεχίζεται με $19 τον πρώτο μήνα και $25/μήνα, εκτός αν ακυρώσεις μέσα στις 48 ώρες; διαθέσιμο και με Pro (60 πιστώσεις, μετά $49/μήνα) ή Max (60 πιστώσεις, μετά $99/μήνα)) ή ένα πακέτο πιστώσεων από $8 (160 πιστώσεις, περίπου 40 δευτερόλεπτα σε 720p, εφάπαξ πληρωμή χωρίς συνδρομή).

Σε αυτή τη σελίδα
  1. Τι μπορείς να δημιουργήσεις με το AI lip sync
  2. Δημιούργησε βίντεο lip sync σε 3 βήματα
  3. Τι βίντεο μπορείς να δημιουργήσεις
  4. Πού προέρχεται ο ήχος;
  5. Τιμή βίντεο Lip Sync
  6. Δημοφιλείς χρήσεις
  7. Συμβουλές για φυσικό αποτέλεσμα
  8. Συχνές ερωτήσεις για το AI lip sync
  9. Συνέχισε την εξερεύνηση

Τι μπορείς να δημιουργήσεις με το AI lip sync

Το AI lip sync παίρνει δύο πράγματα: μια φωτογραφία ενός προσώπου και κάτι να πει. Το αποτέλεσμα είναι ένα βίντεο όπου αυτό το πρόσωπο μιλά πραγματικά. Το Lip Sync στο KreatorFlow χρησιμοποιεί OmniHuman 2.0 το νεότερο μοντέλο βίντεο ελεγχόμενο από ήχο της ByteDance. Το KreatorFlow είναι επίσημος συνεργάτης του BytePlus, εταιρείας της ByteDance και τρέχει αυτό το μοντέλο μέσω του BytePlus.

Το ελεγχόμενο από ήχο σημαίνει ότι ο ήχος καθοδηγεί. Οι κινήσεις των χειλιών ταιριάζουν με τις λέξεις, τα φρύδια και το κεφάλι αντιδρούν στις τονίσεις, οι παύσεις φαίνονται ως παύσεις και ένα τραγούδι εκτελείται παρά μόνο ταιριάζει στα χείλη. Οι προαιρετικές οδηγίες κειμένου προσθέτουν μόνο ό,τι δεν μπορεί να πει ο ήχος, όπως ένα χαμόγελο, ένα νεύμα ή μια αργή στροφή της κάμερας.

Μια μοναδική δημιουργία μπορεί να διαρκέσει έως 5 λεπτά, οπότε μια ομιλία, ένα μάθημα, μια παρουσίαση προϊόντος ή ένα ολόκληρο τραγούδι μπορούν να γίνουν ένα συνεχόμενο βίντεο με το ίδιο πρόσωπο από την αρχή μέχρι το τέλος, αντί για σύντομα κλιπ κολλημένα μαζί.

Δημιούργησε βίντεο lip sync σε 3 βήματα

  1. 1

    Προσθήκη φωτογραφίας

    Μεταφόρτωσε μια καθαρή φωτογραφία με ένα πρόσωπο, έναν χαρακτήρα ή ένα ζώο, ή διάλεξε μια από τις δικές σου μεταφορτώσεις, δημιουργίες ή αποθηκευμένους χαρακτήρες. Λειτουργεί καλύτερα με μια φωτογραφία που δείχνει ένα πρόσωπο, στραμμένο προς την κάμερα, με ανοιχτά χείλη.

  2. 2

    Προσθήκη ήχου

    Γράψε ένα κείμενο και διάλεξε έναν από τους ενσωματωμένους φωνές, ή μεταφόρτωσε τη δική σου ηχογράφηση, τραγούδι ή φωνητική γραμμή από το Audio studio (MP3 ή WAV). Το αρχείο ήχου μπορεί να έχει διάρκεια 4 δευτερόλεπτα έως 5 λεπτά.

  3. 3

    Δημιουργία και λήψη

    Διάλεξε ανάλυση 720p ή 1080p, πρόσθεσε προαιρετικές οδηγίες για κινήσεις και κάμερα, και πάτα Δημιούργησε. Η τιμή εμφανίζεται πρώτα: 4 πιστώσεις ανά δευτερόλεπτο στα 720p και 6 πιστώσεις στα 1080p. Το βίντεο έχει την ίδια διάρκεια με τον ήχο και εμφανίζεται στη βιβλιοθήκη σου.

Τι βίντεο μπορείς να δημιουργήσεις

Μία λήψη έως 5 λεπτά

Ο ήχος μπορεί να διαρκέσει 4 δευτερόλεπτα έως 5 λεπτά, και το μήκος του βίντεο είναι ακριβώς το ίδιο με τον ήχο.

Ομιλούσα φωτογραφία, τραγουδιστική φωτογραφία

Ομιλία, διάλογος, αφήγηση, τραγούδια και γρήγορα στίχους. Τα σχήματα των χειλιών, ηintonation και τα συναισθήματα ακολουθούν το αρχείο ήχου.

Άνθρωποι, χαρακτήρες, ζώα

Πορτρέτα, χαρακτήρες anime και κινουμένων σχεδίων, 3D χαρακτήρες, φανταστικά πλάσματα και ζώα μπορούν να αναπαρασταθούν.

Οποιοδήποτε γλώσσα

Το μοντέλο ακολουθεί τον ήχο, οπότε η ελληνική και άλλες γλώσσες ή διάλεκτοι μπορούν να χρησιμοποιηθούν, εφόσον υπάρχει αρχείο ήχου.

Οδηγίες κίνησης

Γράψε κινήσεις, συναισθήματα, κινήσεις κάμερας και γεγονότα στο παρασκήνιο έως 2.000 χαρακτήρες.

720p ή 1080p

4 πιστώσεις ανά δευτερόλεπτο στα 720p και 6 πιστώσεις ανά δευτερόλεπτο στα 1080p, εμφανίζεται πριν τη δημιουργία.

Πού προέρχεται ο ήχος;

Ενσωματωμένος ήχος. Πληκτρολόγησε το κείμενο και διάλεξε έναν από τους αγγλικούς φωνές στη σελίδα Lip Sync. Η φωνή δημιουργείται πρώτα με Text to Speech (2 πιστώσεις ανά 1.000 χαρακτήρες), και μετά το βίντεο.

Το δικό σου ηχογραφημένο. Ηχογράφησε με το κινητό και ανέβασέ το ως MP3 ή WAV. Καθαρός ήχος με λίγους θορύβους δίνει πιο ευκρινή κίνηση των χειλιών.

Ήχος από το Audio studio. Δημιούργησε φωνή με Text to Speech σε πολλές γλώσσες και φωνές ή κλωνοποίησε τη δική σου φωνή. Οι φωνές που δημιουργείς εμφανίζονται στη λίστα επιλογής ήχου Lip Sync.

Τραγούδι. Ανέβασε μια φωνητική κομμάτι που έχεις τα δικαιώματα. Αν έχεις μόνο το πλήρες μίξ, μια έκδοση με πιο χαμηλή μουσική δίνει καλύτερα αποτελέσματα.

Τιμή βίντεο Lip Sync

Πιστώσεις ανά δευτερόλεπτο ήχου, από τον ίδιο κώδικα που χρησιμοποιεί το studio για την χρέωση.

720p ανά δευτερόλεπτο

4

πιστώσεις

1080p ανά δευτερόλεπτο

6

πιστώσεις

Πιστώσεις Lip Sync ανά μήκος ήχου και ανάλυση
Μήκος ήχου720p1080p
4 δευτερόλεπτα16 πιστώσεις24 πιστώσεις
10 δευτερόλεπτα40 πιστώσεις60 πιστώσεις
30 δευτερόλεπτα120 πιστώσεις180 πιστώσεις
1 λεπτά240 πιστώσεις360 πιστώσεις
5 λεπτά1.200 πιστώσεις1.800 πιστώσεις

Η ελάχιστη διάρκεια που χρεώνεται είναι 4 δευτερόλεπτα, και το μακρύτερο βίντεο, 5 λεπτά κοστίζει 1.200 πιστώσεις σε 720p. Το Lip Sync απαιτεί λογαριασμό πληρωμής: οποιοδήποτε πλάνο (από Creator από $19 τον πρώτο μήνα) ή πακέτο πιστώσεων (από $8, αρκεί ένα από αυτά. Οι πιστώσεις για ένα αποτυχημένο βίντεο επιστρέφονται αυτόματα. Δες όλα τα πλάνα στη σελίδα τιμών. Οι τιμές σε δολάρια ΗΠΑ.

Δημοφιλείς χρήσεις

  • Παρουσιάσεις προϊόντων και διαφημίσεις εκπροσώπων από μία φωτογραφία μάρκας
  • Βίντεο μαθημάτων και εκπαίδευσης με τον ίδιο παρουσιαστή σε κάθε μάθημα
  • Μηνύματα γενεθλίων και ευχαριστιών από τη φωτογραφία σου, με τη δική σου φωνή
  • Μουσικά βίντεο και εικονικοί τραγουδιστές από χαρακτήρα και φωνητική κομμάτι
  • Το ίδιο μήνυμα σε πολλές γλώσσες από μία φωτογραφία
  • Αυδιόβιβλοι, podcast και ειδησεογραφικά κλιπ με πρόσωπο στην οθόνη
  • Ομιλούντες μάσκες, κατοικίδια και κινούμενοι χαρακτήρες για social media

Συμβουλές για φυσικό αποτέλεσμα

  • Χρησιμοποίησε μια καθαρή φωτογραφία με ένα καθαρά ορατό πρόσωπο. Τα close-up και τα μισά σώματα λειτουργούν καλύτερα· τα μακρινά πλάνα με μικρό πρόσωπο δεν είναι κατάλληλα.
  • Κράτα τα χείλη και το πηγούνι uncovered: κανένα χέρι, μικρόφωνο ή μαλλί πάνω από τα χείλη.
  • Χρησιμοποίησε καθαρό ήχο. Ο θόρυβος και η δυνατή μουσική στο παρασκήνιο μειώνουν την ακρίβεια της κίνησης του στόματος.
  • Γράψε οδηγίες μόνο για κίνηση, με απλές προτάσεις. Για παράδειγμα: «Χαμογέλα, μετά γείρε προς την κάμερα ενώ μιλάς». Μην περιγράφεις αυτό που ήδη υπάρχει στην εικόνα.
  • Δοκίμασε μια σύντομη πρόταση σε 720p πριν δημιουργήσεις ένα μακρύ πλάνο σε 1080p.

Συγκατάθεση και υπεύθυνη χρήση

Το AI lip sync κάνει τα πρόσωπα στις εικόνες να μιλούν ή να τραγουδούν ακριβώς σύμφωνα με το ηχητικό αρχείο. Οι κανόνες είναι σαφείς. Κατά την πρώτη δημιουργία με μια νέα εικόνα, η ιστοσελίδα ζητά επιβεβαίωση ότι είσαι το πρόσωπο ή ότι έχεις τη συγκατάθεσή του. Η εικόνα ελέγχεται πριν χρεωθούν πιστώσεις, και εικόνες με γύμνο ή ανηλίκους δεν επεξεργάζονται.

  • Χρησιμοποίησε τη δική σου φωτογραφία ή φωτογραφία κάποιου που έχει δώσει συγκατάθεση για την κίνηση του προσώπου. Μπορείς να χρησιμοποιήσεις τους δικούς σου χαρακτήρες, ζώα και εικόνες.
  • Χρησιμοποίησε φωνή για την οποία έχεις δικαίωμα χρήσης: τη δική σου, προεπιλεγμένη, κλωνοποιημένη με συγκατάθεση ή ηχογράφηση με άδεια. Το ίδιο ισχύει για μουσική και τραγούδια.
  • Ασεξουαλικός περιεχόμενος, περιεχόμενο με ανηλίκους και υποδοχή ταυτότητας άλλων προσώπων απαγορεύονται. Μην δημιουργείς ηχογραφήσεις όπου πραγματικά πρόσωπα λένε πράγματα που δεν έχουν πει ποτέ, με σκοπό απάτη, παρενόχληση ή παραπληροφόρηση.
  • Δημόσια πρόσωπα, όπως celebrities και πολιτικοί, δεν μπορούν να χρησιμοποιηθούν χωρίς τη συγκατάθεσή τους και τα δικαιώματα χρήσης της εικόνας τους.
  • Κατά τη μεταφόρτωση βίντεο πραγματικού προσώπου που μιλά, σημείωσε ότι το βίντεο δημιουργήθηκε με AI. Πολλές πλατφόρμες απαιτούν αυτή τη σήμανση.

Η πλήρης λίστα απαγορεύσεων βρίσκεται στο Πολιτική χρήσης (αγγλικά).

Συχνές ερωτήσεις για το AI lip sync

Τι είναι το AI lip sync;

Το AI lip sync μετατρέπει μια στατική φωτογραφία και ένα αρχείο ήχου σε βίντεο, όπου το άτομο στη φωτογραφία μιλάει ή τραγουδάει τον ήχο. Στο KreatorFlow λειτουργεί στο OmniHuman 2.0, το μοντέλο βίντεο της ByteDance που βασίζεται στον ήχο: τα χείλη ακολουθούν κάθε λέξη, και το πρόσωπο, το κεφάλι και το άνω μέρος του σώματος κινούνται σύμφωνα με τον ρυθμό και τα συναισθήματα της φωνής.

Πόσο μεγάλο μπορεί να είναι το βίντεο;

Η διάρκεια του βίντεο είναι ίση με την ηχογράφηση: 4 δευτερόλεπτα έως 5 λεπτά ανά δημιουργία. Αυτό είναι αρκετό για μια ολόκληρη παρουσίαση, μια διδακτική διάλεξη, ένα τμήμα podcast ή ένα ολόκληρο τραγούδι σε μία λήψη.

Πόσο κοστίζει το AI lip sync;

4 πιστώσεις ανά δευτερόλεπτο ήχου στα 720p και 6 πιστώσεις στα 1080p, με ελάχιστη χρέωση 4 δευτερολέπτων. Ένα κλιπ 10 δευτερολέπτων κοστίζει 40 πιστώσεις στα 720p, και ένα ολόκληρο λεπτό 240 πιστώσεις. Η ακριβής τιμή εμφανίζεται πριν τη δημιουργία, και οι πιστώσεις για ένα αποτυχημένο βίντεο επιστρέφονται.

Χρειάζομαι συνδρομή;

Ναι. Το Lip Sync λειτουργεί σε οποιοδήποτε συνδρομητικό πλάνο ή πακέτο πιστώσεων. Τα πλάνα ξεκινούν από Creator $19 για τον πρώτο μήνα, και το μικρότερο πακέτο πιστώσεων είναι $8 για 160 πιστώσεις. Και οι δύο αναλύσεις είναι διαθέσιμες σε κάθε πληρωμένο λογαριασμό.

Η φωτογραφία μπορεί να τραγουδήσει, όχι μόνο να μιλήσει;

Ναι. Το OmniHuman 2.0 ακολουθεί τραγούδια και γρήγορο ραπ, με τα χείλη, τον τόνο και τα συναισθήματα να ακολουθούν το κομμάτι. Μεταφόρτωσε τη φωνητική γραμμή: μια καθαρή φωνή με λίγη μουσική υπόκρουση δίνει την πιο ακριβή κίνηση των χειλιών.

Λειτουργεί με ελληνικά;

Ναι. Το μοντέλο ακολουθεί τον ήχο του αρχείου, οπότε η φωνητική γραμμή μπορεί να είναι σε οποιαδήποτε γλώσσα. Οι ενσωματωμένες φωνές στη σελίδα Lip Sync είναι στα αγγλικά· για άλλες γλώσσες, δημιούργησε τη φωνητική γραμμή στο Audio studio ή μεταφόρτωσε τη δική σου ηχογράφηση.

Λειτουργεί με κινούμενα σχέδια, 3D χαρακτήρες και ζώα;

Ναι. Εκτός από πραγματικούς ανθρώπους, το OmniHuman 2.0 ζωοποιεί χαρακτήρες anime και κινουμένων σχεδίων, 3D χαρακτήρες, φανταστικά πλάσματα και ζώα, όπως γάτες ή ρακούν, εφόσον το πρόσωπο είναι καθαρό.

Μπορώ να χρησιμοποιήσω φωτογραφία κάποιου άλλου;

Μόνο με τη συγκατάθεσή του. Πρέπει να είσαι το άτομο στη φωτογραφία ή να έχεις τη συγκατάθεσή του για να μιλήσει, και πρέπει να έχεις τα δικαιώματα χρήσης της φωνής και οποιασδήποτε μουσικής. Η ιστοσελίδα σε ζητά να επιβεβαιώσεις αυτό για κάθε νέα φωτογραφία. Δεν επιτρέπεται η χρήση εικόνων διασημοτήτων και δημόσιων προσώπων χωρίς άδεια, ούτε τίποτα σεξουαλικό ή που περιλαμβάνει ανηλίκους.

Μπορώ να χρησιμοποιήσω τη δική μου φωνή ή κλωνοποιημένη φωνή;

Ναι. Μεταφόρτωσε μια ηχογράφηση του εαυτού σου, ή κλωνοποίησε τη φωνή σου στο Audio studio, δημιούργησε μια φωνητική γραμμή και διάλεξέ την στο Lip Sync. Οι ενσωματωμένες φωνές κοστίζουν την τιμή Text to Speech για τη γραμμή (2 πιστώσεις ανά 1.000 χαρακτήρες) επιπλέον της τιμής του βίντεο.

Υπάρχει API για lip sync;

Ναι. Οι προγραμματιστές μπορούν να καλέσουν το /v1/lip-sync με μια φωτογραφία και μια φωνητική γραμμή και να πληρώσουν ανά δευτερόλεπτο με προκαταβλημένα tokens: $0.20 ανά δευτερόλεπτο στα 720p και $0.30 στα 1080p. Δες τη σελίδα OmniHuman API.

Δημιούργησε το πρώτο σου ομιλούν βίντεο

Άνοιξε το Lip Sync, πρόσθεσε μια φωτογραφία και μια φωνή, και δες την τιμή πριν τη δημιουργία. Διαθέσιμο σε οποιοδήποτε πληρωμένο πλάνο ή πακέτο πιστώσεων.

Το Lip Sync είναι εργαλείο επί πληρωμή. Δύο τρόποι να ξεκινήσεις με μικρό ποσό: μια δοκιμή 48 ωρών για $3 (60 πιστώσεις, περίπου 15 δευτερόλεπτα σε 720p· στη συνέχεια το Creator συνεχίζεται με $19 τον πρώτο μήνα και $25/μήνα, εκτός αν ακυρώσεις μέσα στις 48 ώρες; διαθέσιμο και με Pro (60 πιστώσεις, μετά $49/μήνα) ή Max (60 πιστώσεις, μετά $99/μήνα)) ή ένα πακέτο πιστώσεων από $8 (160 πιστώσεις, περίπου 40 δευτερόλεπτα σε 720p, εφάπαξ πληρωμή χωρίς συνδρομή).

Συνέχισε την εξερεύνηση