Black Friday sale50% OFFyour first month

Get 50% off

Oficjalny partner BytePlusBytePlus, firma z grupy ByteDance

Oficjalny partner BytePlus · OmniHuman 2.0

AI lip sync: twórz wideo z mówiącymi postaciami na podstawie zdjęć i głosu

Prześlij zdjęcie, dodaj dźwięk, a postać na zdjęciu będzie wymawiać lub śpiewać każde słowo z naturalnymi ekspresjami i ruchami. Działaj z OmniHuman 2.0, modelem opartym na audio od ByteDance, z jednym ujęciem do 5 minuty.

  • Do 5 minuty
  • Mówienie, śpiewanie, rapowanie
  • Ludzie, postacie, zwierzęta
  • 720p lub 1080p
  • 4 kredyty za sekundę

Lip Sync jest funkcją płatną. Dwa tanie sposoby na start: 48-godzinny dostęp próbny za $3 (60 kredytów, około 15 s w 720p; potem plan Creator trwa dalej: $19 za pierwszy miesiąc i $25/mies., chyba że anulujesz w ciągu tych 48 godzin; także w planach Pro (60 kredytów, potem $49/mies.) lub Max (60 kredytów, potem $99/mies.)) lub pakiety kredytów od $8 (160 kredytów, około 40 s w 720p, jednorazowa płatność bez subskrypcji).

Na tej stronie
  1. Co możesz zrobić z AI lip sync
  2. Stwórz wideo lip sync w 3 krokach
  3. Wideo, które możesz stworzyć
  4. Skąd się bierze dźwięk?
  5. Cena wideo lip sync
  6. Najczęściej stosowane do
  7. Wskazówki, jak uzyskać naturalny efekt
  8. Najczęściej zadawane pytania o synchronizację ust AI
  9. Zobacz też

Co możesz zrobić z AI lip sync

AI lip sync przyjmuje dwie rzeczy: zdjęcie osoby i to, co ma powiedzieć. Wynikiem jest wideo, w którym ta osoba naprawdę mówi. Lip sync w KreatorFlow używa ", OmniHuman 2.0najnowszego modelu wideo opartego na audio od ByteDance. KreatorFlow to ", oficjalnym partnerem BytePlus, firmy z grupy ByteDancei uruchamia ten model przez BytePlus.

Oparty na audio oznacza, że dźwięk kieruje wideo. Ruchy ust pasują do słów, brwi i głowa reagują na akcenty, pauzy wyglądają jak pauzy, a piosenka brzmi jak prawdziwie śpiewana, a nie tylko dopasowana do ust. Pisemne instrukcje wystarczają do rzeczy, których nie przekazuje audio, jak uśmiech, kiwanie głową lub powolne zbliżenie kamery.

Jedno wygenerowanie może trwać do ", 5 minut, więc talk, materiały do lekcji, prezentacja produktu lub cała piosenka mogą stać się jednym płynnym wideo z tą samą twarzą, bez łączenia krótkich klipów.

Stwórz wideo lip sync w 3 krokach

  1. 1

    Prześlij zdjęcie

    Prześlij jedno wyraźne zdjęcie z osobą, postacią lub zwierzęciem, lub wybierz z wcześniej przesłanych plików, wygenerowanych obrazów lub zapisanych postaci. Najlepsze efekty daje zdjęcie z jedną twarzą, skierowaną w stronę kamery i niezamkniętymi ustami.

  2. 2

    Dodaj dźwięk

    Wpisz tekst i wybierz wbudowany głos, lub wgraj własną nagraną ścieżkę, piosenkę lub plik dźwiękowy z studia (MP3 lub WAV). Długość audio może wynosić 4 sekund do 5 minut.

  3. 3

    Generuj i pobierz

    Wybierz rozdzielczość 720p lub 1080p, dodaj ewentualne instrukcje ruchu i kamery, a następnie kliknij generuj. Cena jest wyświetlana wcześniej: 4 kredyty za sekundę w 720p i 6 kredytów za sekundę w 1080p. Czas trwania wideo jest taki sam jak audio, a wynik zapisywany jest w bibliotece.

Wideo, które możesz stworzyć

Jedno ujęcie do 5 minut

Audio może trwać 4 sekund do 5 minut, a długość wideo jest dokładnie taka sama jak audio.

Gadające zdjęcie, śpiewające zdjęcie

Rozmowa, narracja, piosenka, aż po szybki rap. Ruchy ust, intonacja i emocje podążają za audio.

Osoby, postacie, zwierzęta

Portrety, postacie anime i kreskówkowe, postacie 3D, stworzenia fantasy i zwierzęta mogą być animowane.

Każdy język

Model podąża za dźwiękiem, więc język polski i inne języki lub dialekty mogą być używane, o ile jest audio.

Instrukcje ruchu

Napisz ruchy, emocje, ruch kamery i wydarzenia w tle do 2000 znaków.

720p lub 1080p

4 kredyty za sekundę w 720p i 6 kredytów za sekundę w 1080p, wyświetlane przed generowaniem.

Skąd się bierze dźwięk?

Dźwięk wbudowany. Wpisz, co ma być powiedziane, i wybierz jeden z głosów w języku angielskim na ekranie lip sync. Dialog tworzony jest najpierw za pomocą text to speech (2 kredyty za 1.000 znaków), a potem wideo.

Twoje własne nagranie. Nagraj telefonem i prześlij jako MP3 lub WAV. Im czystszy dźwięk i mniej szumów, tym wyraźniejszy ruch ust.

Dźwięk z studia audio. Stwórz dialog za pomocą text to speech w wielu językach i głosach lub sklonuj swój własny głos. Pliki dźwiękowe, które stworzysz, pojawiają się na liście audio lip sync.

Muzyka. Prześlij utwór wokalny, do którego posiadasz prawa. Jeśli dostępny jest tylko pełny mix, wersja z cichą muzyką w tle daje lepsze rezultaty.

Cena wideo lip sync

Kredyty naliczane są za każdą sekundę dźwięku, zaczynając od kodu, który jest taki sam jak ten używany przez studio przy odliczaniu kredytów.

720p za sekundę

4

kredyty

1080p za sekundę

6

kredyty

Kredyty lip sync zależą od długości dźwięku i rozdzielczości
Czas trwania dźwięku720p1080p
4 sekund16 kredytów24 kredyty
10 sekund40 kredytów60 kredytów
30 sekund120 kredytów180 kredytów
1 minut240 kredytów360 kredytów
5 minut1200 kredytów1800 kredytów

Minimalna długość, która jest liczona, to 4 sekund, a najdłuższe wideo, 5 minut wymaga 1200 kredytów w 720p. Synchronizacja ust (lip sync) wymaga konta płatnego: plan (zaczynając odCreator zaczynając $19 w pierwszym miesiącu) lub pakiet kredytów (zaczynając od $8), wystarczy jeden z nich. Kredyty za nieudane filmy zwracają się automatycznie. Wszystkie plany znajdziesz na stronie ceny. Ceny w dolarach amerykańskich.

Najczęściej stosowane do

  • Wideo prezentujące produkt i reklamy modeli z jednego zdjęcia marki
  • Wideo z kursami i szkoleniami z tym samym prowadzącym w każdej sesji
  • Gratulacje urodzinowe i podziękowania z Twojego zdjęcia i głosu
  • Teledyski i wirtualni artyści z postaci i ścieżki wokalu
  • Ta sama wiadomość w kilku językach z jednego zdjęcia
  • Audiobooki, podcasty i filmy informacyjne z twarzą
  • Mascotki, zwierzęta domowe i mówiące postacie z kreskówek do mediów społecznościowych

Wskazówki, jak uzyskać naturalny efekt

  • Użyj ostrego zdjęcia z wyraźnie widoczną jedną twarzą. Najlepiej sprawdzają się zbliżenia i półfigury; zdjęcia z daleka, gdzie twarz jest mała, są mniej odpowiednie.
  • Nie zakrywaj ust i podbródka. Ręce, mikrofon czy włosy nie powinny zasłaniać ust.
  • Używaj czystego dźwięku. Szum i głośna muzyka w tle zmniejszają dokładność synchronizacji ust.
  • Napisz tylko instrukcje ruchu, zwykłym zdaniem. Na przykład „uśmiechaj się, mówiąc, a potem pochyl się do kamery”. Nie opisuj tego, co już jest na zdjęciu.
  • Zanim stworzysz długi film w 1080p, przetestuj krótki dialog w 720p.

Zgoda i odpowiedzialne korzystanie

Synchronizacja ust (lip sync) AI sprawia, że osoby na zdjęciu wypowiadają treść audio dokładnie tak, jak jest. Zasady są więc jasne. Przy pierwszym generowaniu z nowym zdjęciem strona internetowa prosi o potwierdzenie, że to Ty lub że masz zgodę. Zdjęcie jest sprawdzane przed obciążeniem kredytami, a zdjęcia z nagością lub z osobami poniżej 18. roku życia nie są przetwarzane.

  • Użyj własnego zdjęcia lub zdjęcia osoby, która wyraziła zgodę na animację twarzy. Możesz użyć własnych postaci, zwierząt i ilustracji.
  • Użyj głosu, którego masz prawo używać: własnego, domyślnego, sklonowanego za zgodą lub nagrania zezwolonego. To samo dotyczy muzyki i piosenek.
  • Treści seksualne, zawierające osoby poniżej 18. roku życia oraz podszywanie się pod inne osoby są zabronione. Nie twórz nagrań, w których prawdziwe osoby mówią rzeczy, których nigdy nie powiedziały, w celu oszustwa, nękania lub dezinformacji.
  • Osoby publiczne, takie jak celebryci i politycy, nie mogą być używane bez ich zgody i praw do wykorzystania wizerunku.
  • Podczas przesyłania wideo prawdziwej osoby mówiącej, oznacz, że wideo zostało stworzone z użyciem AI. Wiele platform wymaga tego oznaczenia.

Pełna lista zakazów znajduje się w Polityka użytkowania (angielski).

Najczęściej zadawane pytania o synchronizację ust AI

Czym jest AI lip sync?

Technologia łącząca nieruchome zdjęcie z audio, dzięki czemu osoba na zdjęciu wydaje się mówić lub śpiewać. W KreatorFlow funkcja ta działa na modelu OmniHuman 2.0, modelu wideo opartym na audio od ByteDance. Ruch ust dopasowuje się do każdego słowa, a twarz, głowa i górna część ciała poruszają się zgodnie z rytmem i emocjami głosu.

Jak długi może być film?

Czas trwania wideo jest taki sam jak audio, a jedno wygenerowanie może trwać 4 sekund do 5 minut. To wystarczy na prezentację, materiał do lekcji, jeden segment podcastu lub pełną piosenkę w jednym ujęciu.

Ile kosztuje AI lip sync?

Za sekundę audio: 4 kredyty w 720p i 6 kredytów w 1080p, naliczane za sekundę z minimum 4 sekund. 10-sekundowy klip w 720p wymaga 40 kredytów, a 1 minuta wymaga 240 kredytów. Dokładna cena pojawia się przed generowaniem, a kredyty za nieudane wideo są zwracane.

Czy potrzebuję płatnego pakietu?

Tak. Lip sync można używać, jeśli masz płatny pakiet lub pakiet kredytowy. Pakiety zaczynają się od Creator $19 w pierwszym miesiącu, a najmniejszy pakiet kredytowy to $8 (160 kredytów). Oba rozmiary są dostępne dla wszystkich kont z opłatą.

Czy zdjęcie może śpiewać, a nie tylko mówić?

Tak. OmniHuman 2.0 obsługuje mówienie, śpiew, a nawet szybki rap. Prześlij ścieżkę wokalu: im mniej muzyki w tle i czystszy głos, tym lepiej dopasowuje się ruch ust.

Czy można używać języka polskiego?

Tak. Model podąża za dźwiękiem audio, więc można używać głosu w dowolnym języku. Domyślny głos na ekranie lip sync jest po angielsku, więc do dialogów po polsku stwórz głos w studio audio lub prześlij własne nagranie.

Czy postacie z kreskówek lub zwierzęta też mogą mówić?

Tak. Oprócz prawdziwych ludzi, można animować postacie anime i kreskówkowe, modele 3D, stworzenia fantasy oraz zwierzęta, takie jak koty czy łasice, za pomocą OmniHuman 2.0, pod warunkiem, że ich twarze są wyraźnie widoczne.

Czy mogę użyć zdjęcia innej osoby?

Tylko za jej zgodą. Osoba na zdjęciu musi być Tobą lub wyraziła zgodę, a Ty musisz posiadać prawa do głosu i muzyki. Strona wymaga potwierdzenia tego przy każdym nowym zdjęciu. Używanie wizerunków celebrytów i osób publicznych bez zgody jest zabronione, podobnie jak treści seksualnych lub zawierających osoby poniżej 18. roku życia.

Czy mogę użyć własnego głosu lub głosu sklonowanego?

Tak. Prześlij własne nagranie lub sklonuj swój głos w studio audio, utwórz plik dźwiękowy, a następnie wybierz go w lip sync. Jeśli użyjesz domyślnego głosu, do ceny wideo doliczana jest cena text to speech (2 kredyty za 1.000 znaków).

Czy jest API do lip sync?

Tak. Deweloperzy wywołują /v1/lip-sync, podając zdjęcie i plik dźwiękowy, a następnie płacą za sekundę tokenami prepay: $0.20 za sekundę w 720p i $0.30 za sekundę w 1080p. Szczegóły znajdziesz na stronie OmniHuman API (po angielsku).

Stwórz swój pierwszy mówiący film

Otwórz synchronizację ust, wgraj zdjęcie i plik dźwiękowy, a cena pojawi się przed generowaniem. Możesz użyć planu płatnego lub pakietu kredytów.

Lip Sync jest funkcją płatną. Dwa tanie sposoby na start: 48-godzinny dostęp próbny za $3 (60 kredytów, około 15 s w 720p; potem plan Creator trwa dalej: $19 za pierwszy miesiąc i $25/mies., chyba że anulujesz w ciągu tych 48 godzin; także w planach Pro (60 kredytów, potem $49/mies.) lub Max (60 kredytów, potem $99/mies.)) lub pakiety kredytów od $8 (160 kredytów, około 40 s w 720p, jednorazowa płatność bez subskrypcji).

Zobacz też