AIリップシンク: 写真と音声で話す動画に

リップシンクAIは、人物の画像と話す内容の2つから、その人物が話している動画を作ります。KreatorFlowのリップシンクは、ByteDanceの最新の音声駆動型動画モデルOmniHuman 2.0を使っています。KreatorFlowはByteDanceのグループ企業であるBytePlusの公式パートナーで、BytePlusを通じてこのモデルを動かしています。

音声駆動型とは、音が動画を導くという意味です。多くの動画生成AIはテキストから映像を作り、あとから音を足しますが、ここでは声が演技全体を形づくります。口は言葉に合い、強調に合わせて眉や頭が動き、間はきちんと間に見え、歌はただ口を動かすのではなく歌い上げます。テキストの指示は任意で、笑顔、うなずき、ゆっくりしたカメラの寄りなど、音声では伝えられない部分だけを補います。

1回の生成で最長5分まで作れるので、講演、レッスン、商品紹介、1曲まるごとを、短いクリップをつなぐのではなく同じ顔のまま1本で仕上げられます。

内蔵の音声： 話させたい内容を入力し、リップシンク画面にある英語の音声から選びます。まずテキスト読み上げで音声を作り（1,000文字あたり2クレジット）、続けて動画を作ります。

自分の録音： スマートフォンで録音してMP3やWAVで書き出し、アップロードします。雑音の少ないクリアな声ほど、口の動きがはっきりします。

オーディオスタジオの音声： 日本語の声は日本語のAI音声合成で作れます。作った音声はリップシンクの音声選択に表示されます。

歌： 権利を持っているボーカル音源をアップロードします。ミックス済みの音源しかない場合は、音楽が控えめなバージョンのほうがうまくいきます。

リップシンクには有料アカウントが必要です。プランはCreatorの初月$19から、クレジットパックは$8から使えます。失敗した動画のクレジットは自動で戻ります。すべてのプランは料金ページでご覧ください。

自分自身、または許可を得た人物の写真だけを使ってください。実在の人物を話させるには本人の同意が必要で、他人になりすますことはできません。声や音楽も、使う権利のあるものに限ります。禁止されている内容は利用ポリシー（英語）に記載しています。