AI Lip Sync
Lip sync AI znovu animuje ústa tak, aby odpovídala novému zvukovému záznamu, což umožňuje dva pracovní postupy: dabování existujícího videa s jinou řečí a animaci jedné fotografie na úplné mluvící video. Arteza Avatar Studio hostuje několik lip sync motorů, od 4K video dabování Sync-3 až po fotografie plus audio avatary OmniHuman, vše pod jedním zůstatkem kreditů.
Jak to funguje
Poskytněte obličej
Nahrajte video k dabování nebo jednu portrétní fotografii k animaci. Obličeje směřující dopředu, dobře osvětlené s jasně viditelnými ústy se synchronizují nejpřesvědčivěji.
Přidejte zvuk
Nahrajte nahrávku nebo nejdřív vygenerujte řeč v audio studiu pomocí převodu textu na řeč nebo klonovaného hlasu. Model mapuje každý zvuk řeči na odpovídající tvar úst.
Vygenerujte synchronizované video
Model znovu vygeneruje oblast úst snímek po snímku nebo animuje celý obličej z fotografie, takže se rty, čelist a výrazy pohybují v souladu se zvukem.
Modely, které můžete používat hned teď
Každý model níže je aktivní na Arteza s aktuální cenou za kredit, čerpanou ze stejného cenového mechanismu, který studio používá v době generování.
Sync-3 Lipsync
Video dubbing with 4K lip sync
od 3 kreditů
OmniHuman v1.5
Photo + Audio to talking avatar
od 3 kreditů
Kling Avatar v2
Versatile lip sync for any character
od 2 kreditů
Často kladené otázky
Mohu synchronizovat fotografii, nebo potřebuji video?
Oba pracovní postupy jsou podporovány. Sync-3 Lipsync dabuje existující videa s novým zvukem až do 4K. OmniHuman v1.5, Kling Avatar v2 a Infini Talk animují jednu fotografii plus zvukový soubor na úplné mluvící video.
Funguje AI lip sync v jakémkoli jazyce?
Obecně ano. Model mapuje zvuky na tvary úst spíše než aby rozuměl slovům, takže může synchronizovat ústa s většinou mluvených jazyků, což je důvod, proč je lip sync páteří překladu videa a lokalizovaného obsahu.
Jaké vstupy dávají nejlepší výsledky?
Čistý zvuk řeči bez těžké hudby a obličej, který je přiměřeně velký, směřuje dopředu a není zakrytý. Rychlé otáčení hlavy, ruce přes ústa a extrémní úhly jsou místa, kde se objevují artefakty.
Mohu použít obličej někoho jiného?
Pouze se jejich souhlasem. Lip sync se široce používá pro legitimní dabování, překlad a obsah s avatary, ale měli byste animovat pouze podobu lidí, kteří s tím souhlasili.