סנכרון שפתיים בעזרת AI
AI לסנכרון שפתיים מחדש מנפח פה כדי להתאים לרצועת אודיו חדשה, מה שמאפשר שני תהליכים: דיבוב סרטון קיים בדיבור שונה, והנפחת תמונה יחידה לסרטון דיבור מלא. סטודיו האווטארים של Arteza מארח מספר מנועי סנכרון שפתיים, מדיבוב סרטונים ב-4K של Sync-3 ועד לאווטארים של תמונה פלוס אודיו של OmniHuman, תחת יתרת קרדיטים אחת.
איך זה עובד
ספק את הפנים
העלה סרטון לדיבוב, או תמונת דיוקן יחידה להנפחה. פנים פונות קדימה, מוארות היטב עם פה גלוי בבירור מסתנכרנות בצורה משכנעת ביותר.
הוסף את האודיו
העלה הקלטה, או צור דיבור תחילה בסטודיו האודיו עם המרת טקסט לדיבור או קול משוכפל. המודל ממפה כל צליל דיבור לצורת הפה התואמת.
צור את הסרטון המסונכרן
המודל יוצר מחדש את אזור הפה בכל פריים, או מנפח את כל הפנים מהתמונה, כך שהשפתיים, הלסת והביטויים נעים בקצב הצליל.
מודלים שתוכלו להשתמש בהם כעת
כל מודל למטה פעיל ב-Arteza עם עלות האשראי הנוכחית שלו, שנשלפת ממנוע התמחור זהה שהאולפן משתמש בו בזמן היצירה.
שאלות נפוצות
האם אני יכול לסנכרן שפתיים של תמונה, או שאני צריך סרטון?
שני התהליכים נתמכים. Sync-3 Lipsync מדבב סרטונים קיימים עם אודיו חדש עד 4K. OmniHuman v1.5, Kling Avatar v2 ו-Infini Talk מנפחים תמונה יחידה פלוס קובץ אודיו לסרטון דיבור שלם.
האם סנכרון שפתיים בעזרת AI עובד בכל שפה?
בדרך כלל כן. המודל ממפה צלילים לצורות פה ולא מבין את המילים, כך שהוא יכול לסנכרן פנים לרוב השפות המדוברות, וזו הסיבה שסנכרון שפתיים הוא עמוד השדרה של תרגום סרטונים ותוכן מקומי.
אילו קלטים נותנים את התוצאות הטובות ביותר?
אודיו דיבור נקי ללא מוזיקה כבדה, ופנים שהם גדולים באופן סביר, פונים קדימה וללא חסימה. סיבובי ראש מהירים, ידיים על הפה וזוויות קיצוניות הן המקום שבו מופיעות עיוותים.
האם אני יכול להשתמש בפנים של מישהו אחר?
רק בהסכמתם. סנכרון שפתיים משמש בשימוש נרחב לדיבוב לגיטימי, תרגום ותוכן אווטארים, אך עליך להנפח את הדמות של אנשים שהסכימו לכך בלבד.