Multimodalne wideo AI: łączenie obrazów, wideo i dźwięku w Arteza

"Multimodalny" jest rzucane na lewo i prawo w marketingu AI. Większość narzędzi, które to twierdzą, faktycznie oznacza "akceptujemy tekst i jedno zdjęcie". Seedance 2.0 Reference to jeden z niewielu modeli, który traktuje ten termin poważnie: do 9 obrazów, 3 klipów wideo i 3 klipów audio, wszystko połączone w jednej generacji.

Oto jak faktycznie używać wszystkich trzech typów danych wejściowych razem - i dlaczego ta kombinacja odblokowuje możliwości niedostępne dla żadnego pojedynczego wejścia.

Co tak naprawdę kontroluje każdy typ wejścia

Te trzy typy referencji nie pokrywają się - obsługują różne wymiary wynikowego materiału.

Obrazy kontrolują styl. Paleta barw, oświetlenie, kompozycja, tekstura, kadrowanie. Wszystko wizualne, co nie dotyczy ruchu.

Wideo kontroluje ruch. Ruchy kamery, tempo, wektory akcji, rytm czasowy. Nie kolor ani oświetlenie - model wyodrębnia ruch niezależnie od stylu wizualnego wideo.

Audio kontroluje nastrój. Emocjonalne nachylenie, które subtelnie wpływa na wynik wizualny. Nie dźwięk, który słyszysz na wyjściu (ten jest generowany osobno), lecz wskazówka nastroju wpływająca na to, co pojawia się na ekranie.

Gdy używasz wszystkich trzech razem, każde z nich wypełnia lukę, której inne nie są w stanie zapełnić.

Stos w działaniu

Oto konkretna generacja multimodalna, którą przeprowadziłem.

Cel: Marzycielskie, zwolnione ujęcie kobiety biegnącej przez pole o świcie, w stylu filmu Terrence'a Malicka.

Referencje obrazów (6):

• 2 kadry z filmów Malicka pokazujące ciepłe światło o świcie
• 2 zdjęcia pól o złotej godzinie
• 1 ujęcie z dokładnie takim charakterem obiektywu, jakiego chciałem (miękkie, marzycielskie bokeh)
• 1 kadr główny pokazujący precyzyjny nastrój

Referencje wideo (1):

• 3-sekundowy klip biegnącej sylwetki w zwolnionym tempie, nagrany długim obiektywem

Referencje audio (1):

• 4 sekundy delikatnego, oszczędnego fortepianu

Prompt:

A woman in a white dress runs through tall grass at dawn, 8 seconds

Zwróć uwagę, jak minimalny jest prompt. Referencje zajmują się wszystkim innym.

Wynik był zadziwiająco bliski zamierzeniu - styl z obrazów, specyficzne odczucie zwolnionego biegu z wideo i subtelny ciężar emocjonalny z audio, którego nie mógłbym osiągnąć samymi obrazami.

Wypróbuj pełny stos multimodalny. Wgraj obrazy, klip z ruchem i referencję audio w jednym podejściu. Zacznij za darmo z 10 kredytami.

Referencje obrazów: fundament

Obrazy mają największą wagę w procesie łączenia. Powinny zawsze być twoim głównym kanałem stylu. Używaj minimum 4-6, do 9 przy złożonych stylach.

Zobacz dedykowaną samouczek multi-obrazkowy, aby zapoznać się z pełną metodologią doboru obrazów. Podsumowanie: zgodność jest ważniejsza niż liczba, obejmij różne aspekty stylu, dołącz jeden kadr główny.

Referencje wideo: warstwa ruchu

Referencje wideo to miejsce, w którym podejście multimodalne naprawdę odróżnia się od przepływów pracy opartych wyłącznie na obrazach. Opisywanie ruchu kamery słowami jest naprawdę trudne - "powolne, ręczne przesunięcie w lewo z jednoczesnym subtelnym uniesieniem kamery" traci precyzję za każdym razem, gdy przekładasz to na prozę.

Referencja wideo trwająca 2-5 sekund pomija to tłumaczenie. Model bezpośrednio próbkuje wektory ruchu.

Najlepsze zastosowania:

• Specyficzne odczucie z ręki, które chcesz odwzorować
• Trudne ruchy kamery (unoszenie, kombinacje wózka z panoramą, przejścia z szybkim przerzutem)
• Wskazówki dotyczące tempa (poczucie szybkich cięć vs powolnego, kontemplacyjnego tempa)
• Rytm akcji w treściach sportowych lub tanecznych

Czego referencje wideo nie robią:

• Nie przenoszą własnego stylu. Korekta kolorów z referencji nie zostanie przeniesiona - tylko ruch.
• Nie narzucają treści. Podmiot z referencji nie pojawi się w twoim wynikowym materiale.

Możesz użyć do 3 referencji wideo na generację. Łączenie wielu referencji ruchu powoduje ich mieszanie - przydatne, gdy chcesz uzyskać coś "pomiędzy" dwoma ruchami referencyjnymi.

Referencje audio: warstwa nastroju

Referencje audio są najbardziej osobliwe spośród trzech. Nie pojawiają się na ścieżce dźwiękowej twojego wynikowego materiału (ta jest generowana od nowa, aby pasować do sceny). Zamiast tego subtelnie kształtują wizualia pod kątem emocjonalnym.

Burzliwa referencja audio skłania ku dramatycznemu oświetleniu i ciemniejszej palecie. Radosna, energiczna referencja skłania ku jaśniejszemu kadrowaniu i większemu ruchowi. Rzadka, melancholijna referencja skłania ku dłuższym, wolniejszym ujęciom w chłodniejszych tonach.

Kiedy ich używać:

• Referencje stylu i prompt są solidne, ale wynik wydaje się emocjonalnie płaski
• Chcesz nastroju, który jest trudny do opisania wizualnie
• Dopasowujesz wynik do istniejącej ścieżki dźwiękowej lub piosenki

Kiedy je pomijać:

• W pierwszych kilku generacjach. Zacznij tylko od obrazów. Dodawaj referencje audio, gdy oswoisz się z poziomem bazowym.

Do 3 referencji audio na generację, mieszanych razem.

Drzewo decyzyjne dla podejścia multimodalnego

Nie każdy projekt wymaga wszystkich trzech typów wejść. Oto kiedy dodawać każdy z nich:

Zawsze: Referencje obrazów (minimum 3) Dodaj referencję wideo, jeśli: Potrzebujesz konkretnego ruchu, który jest trudny do opisania Dodaj referencję audio, jeśli: Twój wynik wydaje się emocjonalnie nieprawidłowy po próbach tylko z obrazami

Nie wymuszaj podejścia multimodalnego, gdy prostszy stos działa. Generacje oparte tylko na obrazach są szybsze do skonfigurowania i często wystarczające.

Typowe błędy przy podejściu multimodalnym

Zaprzeczanie obrazom za pomocą wideo. Jeśli twoje obrazy są nastrojowe i wolne, ale referencja wideo jest szybka i jasna, połączenie się myli. Wybierz wejścia, które są ze sobą zgodne.

Używanie referencji wideo dla stylu. Dotyczą tylko ruchu. Styl nadal pochodzi z obrazów.

Nadużywanie referencji audio. Jedna precyzyjna wskazówka audio jest bardziej efektywna niż 3 sprzeczne ze sobą.

Pomijanie promptu. Referencje definiują jak, prompt nadal definiuje co. Nie zostawiaj promptu pustego.

Koszt i czas generacji

Ceny w trybie multimodalnym są identyczne jak w każdym innym wywołaniu trybu Reference: $0.3024 za sekundę wynikowego materiału. Dodanie referencji wideo i audio nie generuje dodatkowych kosztów.

Czas generacji jest nieco dłuższy niż w przypadku samych obrazów, ponieważ połączenie przetwarza więcej danych. Oczekuj 90-180 sekund dla wywołań multimodalnych w porównaniu do 60-120 dla samych obrazów.

Pełny multimodalny przepływ pracy produkcyjnej

Dla projektu składającego się z 10 klipów, w którym każdy klip musi pasować do pozostałych:

1. Zbuduj swój zestaw referencji (raz, ponownie używaj dla wszystkich 10 klipów):

• 6 obrazów definiujących styl
• 2 referencje wideo dla najczęściej używanych ruchów kamery
• 1 referencja audio dla tonu emocjonalnego

2. Napisz 10 promptów specyficznych dla ujęcia, opisujących wyłącznie podmiot i akcję.

3. Uruchom wszystkie 10 generacji używając tego samego zestawu referencji, zmieniając tylko prompt.

4. Przejrzyj i iteruj na klipach, które odbiegły od założeń. Zazwyczaj 1-2 na 10.

Łączny koszt 10 klipów po 8 sekund: ok. 4840 kredytów = ok. $48. Mieści się to w poziom Pro za $50 z zapasem.

Porównanie trybu multimodalnego ze standardowym

Tryb standardowy jest szybszy w przypadku prostych pomysłów. Tryb multimodalny Reference to opcja precyzyjna, gdy wynik musi odpowiadać konkretnemu zamierzeniu. Zobacz pełne Porównanie Reference i Standard.

Zaawansowane: nakładanie referencji na całą sekwencję

W przypadku sekwencji wieloujęciowych z wyraźnymi momentami możesz zmieniać stos multimodalny między ujęciami, zachowując jeden stały element.

Stały przez całą sekwencję: 5-6 obrazów stylu (dla spójności wizualnej) Zmienny dla każdego ujęcia: 1-2 obrazy specyficzne dla ujęcia + 1 referencja ruchu

Stałe obrazy spajają sekwencję. Zmienne referencje pozwalają uchwycić niuanse specyficzne dla danego ujęcia. To przepływ pracy, na który ląduje większość profesjonalnych użytkowników.

Co dalej

Jeśli po raz pierwszy masz do czynienia z podejściem multimodalnym, zacznij powoli. Najpierw wypróbuj generacje oparte tylko na obrazach (samouczek multi-obrazkowy). Gdy poczujesz się pewnie, dodaj referencję ruchu. Gdy będziesz uzyskiwać wiarygodne wyniki, eksperymentuj z audio.

Aby uzyskać pełny obraz funkcji, przeczytaj przewodnik po Seedance 2.0 Reference. W przypadku konkretnych zastosowań sprawdź filmy markowe lub teledyski.

Podejście multimodalne to nie gadżet - to funkcja, która odróżnia Seedance 2.0 Reference od każdego innego narzędzia do wideo AI na rynku. Używaj go, gdy liczy się precyzja.