Multi-Input-KI-Videogenerierung: vollständiger Leitfaden

Die nächste Phase von KI-Video dreht sich nicht um bessere Prompts, sondern um bessere Eingaben. Zwei Jahre lang hat die Branche an einem einzigen Hebel optimiert: dem Text-Prompt. Dieser Hebel stößt an seine Grenzen. Der eigentliche Durchbruch liegt darin, reichhaltigere Eingaben zu akzeptieren: Bilder, Videoclips, Audio und Kombinationen aus allen dreien.

Seedance 2.0 Reference ist das aktuell umfassendste Multi-Input-KI-Videomodell auf dem Markt, und dies ist die vollständige Anleitung zur Nutzung aller Eingabetypen gemeinsam.

Kurzzusammenfassung

• Multi-Input = Text + bis zu 9 Bilder + bis zu 3 Videoclips + bis zu 3 Audioclips
• Jeder Eingabetyp steuert unterschiedliche Ausgabedimensionen (Stil, Bewegung, Stimmung)
• Alle in einer einzigen Generierung für 0,3024 Dollar/Sek. zusammengeführt
• Generierungszeit: 60-180 Sekunden unabhängig von der Anzahl der Eingaben
• Der effektivste Workflow für präzise KI-Videoausgaben
• Den vollständigen Multi-Input-Stack kostenlos ausprobieren

Warum Multi-Input wichtig ist

Text ist komprimierte visuelle Information. Wenn du "düster, warm, cineastisch" schreibst, nimmst du ein reichhaltiges visuelles Konzept und komprimierst es verlustbehaftet in sieben Silben. Das Modell muss diese sieben Silben wieder in Bilder entfalten, und bei dieser Entfaltung gehen Informationen verloren.

Multi-Input überspringt den Komprimierungsschritt. Anstatt deinen Stil in Worten zu beschreiben, zeigst du ihn direkt. Anstatt Bewegung zu beschreiben, zeigst du sie. Anstatt Stimmung zu beschreiben, zeigst du sie. Das Modell liest deine Eingaben mit voller Genauigkeit.

Das Ergebnis ist eine Ausgabe, die die Intention präziser trifft, bereits bei der ersten Generierung, ohne viel Prompt-Iteration.

Die vier Eingabetypen

1. Text-Prompt (erforderlich). Text sollte in einem Multi-Input-Workflow nur eine Aufgabe erfüllen: das Motiv und die Aktion beschreiben. Stil, Stimmung und Bewegung überlässt du den anderen Eingaben.

2. Referenzbilder (bis zu 9). Primäre Stileingabe. Deckt Farbe, Beleuchtung, Komposition, Körnung und Textur ab.

3. Referenzvideos (bis zu 3). Bewegungseingabe. Erfasst Kamerabewegungen, Tempo und Aktionsrhythmus.

4. Referenzaudio (bis zu 3). Stimmungseingabe. Beeinflusst die visuelle Ausgabe emotional, nicht über die tatsächliche Audiospur der Ausgabe.

Zusammen geben dir diese Eingaben die Kontrolle über jede Dimension der Ausgabe, ohne darauf angewiesen zu sein, dass Text alles erledigt.

Wie die Fusion funktioniert

Im Hintergrund verarbeitet Seedance 2.0 Reference jeden Eingabetyp über dedizierte Encoder und führt die Ergebnisse zu einem einzigen Konditionierungssignal zusammen. Der Text-Prompt durchläuft einen Text-Encoder, Bilder einen Bild-Encoder, Video einen Bewegungs-Encoder und Audio einen Audio-Stimmungs-Encoder.

Das fusionierte Konditionierungssignal wird dann verwendet, um den Videogenerierungsprozess zu steuern. Du siehst davon nichts, du siehst nur, wie Eingaben hineingehen und Video herauskommt. Das Verstehen der Fusion hilft dir jedoch dabei, zu entscheiden, welchen Eingaben du mehr Gewicht verleihen möchtest.

Ungefähre Gewichtungsreihenfolge:

• Text: starker Einfluss auf Motiv und Aktion
• Bilder: starker Einfluss auf den visuellen Stil
• Video: starker Einfluss auf Bewegung
• Audio: subtiler Einfluss auf die visuelle Stimmung

Das Fehlen eines Eingabetyps unterbricht die Generierung nicht. Es überlässt diese Dimension lediglich dem Standardverhalten, was für einfachere Arbeiten oft ausreichend ist.

Starte deine erste Multi-Input-Generierung. Lade alle drei Eingabetypen hoch und erlebe die Präzision. Kostenlos starten.

Ein vollständiges Multi-Input-Beispiel

Hier ist eine Generierung mit jedem verwendeten Eingabetyp.

Text-Prompt:

Eine Frau in einer Lederjacke sitzt auf einem Motorrad in einer
neonbeleuchteten Gasse bei Nacht, die Kamera schiebt sich langsam vor, 8 Sekunden

Bildreferenzen (7):

• 3 Standbilder aus Blade Runner (Farbe, Beleuchtung)
• 2 Cyberpunk-Fotografien (Komposition, Körnung)
• 1 Produktfoto eines Motorrads (Motivpositionierung)
• 1 Hero-Frame (Zielstimmung insgesamt)

Videoreferenz (1):

• 3-sekündiger Clip eines langsamen Dolly-Vorschubs auf ein Motiv zu

Audioreferenz (1):

• 5-sekündiger Clip eines Synthie-Drones mit subtilen Regengeräuschen

Ergebnis:

• Stil: Stark an Blade Runner angelehnt, durch die Bilder festgelegt
• Bewegung: Entspricht der Dolly-Vorschub-Referenz präzise
• Stimmung: Subtile, regengetränkte Atmosphäre durch den Audio-Cue

Eingaben insgesamt: 7 Bilder + 1 Video + 1 Audio + 1 Prompt. Generierungszeit: ca. 120 Sekunden. Ergebnis: genau das, was ich beim ersten Versuch haben wollte.

Im Vergleich dazu benötigt man bei Workflows mit nur Text oft 5-10 Generierungen, um das gewünschte Aussehen zu annähern. Multi-Input spart Iterationskosten und trifft die Intention präziser.

Wann welcher Eingabetyp sinnvoll ist

Du brauchst nicht immer alle vier. Hier ist beschrieben, wann jeder Typ einen Mehrwert bietet.

Nur Text: Nie. Du brauchst im Referenzmodus immer mindestens einen Referenztyp.

Text + Bilder: Die häufigste Konfiguration. Funktioniert für 70 % der Projekte.

Text + Bilder + Video: Wenn du eine bestimmte Bewegung benötigst, die schwer zu beschreiben ist.

Text + Bilder + Audio: Wenn die Stimmung über das hinaus verschoben werden muss, was Bilder allein erfassen können.

Alle vier: Wenn maximale Präzision gefragt ist, z. B. bei Markenvideos, Hero Shots und finalen Lieferungen.

Beginne mit Text + Bilder und füge weitere Eingaben hinzu, wenn du an die Grenzen dieser Konfiguration stößt.

Multi-Input-Workflows für verschiedene Anwendungsfälle

Für Markenvideos: Text + 6-9 Markenbilder + 1-2 Bewegungsreferenzen, die deinen typischen Kamerastil zeigen. Audioreferenzen kannst du weglassen, es sei denn, du hast ein konkretes Stimmungsziel.

Für Musikvideos: Text + 6-9 Stilbilder + 1 Audioreferenz, die zur Stimmung des Songs passt. Videoreferenzen sind optional.

Für Storyboards: Text + 4-6 Konzeptbilder + 1 Bewegungsreferenz pro Einstellungstyp. Audio weglassen.

Für Produktlaunches: Text + 5-7 Produktfotos + 1 Lifestyle- oder Marken-Bewegungsreferenz. Audio weglassen, es sei denn, das Produkt hat Stimmungsassoziationen.

Für Editorial und Fashion: Text + 6-9 Lookbook-Fotos + 1 Walk- oder Pose-Bewegungsreferenz. Audio weglassen, es sei denn, dem Shooting liegt ein eigener Soundtrack zugrunde.

Kosten und Geschwindigkeit

Multi-Input-Generierungen kosten pro Sekunde genauso viel wie Einzeleingabe-Generierungen: 0,3024 Dollar pro Sekunde Ausgabe. Das Hinzufügen von Referenztypen erhöht die Kosten nicht.

Geschwindigkeit: Multi-Input-Generierungen dauern etwas länger als reine Text-Generierungen, da das Modell mehr Eingabedaten verarbeitet. Rechne bei Multi-Input-Aufrufen mit 90-180 Sekunden gegenüber 60-120 Sekunden bei reinen Bild-Aufrufen. Das kurze Warten lohnt sich fast immer wegen des Präzisionsgewinns.

Häufige Fehler bei Multi-Input

Widersprüchliche Eingaben. Wenn deine Bilder "düster und langsam" signalisieren und dein Audio "lebhaft und schnell", gerät die Fusion in Konflikt. Wähle Eingaben, die in der Stimmung übereinstimmen.

Videoreferenzen für den Stil nutzen. Videoreferenzen beeinflussen nur die Bewegung, nicht den Stil. Wähle sie nicht anhand ihres visuellen Aussehens aus.

Zu viele Audioreferenzen. Eine oder zwei Audioreferenzen reichen normalerweise aus. Drei können das Stimmungssignal verwässern.

Den Prompt weglassen. Auch mit starken Referenzen brauchst du einen Text-Prompt für Motiv und Aktion. Ein leerer Prompt erzeugt generischen Inhalt.

Eingaben zwischen Clips einer Serie ändern. Wenn du mehrere Clips produzierst, die zusammengehören sollen, verwende über alle hinweg identische Referenz-Bundles.

Multi-Input im Vergleich zu Einzeleingabe

Hier ist ein direkter Vergleich, den ich mit demselben Szenario durchgeführt habe.

Szenario: Kurzer atmosphärischer Clip einer regengetränkten Stadtstraße bei Nacht.

Versuch mit reinem Text:

Atmosphärische Aufnahme einer regengetränkten Stadtstraße bei Nacht, Neonreflexionen,
stimmungsvolle cineastische Beleuchtung, langsamer Kameraschub, 5 Sekunden

Ergebnis: Anständig, aber generisch. Könnte jeder KI-Clip im Noir-Stil sein. Nach vier Generierungen und Prompt-Iteration erhalten.

Versuch mit Multi-Input:

• Derselbe Prompt ohne Stilsprache
• 6 Blade-Runner-Standbilder
• 1 Dolly-Vorschub-Videoreferenz
• 1 regnerische Synthie-Audioreferenz

Ergebnis: Spezifisch, präzise und bereits beim ersten Versuch genau die beabsichtigte Stimmung.

Eingesparte Zeit: ca. 8 Minuten Iteration entfallen. Eingesparte Kosten: 3 Generierungen weniger à ca. 3 Dollar = ca. 9 Dollar gespart.

Multipliziert man das über ein Projekt mit 20 oder mehr Clips, amortisieren sich Multi-Input-Workflows um ein Vielfaches.

Multi-Input vs. Standard-Seedance 2.0

Der Hinweis lohnt sich: Standard Seedance 2.0 ist ein zuverlässiges Text-to-Video- und Image-to-Video-Modell für den täglichen Einsatz. Es arbeitet mit Einzeleingabe. Wenn du nur einen Prompt und ein Bild benötigst, ist das Standardmodell schneller eingerichtet.

Multi-Input mit Seedance 2.0 Reference ist für Fälle gedacht, in denen Präzision wichtiger ist als Einrichtungsgeschwindigkeit. Sieh dir den vollständigen Vergleich: Reference vs. Standard für den Entscheidungsrahmen an.

Tipps zur Eingabevorbereitung

Bilder: Mindestens 512 Pixel auf der kurzen Seite, JPG oder PNG, idealerweise aus einer einheitlichen Stilquelle.

Video: 2-5 Sekunden pro Clip, beliebiges Seitenverhältnis, MP4 bevorzugt.

Audio: 4-10 Sekunden pro Clip, MP3 oder WAV, passend zur Zielstimmung.

Übertreibe es nicht mit der Eingabevorbereitung. Das Modell ist ziemlich tolerant gegenüber Auflösung, Format und Dateigröße. Was zählt, ist die inhaltliche Relevanz, nicht technische Perfektion.

Eine Multi-Input-Bibliothek aufbauen

Erfahrene Nutzer legen eine persönliche Bibliothek wiederverwendbarer Eingaben an:

• Stil-Bundles für verschiedene Genres und Stimmungen (Noir, Pastoral, Episch usw.)
• Bewegungsclips für gängige Kamerabewegungen (Dolly-Vorschub, Handkamera, statische Einstellung usw.)
• Audio-Cues für emotionale Töne (melancholisch, hoffnungsvoll, angespannt usw.)

Mit einer solchen Bibliothek besteht der Start eines neuen Projekts darin, vorhandene Eingaben zu kombinieren, anstatt alles neu zu beschaffen. Man entwickelt einen eigenen "Klang", einen wiedererkennbaren Stil, der sich durch die gesamte Arbeit zieht, weil die Eingaben konsistent sind.

Weiterführende Ressourcen

Für einen praktischen Einblick in die multimodale Kombination lies Multimodales KI-Video. Für den bildspezifischen Workflow, sieh dir Multi-Bild-Tutorial an. Für den umfassenden Funktionsüberblick ist Vollständiger Leitfaden zu Seedance 2.0 Reference die richtige Lektüre.

Multi-Input ist der Weg, auf dem KI-Video präzise wird. Lerne den Workflow einmal, und deine Generierungsqualität steigt dauerhaft.