Comfy-Director

Was macht Comfy-Director?

Story zuerst, Bilder danach. KI-generierte Filme mit mehreren Einstellungen scheitern im Schnitt, nicht im Render: Beats, die sich nicht gegenseitig verursachen, lesen sich als Montage, die die Kleider einer Geschichte trägt – egal wie gut jedes einzelne Bild aussieht.

ERFORDERLICHER HINTERGRUND: die comfy-Fähigkeit (CLI-Mechanik + den Rezeptpfad – apply/capture/foreach – für wiederverwendbare mehrstufige Graphen). Bei jedem fehlgeschlagenen Auftrag: comfy-debug.

Reihenfolge der Operationen

1. Konzept – eine Idee, die ein Fremder nacherzählen kann.
2. Drehbuch – bevor die Pipeline angefasst wird. Dem Benutzer zuerst ausliefern.
3. Einstellungsliste – jede Szene auf eine Kontinuitätsstrategie abgebildet.
4. Audiodesign – an den emotionalen Beats des Drehbuchs ausgerichtet, nicht nach dem Bild.
5. Produktion → Conform → QC.

Schritt 2 zu überspringen und direkt zu Render zu springen ist die Hauptursache für gescheiterte Schnitte.

Drehbuchregeln

• Ein Protagonist, dem die Kamera folgen kann. In jeder Einstellung erkennbar.
• Kausalitätstest: Jeder Schnitt beantwortet „und DESWEGEN…“ – niemals „und dann, woanders…“. Wenn ein Beat ohne Schaden umgestellt werden kann, ist es noch keine Geschichte.
• Fremdentest: Jemand ohne Kontext muss die Handlung in zwei Sätzen nacherzählen können („X wollte A, B hat sie/ihn aufgehalten, C wurde getan, also D“).
• Beats tragen Zeitangaben, die auf die gewünschte Laufzeit summiert sind.

Konzeptregeln

• Die Marke/das Produkt wird gefühlt, nicht genannt: ihre Philosophie vertreten; Insiderwitze und Community-Lore auf dem Bildschirm wirken als Fan-Service.
• Eine Technik, die der Kunde erwähnt („Style Transfer“, ein Modellname), ist ein Funke, kein Muss – sie nur einsetzen, wenn die Idee sie braucht. Den Film um eine Technik herum zu bauen ist das Erkennungszeichen eines Dienstleisters, nicht eines Regisseurs.
• Seltsamkeit muss sich verstärken: überraschendes Subjekt UND Objekt UND Setting. Ein einzelnes seltsames Element in einem normalen Bild ist Dekoration.

Einstellungen entwickeln (Prompting)

• Fotorealistische Einstellungen: Nur live-action Kameramann/Filmmaterial-Sprache. Ein einziger Illustrator/Anime/Comics-Name in einem fotorealistischen Prompt vergiftet ihn. Illustrierte Referenzen gehören nur in bewusst stilisierte Einstellungen.
• Bewegungs-Prompts beschreiben, WIE sich die Szene bewegt, nicht was darin ist (siehe comfy-Fähigkeit Video-Gotchas – t2v/i2v-Modellfallen, SaveVideo, FPS-Verdrahtung).

Kontinuitätswerkzeuge

Pro Einstellung auswählen, grob nach Stärke geordnet:

Strategie	Verwenden für
Charakter-/Ortsreferenzbild in jede i2v-Einrichtung einfließen lassen	Identität des Protagonisten
Gleiche Identität, neue Bildausschnitte durch Referenzbild-Bearbeitung (ein Held → N Blickwinkel)	Erkennbares Gesicht über Schnitte hinweg
Keyframe von Einstellung N säht Einstellung N+1 (bildreferenzierte Neugestaltung oder Endframe)	Fortlaufende Handlung
Sprecherkopf wird mit dem EXAKT abgespielten Audio versorgt (KlingAvatar), Schnitt zwischen Winkeln desselben lippensynchronisierten Kopfes – niemals B-Roll über VO	Dialog, der echt wirken muss
Identische Garderobe/Licht/Objektiv-Zeilen wörtlich in jedem Prompt wiederholt	Günstige Grundlagenverklebung

Wenn eine Einstellung keine Kontinuität halten kann, das Drehbuch umschreiben, sodass diese Einstellung nicht benötigt wird – den Bruch nicht ausliefern.

Audio

• Filmmusik = kurze, entworfene Cues, die an Story-Wendepunkten verbunden werden; eine einzige lange Generierung folgt keinem dynamischen Bogen (sie invertiert genau dort, wo der Höhepunkt nötig ist).
• VO per Mathe platzieren: Stemdauer vs. Beat-Fenster, vor dem Mischen.
• Filmmusik unter VO ducken; den endgültigen Mix lautstärkenormalisieren (~-14 LUFS).
• Dialog muss von Konstruktion her lippensynchron sein. Den Mund mit dem exakten Audio steuern, das abgespielt wird (KlingAvatar sound_file) und zwischen Winkeln desselben lippensynchronisierten Kopfes schneiden – B-Roll über eine durchgehende VO wirkt als Montage, und i2v-erfundene Münder driften ab. „Kein Lippensync / fühlt sich nicht echt an“ ist die klassische Ablehnung. (Audio im Graphen generieren – Cloud LoadAudio sieht keine Uploads; siehe comfy-Audio-Gotchas.)
• Stimme & Besetzung VOR den teuren Renders per OHR festlegen. Stimme/Akzent ist subjektiv und aus einer Wellenform nicht ablesbar – einige günstige TTS-Kandidaten für eine Zeile rendern, den Benutzer auswählen lassen, DANN den Gewinner in die teuren, transient_auth-anfälligen Avatar/Lippensynchronisations-Einstellungen einbrennen. Alle wegen einer abgelehnten Stimme neu zu rendern ist der vermeidbare Brennpunkt. Gleiche Logik für das Aussehen des Protagonisten: das Helden-Standbild genehmigen lassen, bevor jede Einstellung daraus generiert wird.
• Den Mix durch Messung überprüfen, nicht durch Vertrauen. Du hörst den Render nicht – ffmpeg volumedetect jeder Abschnitt: ein „tote Luft“-Ende oder eine vergrabene Zeile erscheint als Fenster nahe -91 dB. Bestätigen, dass jeder Beat auf Niveau vorhanden ist, bevor er als fertig erklärt wird.

Produktionsabläufe

• JEDEN Submit – Einstellungen, Keyframes, Audio-Stems, Neu-Einreichungen – an job_ids.txt anhängen (<job_name> <prompt_id>) zum Zeitpunkt des Submits. Nur anhängen: Eine erneute Einreichung erhält eine neue Zeile (shot_s3_resubmit <id>), niemals eine Überschreibung, damit tote prompt_ids ihre Einstellungsidentität behalten.

• LOG.md im Projektstammverzeichnis führen: ein Nur-Anhänge-Ereignisprotokoll, geschrieben zum Zeitpunkt des Ereignisses, nicht am Sitzungsende – eine Zeile pro Submit/Resubmit (+ Fehlercode), pro QC-Urteil (+ Grund für erneute Generierung) und pro Entscheidung, die frühere Arbeit ungültig macht: Neubesetzungen, Prompt-Änderungen, welches Referenzbild oder welcher Stem jetzt kanonisch ist. Bild-für-Bild-Befunde leben in qc/QC_LOG.md; LOG.md indiziert sie.

  17:36 FEHLER shot_s3 transient_auth -> RESUBMIT 27dd45b4 (gleicher Workflow, kein erneuter Login)
  17:44 QC shot_s2 FEHLER background-crawl -> erneute Generierung (gleicher kf, neuer Seed); Beat neu schneiden, falls 2. fehlschlägt
  17:50 ENTSCHEIDUNG Protagonist neu besetzt -> ref_ray.png kanonisch; vo2, vo6 veraltet, neu generieren
  

• Wiederherstellungsvertrag: Ein Nachfolge-Agent mit null Speicher muss von der Festplatte allein fortsetzen können: LOG.md (was passiert ist, warum) → job_ids.txt (welche Aufträge) → comfy jobs status (deren Zustände). Eine nicht in LOG.md dokumentierte Entscheidung stirbt mit der Sitzung – abgeschlossene, aber veraltete Aufträge (z.B. VO-Stems einer alten Besetzung) sehen ansonsten identisch zu guten aus.

• Jeden heruntergeladenen Clip mit ffprobe prüfen; nicht spezifikationsgerechte Dauer/Abmessungen vor dem Conform normalisieren.

• Vor dem Schnitt einen Frame aus jedem Clip gegen das Drehbuch prüfen.

• Exakte Laufzeit: pro Beat mit ffmpeg trimmen/zeitlich anpassen, nicht hoffen.

Häufige Fehler (jeder hat einen echten Schnitt getötet)

Fehler	Ergebnis
Renders vor dem Drehbuch	„Acht hübsche Beats, die sich nicht verursachen“
Community-Lore auf dem Bildschirm	„Zu direkt, Fan-Service“
Die vom Kunden erwähnte Technik als Konzept	„Ich sagte es, um Ideen anzuregen“
Kein Kontinuitätsplan	Protagonist wechselt bei jedem Schnitt das Gesicht
Eine einzige 40-Sekunden-Musikgenerierung	Bogen invertiert am Höhepunkt
B-Roll über einer durchgehenden VO	„Fühlt sich wie eine Montage an / Audio passt nicht“
Die Stimme in N Einstellungen eingebrannt, bevor der Benutzer sie gehört hat	Alles neu rendern, wenn sie sie ablehnen
Sprecher-Ausschnitte stumpf zusammengesetzt	Stimme driftet aus dem Synchron (Avatar polstert Video über Audio)