Smooth video (Geschwindigkeitsanpassung)
KI-Videotools liefern selten die gewünschte Länge zurück und fügen eigene Standbilder (ein Bild, das sich kaum vom vorherigen unterscheidet) hinzu. Beim Einpassen eines Clips durch Auswahl des nächstgelegenen Bildes werden einige Bilder übersprungen und andere wiederholt – das verursacht das Ruckeln. Geschwindigkeitsanpassung hingegen: Jedes Ausgabebild ist entweder ein Quellbild oder ein optischer Fluss-Zwischenbild, das exakt zum benötigten Zeitpunkt erstellt wird. Wenn der Clip einen Teil eines Films ersetzt, ist er zeitlich exakt auf die Bewegung des ersetzten Segments abgestimmt.
Werkzeuge: scripts/ neben dieser Datei. Sie benötigen Python mit opencv-python + numpy und ffmpeg im PATH. Jedes Skript schreibt eine neue Datei; das Quellvideo bleibt unverändert.
Schritte
- Messen. Führen Sie
python scripts/check_smooth.py <clip>für jeden beteiligten Clip und für den Film aus (--refdas Original, falls vorhanden). Es vergleicht Bilder mit angeglichener Helligkeit und Kontrast, sodass eine Lichtänderung (ein Filmlicht-Flimmern am Set, eine Lampe, eine Grading-Verschiebung) unter Lichtverschiebungen aufgelistet wird, nicht als Sprünge: Diese sind beabsichtigt, kein Ruckeln. Wenn esVERDICT already smoothausgibt, gibt es nichts anzupassen: Sagen Sie das und überspringen Sie Schritt 2 für diesen Clip. Erledigt, wenn Sie für jeden Teil wissen: seine Bildanzahl im Vergleich zum zu füllenden Abschnitt, wo seine Schnitte sind und welche Standbilder er enthält. - Geschwindigkeitsanpassung für jeden Teil. Wählen Sie den Zweig:
- Ersetzt einen Teil eines Films (der Originalteil existiert): Schneiden Sie diesen genauen Abschnitt aus dem Film (
ffmpeg -ss <start> -t <len>, neu codiert, damit die Bilder exakt sind), dannpython scripts/pace_match.py --edit <ai_teil> --ref <original_abschnitt> --out <teil_angepasst>. Einstellungen und Schnitte werden automatisch zugeordnet; wenn die Anzahl der Schnitte abweicht, übergeben Sie--shots ref_von-ref_bis:clip_von-clip_bis,.... - Ein Clip ohne Referenz (Zusammenfügen roher KI-Clips oder ein ruckelnder Clip):
python scripts/pace_match.py --edit <clip> --out <clip_angepasst>entfernt die Standbilder und verteilt es gleichmäßig auf seine eigene Länge oder auf--frames N. Ein Clip ohne Standbilder wird unverändert kopiert (--forcezeichnet ihn trotzdem neu). Es kann keine vom KI übersprungenen Bilder wiederherstellen; ein verbleibender Sprung benötigt--refoder RIFE/Topaz. Der Ton wird automatisch übernommen (--audio-fromwählt eine andere Datei,--no-audioentfernt ihn), auf die exakte Bildanzahl aufgefüllt oder verkürzt; das Skript stoppt, wenn die geschriebene Bildanzahl abweicht. Erledigt, wenn jeder angepasste Teil genau die Bildanzahl seines Abschnitts ausgibt, Einstellung für Einstellung, mit jedem Schnitt auf dem gleichen Bild wie im Original. - Schneiden kurz bevor etwas passiert („Schneiden, bevor das Popcorn springt“):
python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg.--roiist der zu beobachtende Bereich, als Bruchteile des Bildes. Es gibt für jedes Bild die lokale Änderung bei angeglichenem Licht und abgezogener Kameradrift aus, bewertet die wahrscheinlichen Ereignisse und erstellt eine Kontaktseite mit Zeit und Nummer jedes Bildes. Betrachten Sie die Seite: Der Schnitt erfolgt auf dem letzten Bild, bevor sich das Ding zu bewegen beginnt, oft ein oder zwei Bilder vor dem am höchsten bewerteten. Dannffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(neu codiert; niemals-shortest). Überprüfen Sie das Ereignisbild in jeder Version separat: Ein 1080p-Finalisieren kann das Ereignis ein oder zwei Bilder früher starten als sein 480p-Entwurf.
- Ersetzt einen Teil eines Films (der Originalteil existiert): Schneiden Sie diesen genauen Abschnitt aus dem Film (
- Zusammenfügen.
- Teile in einen Film:
python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<teil_angepasst> .... Es gleicht die Farben jeder Einstellung an die ersetzte an, behält den Ton des Films und jedes Bild bei und lehnt einen Teil ab, dessen Bildanzahl nicht übereinstimmt. - Clips zu einem Video: Bringen Sie zuerst jeden Clip auf die gleiche Größe und Bildrate, fügen Sie sie dann mit
ffmpeg -f concatoder dem concat-Filter zusammen, neu codierend. Erledigt, wenn die neue Datei die erwartete Gesamtbildanzahl hat (ffprobe -count_frames).
- Teile in einen Film:
- Überprüfung gegen die Referenz. Führen Sie
python scripts/check_smooth.py <neu> --ref <original> --ranges <jeder bearbeitete Abschnitt>aus, und das Gleiche auf dem Original (ohne--ref) für seine eigenen Zählungen. Erledigt, wenn in jedem bearbeiteten Abschnitt mit Bewegung:- Standbilder auf oder unter der Anzahl der Referenz liegen (eine gehaltene Pose ist auch in der Referenz ein Standbild);
- Sprünge nicht mehr als in der Referenz sind;
- „folgt ref“ 0,85 oder höher ist, wo sich das Subjekt bewegt.
Ein Abschnitt, in dem nur die Kamera driftet (eine leere Einstellung, ein langsamer Zoom), oder mit Bewegung unter etwa 2, erzielt eine niedrigere „folgt“-Punktzahl, weil die KI die Handkamera-Drift neu zeichnet; beurteilen Sie es nach Augenmaß, Standbilder und Sprünge immer noch auf oder unter der Referenz. Zeigen Sie dem Benutzer dann eine Gegenüberstellung und eine Zeitlupenversion der bearbeiteten Abschnitte (
setpts=2*PTS), bevor Sie es als fertig bezeichnen.
Fallstricke (bei echten Läufen gesehen)
- Seedance videobearbeitung ändert die Länge. Ein 3-s-Eingang kam 4,04 s zurück (1,35× verlangsamt); ein 6-s-Eingang kam 5,7 s zurück. Seine Ausgaben hatten auch 1–3 eigene Standbilder. Senden Sie Eingänge von 4 s oder mehr, die an Schnitten beginnen und enden. Vertrauen Sie niemals der zurückgegebenen Länge: Führen Sie jedes Mal eine Geschwindigkeitsanpassung durch.
- Ersetzen Sie ganze Einstellungen. Das Austauschen bearbeiteter Bilder mitten in einer Einstellung zeigt einen Sprung, wo Original und Bearbeitung aufeinandertreffen. Schneiden Sie jeden Teil von Schnitt zu Schnitt.
- Eine Tonspur kürzer als das Video führt dazu, dass
ffmpeg -shortestdie letzten Bilder verwirft (ein 95-Bilder-Schnitt kam mit 93 Bildern heraus).splice_parts.pyundpace_match.pybehalten jedes Bild; beim manuellen Remuxen verwenden Sie-af apad -t <Bilder/fps>anstelle von-shortest. - Lichtänderungen sind kein Ruckeln. Ein Filmlicht-Flimmern, eine Lampe oder eine Grading-Verschiebung wurde früher als „Sprung“ gelesen. Die Prüfungen gleichen jetzt zuerst die Helligkeit aus und listen diese als Lichtverschiebungen; bewerten Sie nur die verbleibenden Sprünge.
- Higgsfield-Asset-Links (
higgsfield.ai/asset/all/<id>): Die ID ist die Generierungs-Job-ID; lesen Sie dessenresult_urlmit dem Higgsfield-Connectorjobs_waitund laden Sie das herunter. - Farbe: Passen Sie pro Einstellung an und beginnen Sie an jedem Schnitt neu, sodass die Grading einer Einstellung nie in die nächste übergeht.
Engines
- OpenCV DIS optischer Fluss (Standard,
--engine opencv): Wurde nach einem Side-by-Side-Test als Standard gewählt. Es ist genauso flüssig wie RIFE, bereits installiert, keine GPU nötig. - RIFE (
--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): Etwa 10 % schärfer bei schnellen Bewegungen wie Crash-Zooms, aber etwa 2,5 s pro Bild. Es benötigtrife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan, etwa 430 MB), das nicht installiert bleibt: Fragen Sie, bevor Sie es erneut herunterladen. Wählen Sie den diskreten GPU-Index mit--gpu(auf einem Laptop oft 1; 0 ist normalerweise der integrierte Chip). - Immer noch nicht flüssig genug: Topaz Video AI (Apollo oder Chronos) auf den rohen KI-Clips ausführen. Der Benutzer führt es aus; bereiten Sie die Clips und die genauen Bildanzahlen für ihn vor.