Communitygithub.com

smooth-video (Geschwindigkeitsanpassung)

KI-Videoaufnahmen (z. B. Seedance, Kling, Luma) nach der Geschwindigkeit anpassen, um ein ruckelfreies Ergebnis zu erzielen: Jedes Bild ist entweder ein Originalbild oder ein optischer Fluss-Zwischenbild – nie ein übersprungenes oder wiederholtes. Verwendet wird dies, wenn eine KI-Bearbeitung länger oder kürzer als das ersetzte Segment zurückkommt, wenn mehrere KI-Clips zusammengefügt werden, oder wenn ein fertiges KI-Video ruckelt, einfriert oder hüpft.

Was ist smooth-video (Geschwindigkeitsanpassung)?

Dieses Skill sorgt dafür, dass KI-generierte Videoclips nahtlos in ein Filmprojekt eingefügt werden, indem es die Bildrate exakt an das zu ersetzende Segment anpasst. Es analysiert jedes Clip auf Standbilder und andere Unregelmäßigkeiten und erstellt dann mittels optischem Fluss (OpenCV DIS oder RIFE) Zwischenbilder, die die Bewegung flüssig nachzeichnen. Für den Fall, dass ein Clip ohne Referenz (z. B. mehrere aneinandergereihte KI-Clips) vorliegt, werden die Standbilder entfernt und das verbleibende Material gleichmäßig auf die gewünschte Länge verteilt. Das Tool arbeitet mit Python, OpenCV, NumPy und FFmpeg, erzeugt stets neue Dateien und unterstützt sowohl das Einfügen in vorhandenes Filmmaterial als auch die reine Clip-Join-Verarbeitung. Eine abschließende Prüfung vergleicht die Anzahl der Standbilder und Sprünge mit dem Referenzmaterial, um eine einwandfreie Wiedergabe zu gewährleisten.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Smooth video (Geschwindigkeitsanpassung)

KI-Videotools liefern selten die gewünschte Länge zurück und fügen eigene Standbilder (ein Bild, das sich kaum vom vorherigen unterscheidet) hinzu. Beim Einpassen eines Clips durch Auswahl des nächstgelegenen Bildes werden einige Bilder übersprungen und andere wiederholt – das verursacht das Ruckeln. Geschwindigkeitsanpassung hingegen: Jedes Ausgabebild ist entweder ein Quellbild oder ein optischer Fluss-Zwischenbild, das exakt zum benötigten Zeitpunkt erstellt wird. Wenn der Clip einen Teil eines Films ersetzt, ist er zeitlich exakt auf die Bewegung des ersetzten Segments abgestimmt.

Werkzeuge: scripts/ neben dieser Datei. Sie benötigen Python mit opencv-python + numpy und ffmpeg im PATH. Jedes Skript schreibt eine neue Datei; das Quellvideo bleibt unverändert.

Schritte

  1. Messen. Führen Sie python scripts/check_smooth.py <clip> für jeden beteiligten Clip und für den Film aus (--ref das Original, falls vorhanden). Es vergleicht Bilder mit angeglichener Helligkeit und Kontrast, sodass eine Lichtänderung (ein Filmlicht-Flimmern am Set, eine Lampe, eine Grading-Verschiebung) unter Lichtverschiebungen aufgelistet wird, nicht als Sprünge: Diese sind beabsichtigt, kein Ruckeln. Wenn es VERDICT already smooth ausgibt, gibt es nichts anzupassen: Sagen Sie das und überspringen Sie Schritt 2 für diesen Clip. Erledigt, wenn Sie für jeden Teil wissen: seine Bildanzahl im Vergleich zum zu füllenden Abschnitt, wo seine Schnitte sind und welche Standbilder er enthält.
  2. Geschwindigkeitsanpassung für jeden Teil. Wählen Sie den Zweig:
    • Ersetzt einen Teil eines Films (der Originalteil existiert): Schneiden Sie diesen genauen Abschnitt aus dem Film (ffmpeg -ss <start> -t <len>, neu codiert, damit die Bilder exakt sind), dann python scripts/pace_match.py --edit <ai_teil> --ref <original_abschnitt> --out <teil_angepasst>. Einstellungen und Schnitte werden automatisch zugeordnet; wenn die Anzahl der Schnitte abweicht, übergeben Sie --shots ref_von-ref_bis:clip_von-clip_bis,....
    • Ein Clip ohne Referenz (Zusammenfügen roher KI-Clips oder ein ruckelnder Clip): python scripts/pace_match.py --edit <clip> --out <clip_angepasst> entfernt die Standbilder und verteilt es gleichmäßig auf seine eigene Länge oder auf --frames N. Ein Clip ohne Standbilder wird unverändert kopiert (--force zeichnet ihn trotzdem neu). Es kann keine vom KI übersprungenen Bilder wiederherstellen; ein verbleibender Sprung benötigt --ref oder RIFE/Topaz. Der Ton wird automatisch übernommen (--audio-from wählt eine andere Datei, --no-audio entfernt ihn), auf die exakte Bildanzahl aufgefüllt oder verkürzt; das Skript stoppt, wenn die geschriebene Bildanzahl abweicht. Erledigt, wenn jeder angepasste Teil genau die Bildanzahl seines Abschnitts ausgibt, Einstellung für Einstellung, mit jedem Schnitt auf dem gleichen Bild wie im Original.
    • Schneiden kurz bevor etwas passiert („Schneiden, bevor das Popcorn springt“): python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg. --roi ist der zu beobachtende Bereich, als Bruchteile des Bildes. Es gibt für jedes Bild die lokale Änderung bei angeglichenem Licht und abgezogener Kameradrift aus, bewertet die wahrscheinlichen Ereignisse und erstellt eine Kontaktseite mit Zeit und Nummer jedes Bildes. Betrachten Sie die Seite: Der Schnitt erfolgt auf dem letzten Bild, bevor sich das Ding zu bewegen beginnt, oft ein oder zwei Bilder vor dem am höchsten bewerteten. Dann ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps> (neu codiert; niemals -shortest). Überprüfen Sie das Ereignisbild in jeder Version separat: Ein 1080p-Finalisieren kann das Ereignis ein oder zwei Bilder früher starten als sein 480p-Entwurf.
  3. Zusammenfügen.
    • Teile in einen Film: python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<teil_angepasst> .... Es gleicht die Farben jeder Einstellung an die ersetzte an, behält den Ton des Films und jedes Bild bei und lehnt einen Teil ab, dessen Bildanzahl nicht übereinstimmt.
    • Clips zu einem Video: Bringen Sie zuerst jeden Clip auf die gleiche Größe und Bildrate, fügen Sie sie dann mit ffmpeg -f concat oder dem concat-Filter zusammen, neu codierend. Erledigt, wenn die neue Datei die erwartete Gesamtbildanzahl hat (ffprobe -count_frames).
  4. Überprüfung gegen die Referenz. Führen Sie python scripts/check_smooth.py <neu> --ref <original> --ranges <jeder bearbeitete Abschnitt> aus, und das Gleiche auf dem Original (ohne --ref) für seine eigenen Zählungen. Erledigt, wenn in jedem bearbeiteten Abschnitt mit Bewegung:
    • Standbilder auf oder unter der Anzahl der Referenz liegen (eine gehaltene Pose ist auch in der Referenz ein Standbild);
    • Sprünge nicht mehr als in der Referenz sind;
    • „folgt ref“ 0,85 oder höher ist, wo sich das Subjekt bewegt. Ein Abschnitt, in dem nur die Kamera driftet (eine leere Einstellung, ein langsamer Zoom), oder mit Bewegung unter etwa 2, erzielt eine niedrigere „folgt“-Punktzahl, weil die KI die Handkamera-Drift neu zeichnet; beurteilen Sie es nach Augenmaß, Standbilder und Sprünge immer noch auf oder unter der Referenz. Zeigen Sie dem Benutzer dann eine Gegenüberstellung und eine Zeitlupenversion der bearbeiteten Abschnitte (setpts=2*PTS), bevor Sie es als fertig bezeichnen.

Fallstricke (bei echten Läufen gesehen)

  • Seedance videobearbeitung ändert die Länge. Ein 3-s-Eingang kam 4,04 s zurück (1,35× verlangsamt); ein 6-s-Eingang kam 5,7 s zurück. Seine Ausgaben hatten auch 1–3 eigene Standbilder. Senden Sie Eingänge von 4 s oder mehr, die an Schnitten beginnen und enden. Vertrauen Sie niemals der zurückgegebenen Länge: Führen Sie jedes Mal eine Geschwindigkeitsanpassung durch.
  • Ersetzen Sie ganze Einstellungen. Das Austauschen bearbeiteter Bilder mitten in einer Einstellung zeigt einen Sprung, wo Original und Bearbeitung aufeinandertreffen. Schneiden Sie jeden Teil von Schnitt zu Schnitt.
  • Eine Tonspur kürzer als das Video führt dazu, dass ffmpeg -shortest die letzten Bilder verwirft (ein 95-Bilder-Schnitt kam mit 93 Bildern heraus). splice_parts.py und pace_match.py behalten jedes Bild; beim manuellen Remuxen verwenden Sie -af apad -t <Bilder/fps> anstelle von -shortest.
  • Lichtänderungen sind kein Ruckeln. Ein Filmlicht-Flimmern, eine Lampe oder eine Grading-Verschiebung wurde früher als „Sprung“ gelesen. Die Prüfungen gleichen jetzt zuerst die Helligkeit aus und listen diese als Lichtverschiebungen; bewerten Sie nur die verbleibenden Sprünge.
  • Higgsfield-Asset-Links (higgsfield.ai/asset/all/<id>): Die ID ist die Generierungs-Job-ID; lesen Sie dessen result_url mit dem Higgsfield-Connector jobs_wait und laden Sie das herunter.
  • Farbe: Passen Sie pro Einstellung an und beginnen Sie an jedem Schnitt neu, sodass die Grading einer Einstellung nie in die nächste übergeht.

Engines

  • OpenCV DIS optischer Fluss (Standard, --engine opencv): Wurde nach einem Side-by-Side-Test als Standard gewählt. Es ist genauso flüssig wie RIFE, bereits installiert, keine GPU nötig.
  • RIFE (--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): Etwa 10 % schärfer bei schnellen Bewegungen wie Crash-Zooms, aber etwa 2,5 s pro Bild. Es benötigt rife-ncnn-vulkan (github.com/nihui/rife-ncnn-vulkan, etwa 430 MB), das nicht installiert bleibt: Fragen Sie, bevor Sie es erneut herunterladen. Wählen Sie den diskreten GPU-Index mit --gpu (auf einem Laptop oft 1; 0 ist normalerweise der integrierte Chip).
  • Immer noch nicht flüssig genug: Topaz Video AI (Apollo oder Chronos) auf den rohen KI-Clips ausführen. Der Benutzer führt es aus; bereiten Sie die Clips und die genauen Bildanzahlen für ihn vor.

Verwandte Skills