Communitygithub.com

Lyric-Video

Verwandle einen Song, ein Coverbild und optional einen einfachen Liedtext in ein fertiges Lyrikvideo – ohne SRT-Datei, die Zeitsteuerung wird automatisch mittels Offline-Spracherkennung und Fuzzy-Abgleich erzeugt, der Tippfehler in den Texten toleriert.

Was ist Lyric-Video?

Diese Fähigkeit (Skill) ermöglicht es Benutzern, aus einer Audiodatei, einem Coverbild und einem optionalen Liedtext automatisch ein professionelles Lyrikvideo im MP4-Format zu erstellen. Der gesamte Prozess läuft offline ab: Die Spracherkennung erfolgt mit Vosk, die Textausrichtung mit Fuzzy-Matching (toleriert Tippfehler wie "कोलम्बस" vs "कोलंबस") und die Synchronisation der Untertitel wird ohne SRT-Datei erzeugt. Zwei visuelle Stile stehen zur Auswahl: "Spotify" (verschwommener Coverhintergrund, Musikerkarte, Fortschrittsbalken, fließender Text) und "Cinematic" (randloser Hintergrund, 2,35:1-Briefkasten, Kalam-Schriftart, Wort-für-Wort-Hervorhebung). Fehlen Eingaben wie das Cover oder der Liedtext, werden sie automatisch generiert oder durch den erkannten Text ersetzt. Die Pipeline ist für Speicherschonung optimiert (Rendering in 45-Sekunden-Chunks) und liefert durchgängige Bewegungen, keine abgehackten Übergänge und automatisch angepasste Schriftarten (Devanagari für Hindi, Latein für Englisch). Technisch wird das Tool auf Entwicklerplattformen wie Claude Code, Cursor oder Codex ausgeführt, wobei der Benutzer lediglich die Dateien bereitstellt und den Befehl aufruft.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Fähigkeit: Lyrikvideo

Eingabe des Benutzers: eine Audiodatei, ein Coverbild und der Liedtext als einfacher Text (optional). Ausgabe: ein fertiges .mp4. Der Benutzer muss niemals eine SRT-Datei bereitstellen – die auto_srt.py erstellt die Synchronisation automatisch aus der Audiodatei.

So geht's

pip install pillow imageio-ffmpeg vosk          # ffmpeg wird mit imageio-ffmpeg installiert

python scripts/make_video.py \
    --audio song.mp3 --cover cover.png --lyrics lyrics.txt \
    --title "Songname" --artist "Künstlername" \
    --style spotify --out lyric_video.mp4

Dieser einzelne Befehl: erkennt Sprachsignale → gleicht den Benutzertext damit ab → schreibt die SRT-Datei → rendert das Video in Blöcken → verkettet sie → schreibt lyric_video.mp4.

  • --style spotify (Standard) – unscharfer Coverhintergrund, Albumbild, Fortschrittsbalken, sanft scrollender Text.
  • --style cinematic – randloser Hintergrund (übergib --bg plate.png, oder einer wird erstellt), 2,35:1-Briefkasten, Kalam-Schriftart, Wort-für-Wort-Hervorhebung.
  • --start 9.6 --duration 20 – Teaser-Clip.
  • Kein Cover? Eines wird aus dem Titel erstellt. Keine Liedtexte? Der ASR-Text wird verwendet.

Eingaben und was zu tun ist, wenn sie fehlen

EingabeHinweiseFalls fehlend
Audiomp3 / m4a / waverforderlich – danach fragen
Coverquadratisch ≥1000×1000wird prozedural erstellt; oder in Figma erstellen (generate_image, Aufforderung in PROMPTS.md)
Liedtexteinfacher Text, eine Zeile pro LiedzeileASR-Text wird verwendet, Synchronisation bleibt automatisch
Titel / KünstlerTextaus dem Cover abgeleitet oder generisch lassen
Sprache--lang hi (Standard) oder enaus dem Liedtext-Skript auswählen

Tippfehler werden erwartet und behandelt: Beide Seiten werden normalisiert (Zeichensetzung, Nukta, Groß-/Kleinschreibung) und Wörter werden mit einem Fuzzy-Verhältnis abgeglichen, sodass „कोलम्बस“ vs „कोलंबस“ oder „आईंस्टीन“ vs „आइंस्टाइन“ trotzdem zusammenpassen. Wörter, die nicht zugeordnet werden können, werden zwischen ihren Nachbarn interpoliert.

Ablauf (was die Skripte tun)

  1. auto_srt.py – dekodiert Audio auf 16 kHz PCM, führt Vosk aus (offline, lädt einmal ein ~40–80 MB großes Modell herunter), schränkt die Dekodierung optional mit den Benutzer-Liedtextzeilen als Grammatik ein, gleicht sie mit difflib + Fuzzy-Matching ab und schreibt einen SRT-Cue pro Liedtextzeile.
  2. spotify_lyrics.py / motivational_render.py – rendern Einzelbilder mit Pillow, leiten rohe Einzelbilder an ffmpeg weiter.
  3. make_video.py – teilt das Rendering in Blöcke (Standard 45 s pro Block, hält Speicher < 2 GB), verkettet mit ffmpeg -f concat -c copy.

Qualitätsanforderungen

  • Durchgängige Bewegung, niemals abgehackt: Kamera/Scrollen pro Einzelbild interpolieren.
  • Aktive Zeile größer und heller; Nachbarzeilen in Abstufungen schrumpfen und dimmen.
  • Lange Zeilen automatisch auf eine sichere Breite verkleinern; Text nie am Bildrand abschneiden.
  • Korrekte Schriftart pro Schriftrichtung: Devanagari-Zeilen benötigen eine Devanagari-Schriftart (im Ordner assets/fonts/ enthalten), lateinische Zeilen eine lateinische Schriftart. Nie beides in einer Zeichenkette mischen.
  • Eine Idee pro Einzelbild: entweder der Hintergrund bewegt sich oder der Text, nicht beides gleichzeitig.

Vor der Auslieferung prüfen

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 2–3 Stellen

Prüfen: keine abgeschnittenen Zeilen, eine aktive Zeile, keine Tofu-Boxen (Schriftproblem), Fortschrittszeit korrekt, Audio synchron, Balken/Grade konsistent.

Fallstricke

SymptomUrsacheLösung
Boxen statt Textfalsche Schriftart für die Schriftrichtungfont_for(text, …) verwenden; Devanagari-Schriftarten sind in assets/fonts/
mkl_malloc: failed to allocate memory2 GB RAM + großes Modell/AudioVosk (hier verwendet) vermeidet dies; bei Whisper auf 8–10 s aufteilen
ffmpeg Cannot allocate memoryzu viele Einzelbilder im Flug--chunk 40, -threads 2, rc-lookahead=4
Text driftet im Laufe der Zeit abAbgleich fehlgeschlagen bei langer Instrumentalpause--lyrics übergeben; eine Liedtextzeile pro Textzeile beibehalten
Hintergrund hüpftvorgerenderte Keyframes wurden ausgetauscht, nicht überblendetdie gebündelten Renderer überblenden/interpolieren

Verwandte Skills