Fähigkeit: Lyrikvideo
Eingabe des Benutzers: eine Audiodatei, ein Coverbild und der Liedtext als einfacher Text (optional). Ausgabe: ein fertiges .mp4. Der Benutzer muss niemals eine SRT-Datei bereitstellen – die auto_srt.py erstellt die Synchronisation automatisch aus der Audiodatei.
So geht's
pip install pillow imageio-ffmpeg vosk # ffmpeg wird mit imageio-ffmpeg installiert
python scripts/make_video.py \
--audio song.mp3 --cover cover.png --lyrics lyrics.txt \
--title "Songname" --artist "Künstlername" \
--style spotify --out lyric_video.mp4
Dieser einzelne Befehl: erkennt Sprachsignale → gleicht den Benutzertext damit ab → schreibt die SRT-Datei → rendert das Video in Blöcken → verkettet sie → schreibt lyric_video.mp4.
--style spotify(Standard) – unscharfer Coverhintergrund, Albumbild, Fortschrittsbalken, sanft scrollender Text.--style cinematic– randloser Hintergrund (übergib--bg plate.png, oder einer wird erstellt), 2,35:1-Briefkasten, Kalam-Schriftart, Wort-für-Wort-Hervorhebung.--start 9.6 --duration 20– Teaser-Clip.- Kein Cover? Eines wird aus dem Titel erstellt. Keine Liedtexte? Der ASR-Text wird verwendet.
Eingaben und was zu tun ist, wenn sie fehlen
| Eingabe | Hinweise | Falls fehlend |
|---|---|---|
| Audio | mp3 / m4a / wav | erforderlich – danach fragen |
| Cover | quadratisch ≥1000×1000 | wird prozedural erstellt; oder in Figma erstellen (generate_image, Aufforderung in PROMPTS.md) |
| Liedtext | einfacher Text, eine Zeile pro Liedzeile | ASR-Text wird verwendet, Synchronisation bleibt automatisch |
| Titel / Künstler | Text | aus dem Cover abgeleitet oder generisch lassen |
| Sprache | --lang hi (Standard) oder en | aus dem Liedtext-Skript auswählen |
Tippfehler werden erwartet und behandelt: Beide Seiten werden normalisiert (Zeichensetzung, Nukta, Groß-/Kleinschreibung) und Wörter werden mit einem Fuzzy-Verhältnis abgeglichen, sodass „कोलम्बस“ vs „कोलंबस“ oder „आईंस्टीन“ vs „आइंस्टाइन“ trotzdem zusammenpassen. Wörter, die nicht zugeordnet werden können, werden zwischen ihren Nachbarn interpoliert.
Ablauf (was die Skripte tun)
auto_srt.py– dekodiert Audio auf 16 kHz PCM, führt Vosk aus (offline, lädt einmal ein ~40–80 MB großes Modell herunter), schränkt die Dekodierung optional mit den Benutzer-Liedtextzeilen als Grammatik ein, gleicht sie mitdifflib+ Fuzzy-Matching ab und schreibt einen SRT-Cue pro Liedtextzeile.spotify_lyrics.py/motivational_render.py– rendern Einzelbilder mit Pillow, leiten rohe Einzelbilder an ffmpeg weiter.make_video.py– teilt das Rendering in Blöcke (Standard 45 s pro Block, hält Speicher < 2 GB), verkettet mitffmpeg -f concat -c copy.
Qualitätsanforderungen
- Durchgängige Bewegung, niemals abgehackt: Kamera/Scrollen pro Einzelbild interpolieren.
- Aktive Zeile größer und heller; Nachbarzeilen in Abstufungen schrumpfen und dimmen.
- Lange Zeilen automatisch auf eine sichere Breite verkleinern; Text nie am Bildrand abschneiden.
- Korrekte Schriftart pro Schriftrichtung: Devanagari-Zeilen benötigen eine Devanagari-Schriftart (im Ordner
assets/fonts/enthalten), lateinische Zeilen eine lateinische Schriftart. Nie beides in einer Zeichenkette mischen. - Eine Idee pro Einzelbild: entweder der Hintergrund bewegt sich oder der Text, nicht beides gleichzeitig.
Vor der Auslieferung prüfen
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 2–3 Stellen
Prüfen: keine abgeschnittenen Zeilen, eine aktive Zeile, keine Tofu-Boxen (Schriftproblem), Fortschrittszeit korrekt, Audio synchron, Balken/Grade konsistent.
Fallstricke
| Symptom | Ursache | Lösung |
|---|---|---|
| Boxen statt Text | falsche Schriftart für die Schriftrichtung | font_for(text, …) verwenden; Devanagari-Schriftarten sind in assets/fonts/ |
mkl_malloc: failed to allocate memory | 2 GB RAM + großes Modell/Audio | Vosk (hier verwendet) vermeidet dies; bei Whisper auf 8–10 s aufteilen |
ffmpeg Cannot allocate memory | zu viele Einzelbilder im Flug | --chunk 40, -threads 2, rc-lookahead=4 |
| Text driftet im Laufe der Zeit ab | Abgleich fehlgeschlagen bei langer Instrumentalpause | --lyrics übergeben; eine Liedtextzeile pro Textzeile beibehalten |
| Hintergrund hüpft | vorgerenderte Keyframes wurden ausgetauscht, nicht überblendet | die gebündelten Renderer überblenden/interpolieren |