Compétence Lyric Video
Entrée fournie par l'utilisateur : un fichier audio, une image de couverture et les paroles en texte brut (optionnel). Ce que vous livrez : un fichier .mp4 terminé. L'utilisateur n'a jamais à fournir de fichier SRT — auto_srt.py le construit à partir de l'audio.
Procédure
pip install pillow imageio-ffmpeg vosk # ffmpeg est fourni avec imageio-ffmpeg
python scripts/make_video.py \
--audio song.mp3 --cover cover.png --lyrics lyrics.txt \
--title "Titre de la chanson" --artist "Nom de l'artiste" \
--style spotify --out lyric_video.mp4
Cette seule commande : reconnaît la parole → aligne les paroles de l'utilisateur → écrit le SRT → génère la vidéo par morceaux → concatène → écrit lyric_video.mp4.
--style spotify(par défaut) — fond de couverture flouté, carte d'album, barre de progression, paroles défilant en douceur.--style cinematic— fond pleine page (passer--bg plate.png, ou un fond est généré), letterbox 2,35:1, police Kalam, surlignage mot par mot.--start 9.6 --duration 20— extrait teaser.- Pas de couverture ? Une couverture est générée à partir du titre. Pas de paroles ? Le texte de la reconnaissance vocale est utilisé.
Entrées et que faire en cas d'absence
| Entrée | Remarques | En cas d'absence |
|---|---|---|
| Audio | mp3 / m4a / wav | obligatoire — demandez-le |
| Couverture | carrée ≥1000×1000 | générée par procédure ; ou créez-en une dans Figma (generate_image, prompt dans PROMPTS.md) |
| Paroles (texte) | texte brut, une ligne par ligne de paroles | le texte de la reconnaissance vocale est utilisé, les temporisations restent automatiques |
| Titre / artiste | texte | déduit de la couverture ou laissé générique |
| Langue | --lang hi (par défaut) ou en | choisissez à partir du script des paroles |
Les fautes de frappe sont attendues et gérées : les deux côtés sont normalisés (ponctuation, nukta, casse) et les mots sont appariés avec un ratio flou, donc "कोलम्बस" vs "कोलंबस" ou "आईंस्टीन" vs "आइंस्टाइन" correspondent encore. Les mots qui ne peuvent pas être appariés sont interpolés entre leurs voisins.
Pipeline (ce que font les scripts)
auto_srt.py— décode l'audio en PCM 16 kHz, exécute Vosk (hors ligne, télécharge un modèle d'environ 40–80 Mo une fois), contraint optionnellement le décodage avec les lignes de paroles de l'utilisateur comme grammaire, les aligne avecdifflib+ correspondance floue, et écrit une réplique SRT par ligne de paroles.spotify_lyrics.py/motivational_render.py— génère les images avec Pillow, envoie les images brutes vers ffmpeg.make_video.py— découpe le rendu (45 secondes par morceau par défaut, maintient la mémoire sous 2 Go), concatène avecffmpeg -f concat -c copy.
Barre de qualité
- Mouvement continu, jamais par à-coups : interpolation de la caméra/défilement par image.
- Ligne active plus grande et plus lumineuse ; les voisins rétrécissent et diminuent en intensité par paliers.
- Réduction automatique des longues lignes à une largeur sûre ; jamais de texte coupé au bord de l'image.
- Police correcte pour chaque écriture : les lignes en devanagari nécessitent une police devanagari (fournie dans
assets/fonts/), les lignes latines une police latine. Ne jamais les mélanger dans une même chaîne. - Une idée par image : soit l'arrière-plan bouge, soit le texte bouge, pas les deux.
Vérifiez avant de livrer
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 2–3 endroits
Vérifiez : pas de lignes coupées, une ligne active, pas de tofu/boîtes (problème de police), heure de progression correcte, audio synchronisé, barres/rendu cohérents.
Pièges
| Symptôme | Cause | Correctif |
|---|---|---|
| Boîtes à la place du texte | mauvaise police pour l'écriture | utilisez font_for(text, …) ; les polices devanagari sont dans assets/fonts/ |
mkl_malloc: failed to allocate memory | 2 Go de RAM + gros modèle/audio | Vosk (utilisé ici) évite cela ; si vous utilisez whisper, découpez en segments de 8–10 s |
ffmpeg Cannot allocate memory | trop d'images en vol | --chunk 40, -threads 2, rc-lookahead=4 |
| Décalage des paroles au fil du temps | l'alignement a échoué sur un long silence instrumental | passez --lyrics ; gardez une ligne de paroles par ligne de texte |
| Saut d'arrière-plan | des images clés pré-rendues ont été échangées, non fondues | les rendus fournis effectuent un fondu/interpolation |