Communitygithub.com

lyric-video

Transformez un fichier audio, une image de couverture et éventuellement des paroles en une vidéo de paroles terminée — aucun fichier SRT nécessaire, les temporisations sont générées automatiquement via reconnaissance vocale hors ligne et un alignement flou tolérant les fautes de frappe.

Qu'est-ce que lyric-video ?

Cette compétence permet à un agent IA de générer automatiquement des vidéos de paroles (lyric videos) à partir d'un fichier audio, d'une image de couverture et de paroles en texte brut. Elle utilise la bibliothèque Vosk pour la reconnaissance vocale hors ligne, ce qui évite d'avoir à fournir un fichier SRT. L'alignement entre les paroles fournies et la reconnaissance vocale est effectué avec un algorithme flou (fuzzy matching) qui tolère les fautes d'orthographe et les variations typographiques. La compétence offre deux styles visuels : "spotify" (fond de couverture flouté, carte d'album, barre de progression, paroles défilant en douceur) et "cinematic" (image pleine écran, format letterbox 2,35:1, police Kalam pour le devanagari, surlignage mot par mot). Idéale pour les demandes de vidéos karaoké, de réels motivants ou de vidéos de paroles de type Spotify. L'utilisateur n'a qu'à fournir l'audio, éventuellement une couverture et les paroles ; le système génère tout le reste automatiquement, y compris les paroles par reconnaissance vocale si celles-ci ne sont pas fournies.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence Lyric Video

Entrée fournie par l'utilisateur : un fichier audio, une image de couverture et les paroles en texte brut (optionnel). Ce que vous livrez : un fichier .mp4 terminé. L'utilisateur n'a jamais à fournir de fichier SRT — auto_srt.py le construit à partir de l'audio.

Procédure

pip install pillow imageio-ffmpeg vosk          # ffmpeg est fourni avec imageio-ffmpeg

python scripts/make_video.py \
    --audio song.mp3 --cover cover.png --lyrics lyrics.txt \
    --title "Titre de la chanson" --artist "Nom de l'artiste" \
    --style spotify --out lyric_video.mp4

Cette seule commande : reconnaît la parole → aligne les paroles de l'utilisateur → écrit le SRT → génère la vidéo par morceaux → concatène → écrit lyric_video.mp4.

  • --style spotify (par défaut) — fond de couverture flouté, carte d'album, barre de progression, paroles défilant en douceur.
  • --style cinematic — fond pleine page (passer --bg plate.png, ou un fond est généré), letterbox 2,35:1, police Kalam, surlignage mot par mot.
  • --start 9.6 --duration 20 — extrait teaser.
  • Pas de couverture ? Une couverture est générée à partir du titre. Pas de paroles ? Le texte de la reconnaissance vocale est utilisé.

Entrées et que faire en cas d'absence

EntréeRemarquesEn cas d'absence
Audiomp3 / m4a / wavobligatoire — demandez-le
Couverturecarrée ≥1000×1000générée par procédure ; ou créez-en une dans Figma (generate_image, prompt dans PROMPTS.md)
Paroles (texte)texte brut, une ligne par ligne de parolesle texte de la reconnaissance vocale est utilisé, les temporisations restent automatiques
Titre / artistetextedéduit de la couverture ou laissé générique
Langue--lang hi (par défaut) ou enchoisissez à partir du script des paroles

Les fautes de frappe sont attendues et gérées : les deux côtés sont normalisés (ponctuation, nukta, casse) et les mots sont appariés avec un ratio flou, donc "कोलम्बस" vs "कोलंबस" ou "आईंस्टीन" vs "आइंस्टाइन" correspondent encore. Les mots qui ne peuvent pas être appariés sont interpolés entre leurs voisins.

Pipeline (ce que font les scripts)

  1. auto_srt.py — décode l'audio en PCM 16 kHz, exécute Vosk (hors ligne, télécharge un modèle d'environ 40–80 Mo une fois), contraint optionnellement le décodage avec les lignes de paroles de l'utilisateur comme grammaire, les aligne avec difflib + correspondance floue, et écrit une réplique SRT par ligne de paroles.
  2. spotify_lyrics.py / motivational_render.py — génère les images avec Pillow, envoie les images brutes vers ffmpeg.
  3. make_video.py — découpe le rendu (45 secondes par morceau par défaut, maintient la mémoire sous 2 Go), concatène avec ffmpeg -f concat -c copy.

Barre de qualité

  • Mouvement continu, jamais par à-coups : interpolation de la caméra/défilement par image.
  • Ligne active plus grande et plus lumineuse ; les voisins rétrécissent et diminuent en intensité par paliers.
  • Réduction automatique des longues lignes à une largeur sûre ; jamais de texte coupé au bord de l'image.
  • Police correcte pour chaque écriture : les lignes en devanagari nécessitent une police devanagari (fournie dans assets/fonts/), les lignes latines une police latine. Ne jamais les mélanger dans une même chaîne.
  • Une idée par image : soit l'arrière-plan bouge, soit le texte bouge, pas les deux.

Vérifiez avant de livrer

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 2–3 endroits

Vérifiez : pas de lignes coupées, une ligne active, pas de tofu/boîtes (problème de police), heure de progression correcte, audio synchronisé, barres/rendu cohérents.

Pièges

SymptômeCauseCorrectif
Boîtes à la place du textemauvaise police pour l'écritureutilisez font_for(text, …) ; les polices devanagari sont dans assets/fonts/
mkl_malloc: failed to allocate memory2 Go de RAM + gros modèle/audioVosk (utilisé ici) évite cela ; si vous utilisez whisper, découpez en segments de 8–10 s
ffmpeg Cannot allocate memorytrop d'images en vol--chunk 40, -threads 2, rc-lookahead=4
Décalage des paroles au fil du tempsl'alignement a échoué sur un long silence instrumentalpassez --lyrics ; gardez une ligne de paroles par ligne de texte
Saut d'arrière-plandes images clés pré-rendues ont été échangées, non fonduesles rendus fournis effectuent un fondu/interpolation

Skills associés