Communitygithub.com

vidéo-lyrique-animée

Réalise une vidéo lyrique animée verticale (une histoire dessinée avec des paroles de karaoké juste en dessous) pour YouTube Shorts, Instagram Reels ou TikTok, en utilisant le kit Remotion de ce dépôt. À utiliser lorsque l'utilisateur fournit une chanson (fichier audio et paroles) et souhaite une vidéo animée ou lyrique.

Qu'est-ce que vidéo-lyrique-animée ?

Cette compétence permet de générer automatiquement une vidéo lyrique animée verticale, destinée aux formats courts comme YouTube Shorts, Instagram Reels ou TikTok. Elle transforme un extrait de chanson (fichier audio et paroles) en une histoire dessinée, où les paroles s'affichent ligne par ligne sous l'animation, avec le mot chanté mis en évidence. L'agent orchestre l'ensemble du processus : création de la structure du projet via des commandes npm, transcription et alignement des paroles à l'aide de Whisper, conception d'un storyboard, codage des scènes avec les composants React du kit Remotion, et rendu final de la vidéo en 1080x1920, 30 ips. Le kit fournit une bibliothèque riche de personnages, décors et objets animés (ports, vergers, toits, bars, etc.) ainsi que des helpers de timing (fonctions de transition, popping, secousses). L'agent doit suivre des règles stylistiques précises : suggérer sans illustrer mot à mot, maintenir une unité narrative, animer en continu, respecter la mise en page (zone de dessin entre y=300 et y=1100 sur un canevas 1080x1920). Il vérifie les images clés avant rendu et signale toute estimation de timing ou doute sur les paroles à l'utilisateur. Cette compétence est conçue pour les développeurs utilisant le framework Remotion et nécessite que l'utilisateur possède les droits sur la chanson.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Vidéo lyrique animée

La vidéo est un extrait de chanson, une courte histoire dessinée qui suit les paroles, et les paroles affichées ligne par ligne sous l'animation avec le mot chanté mis en évidence. Le shell (src/kit/LyricVideo.tsx) gère l'audio, l'en-tête, les paroles, le crédit, les pseudos des réseaux sociaux et les fondus. Votre travail est l'extrait, les minutages et l'histoire. Répondez dans la langue de l'utilisateur.

0. Entrées

Obtenez ce qui manque, rien de plus :

  • Fichier audio et texte des paroles. Si l'utilisateur ne donne qu'un titre, demandez les fichiers. Ne téléchargez pas de chansons.
  • Artiste, titre de la chanson, ligne de crédit (ex. "Paroles et musique : …"), pseudos facultatifs des réseaux sociaux ({network: 'instagram' | 'youtube', handle}).
  • Durée maximale. Par défaut 60 s s'il ne précise pas.

Ne travaillez qu'avec des chansons que l'utilisateur possède ou a l'autorisation d'utiliser. Ne téléchargez ni ne publiez jamais quoi que ce soit.

1. Créer la chanson

npm run new-song -- <id-en-kebab> --audio <fichier> --title "…" --artist "…" --credit "…"

Ceci crée src/songs/<id>/ (configuration, paroles, scènes), copie l'audio dans public/ et enregistre la composition <id>.

2. Paroles, transcription, alignement

  1. Écrivez src/songs/<id>/lyrics.txt : une ligne d'écran par ligne, dans l'ordre chanté, les refrains répétés sont réécrits. 2–7 mots par ligne se lisent bien ; coupez les lignes plus longues à une pause naturelle.
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>
  3. Choisissez l'extrait et définissez start / end dans config.ts :
    • restez dans la durée maximale ;
    • commencez 2–3 s avant la première ligne chantée que vous conservez (place pour une scène de couverture) ;
    • terminez après une phrase complète, idéalement une ligne de refrain, plus ~1.5 s pour le fondu (le shell fond l'audio et l'image sur les ~1.8 dernières secondes) ;
    • utilisez les temps des segments de transcription.json pour trouver les limites de phrases.
  4. python scripts/align.py src/songs/<id> et lisez son rapport :
    • "not heard: timing estimated" : Whisper a sauté la ligne ; le temps est une estimation. Essayez un modèle plus grand (--model mlx-community/whisper-large-v3-mlx ou --model large-v3) ou corrigez à la main dans lyrics.ts.
    • "Dropped" : lignes en dehors de l'extrait. Attendu si l'utilisateur a collé la chanson entière.
    • Les mots de Whisper sont souvent erronés ; les paroles de l'utilisateur prévalent. Ne "corrigez" jamais les paroles de l'utilisateur pour correspondre à Whisper. Si l'enregistrement chante clairement des mots différents, dites-le à l'utilisateur et demandez quelle version afficher.

3. Écrire l'histoire avant le code

Créez un court beat sheet : un beat par ligne (ou par couplet), avec son temps de début depuis lyrics.ts. Transformez ensuite les beats en scènes.

Règles de style. Ce sont elles qui font fonctionner les vidéos ; suivez-les :

  • Suggérez, n'illustrez pas mot à mot. Pas de mots à l'écran ni d'onomatopées qui répètent les paroles : pas de panneaux, d'étiquettes, de destinations, de bulles de parole, "OUAF", "chut", "∞". Racontez avec l'action, les objets, la lumière, la météo, la couleur et des motifs récurrents. Si une ligne nomme une chose (un train, un chien, un appel téléphonique), demandez ce que cela signifie dans l'histoire et montrez-le à la place, ou montrez la chose sans la nommer.
  • Une histoire, un casting. Gardez les mêmes personnages et quelques décors et accessoires récurrents, pour que la vidéo se lise comme une histoire et non comme un diaporama.
  • Frappez les mots clés. Chronométrez les apparitions, impacts et changements au début du mot important (pop(t, mot.debut), sacudida(t, mot.debut)).
  • Toujours en mouvement. Aucune image ne doit être immobile plus d'une seconde environ.
  • Respectez la mise en page. Dessinez la scène entre y≈300 et y≈1100 sur le canevas 1080x1920. L'en-tête se trouve au-dessus, les paroles commencent à y≈1150.
  • Les scènes changent environ 0,3–0,5 s avant la ligne qu'elles illustrent ; le shell fait un fondu enchaîné de 0,12 s.
  • La première scène est une couverture (artiste et titre, avant les voix). L'en-tête apparaît quand la deuxième scène commence.

4. Coder les scènes

Modifiez src/songs/<id>/scenes.tsx. Une scène est un composant qui reçoit t, le temps de la chanson en secondes, et dessine dans <Lienzo> :

const Rencontre: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 0→1 entre deux secondes de chanson
  return (
    <Lienzo>
      <FondoPuerto t={t} id="ciel-rencontre" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Couverture},
  {at: 30.9, C: Rencontre},
];

Référence du kit (les noms sont en espagnol ; README.md contient un glossaire). Parcourez chaque pièce dans la composition kit-gallery.

  • Helpers de temps (kit.tsx) : u(t, a, b) progression 0→1 ; lerp, lerp2 ; easings eo (out), ei (in), eio (in-out), back (overshoot) ; pop(t, at) apparition élastique ; sacudida(t, at) secousse amortie ; rnd(i) aléatoire déterministe. N'utilisez jamais Math.random().
  • Personnages : <Persona tipo="el" | "ella" x y s mira pose enMano>. x, y sont les pieds. mira 1 fait face à droite, -1 à gauche. pose : bd/bt bras avant/arrière [angle_épaule°, angle_coude°] (0 vers le bas, 90 vers l'avant, 180 vers le haut), paso + zancada (marche), inclina (penché), cabeza (inclinaison de la tête), ojo: 'cerrado', beso, sonrojo (rougir). ikBrazo(...) vise une main vers un point ; puntoMano, puntoCabeza renvoient des points du canevas. <Pareja k> : 0 séparés, 1 qui s'embrassent. <Perro>.
  • Décors : FondoPuerto (port, palettes PAL.noche | ocaso | alba), FondoHuerto (verger), FondoTejados (toits), FachadaFondo + FachadaFrente (balcon ; dessinez les personnages entre eux), FondoBar, FondoInfierno, FondoTapia (mur blanchi à la chaux), FondoEstacion (gare, passez un tren), FondoDescampado (terrain vague de nuit). Le sol est y=985 dans la plupart (MUELLE_Y, ANDEN_Y) ; plancher du balcon BALCON_Y, rue CALLE_Y.
  • Objets : Barco, Tren + Humo, Coche (vitres embuées, cœur dessiné dans la buée), Casa, Arbol, Banco, Maleta, Polaroid, Corazon, Labios, Flor, Manzana, Anillo, NeonCopa, Gaviota, Destello, Estallido (explosion de cœurs et de lèvres), Flotantes (cœurs flottants), Recuerdo (teinte de souvenir), Luna, Estrellas, Mar, Cielo.

Règles de base : chaque id de dégradé/clip doit être unique dans toute la vidéo (préfixez-le avec le nom de la scène) ; calculez tout à partir de t (pas d'état) ; dessinez de l'arrière vers l'avant.

Les nouvelles pièces vont dans src/kit/, dans le même style : couleurs plates, pas de contours, dessinées autour de leur propre origine, avec une propriété d'échelle s. Ajoutez-les dans Gallery.tsx.

5. Vérifier les images

npm run typecheck
npm run stills -- <id> <seconde> <seconde> …

Demandez des images au début et au milieu de chaque scène et à chaque mot clé. Cela écrit out/stills/<id>/sheet.jpg ; regardez-le et corrigez avant le rendu : lisibilité, rien ne cache les visages, rien dans la zone d'en-tête ou de paroles, mêmes personnages partout, pas d'étiquettes littérales, la parole affichée correspond au moment audio.

6. Rendu et rapport

npm run render -- <id>

Sortie : out/<id>.mp4, 1080x1920, 30 ips, H.264 + AAC. Vérifiez sa durée avec ffprobe et rapportez à l'utilisateur : chemin du fichier, durée, l'extrait utilisé, l'histoire en deux ou trois phrases, et chaque timing estimé ou doute sur les paroles que vous avez trouvé. Dites que vous avez vérifié les images clés, pas la vidéo en lecture.

Skills associés