Vidéo lyrique animée
La vidéo est un extrait de chanson, une courte histoire dessinée qui suit les paroles, et les paroles affichées ligne par ligne sous l'animation avec le mot chanté mis en évidence. Le shell (src/kit/LyricVideo.tsx) gère l'audio, l'en-tête, les paroles, le crédit, les pseudos des réseaux sociaux et les fondus. Votre travail est l'extrait, les minutages et l'histoire. Répondez dans la langue de l'utilisateur.
0. Entrées
Obtenez ce qui manque, rien de plus :
- Fichier audio et texte des paroles. Si l'utilisateur ne donne qu'un titre, demandez les fichiers. Ne téléchargez pas de chansons.
- Artiste, titre de la chanson, ligne de crédit (ex. "Paroles et musique : …"), pseudos facultatifs des réseaux sociaux (
{network: 'instagram' | 'youtube', handle}). - Durée maximale. Par défaut 60 s s'il ne précise pas.
Ne travaillez qu'avec des chansons que l'utilisateur possède ou a l'autorisation d'utiliser. Ne téléchargez ni ne publiez jamais quoi que ce soit.
1. Créer la chanson
npm run new-song -- <id-en-kebab> --audio <fichier> --title "…" --artist "…" --credit "…"
Ceci crée src/songs/<id>/ (configuration, paroles, scènes), copie l'audio dans public/ et enregistre la composition <id>.
2. Paroles, transcription, alignement
- Écrivez
src/songs/<id>/lyrics.txt: une ligne d'écran par ligne, dans l'ordre chanté, les refrains répétés sont réécrits. 2–7 mots par ligne se lisent bien ; coupez les lignes plus longues à une pause naturelle. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>- Choisissez l'extrait et définissez
start/enddansconfig.ts:- restez dans la durée maximale ;
- commencez 2–3 s avant la première ligne chantée que vous conservez (place pour une scène de couverture) ;
- terminez après une phrase complète, idéalement une ligne de refrain, plus ~1.5 s pour le fondu (le shell fond l'audio et l'image sur les ~1.8 dernières secondes) ;
- utilisez les temps des segments de
transcription.jsonpour trouver les limites de phrases.
python scripts/align.py src/songs/<id>et lisez son rapport :- "not heard: timing estimated" : Whisper a sauté la ligne ; le temps est une estimation. Essayez un modèle plus grand (
--model mlx-community/whisper-large-v3-mlxou--model large-v3) ou corrigez à la main danslyrics.ts. - "Dropped" : lignes en dehors de l'extrait. Attendu si l'utilisateur a collé la chanson entière.
- Les mots de Whisper sont souvent erronés ; les paroles de l'utilisateur prévalent. Ne "corrigez" jamais les paroles de l'utilisateur pour correspondre à Whisper. Si l'enregistrement chante clairement des mots différents, dites-le à l'utilisateur et demandez quelle version afficher.
- "not heard: timing estimated" : Whisper a sauté la ligne ; le temps est une estimation. Essayez un modèle plus grand (
3. Écrire l'histoire avant le code
Créez un court beat sheet : un beat par ligne (ou par couplet), avec son temps de début depuis lyrics.ts. Transformez ensuite les beats en scènes.
Règles de style. Ce sont elles qui font fonctionner les vidéos ; suivez-les :
- Suggérez, n'illustrez pas mot à mot. Pas de mots à l'écran ni d'onomatopées qui répètent les paroles : pas de panneaux, d'étiquettes, de destinations, de bulles de parole, "OUAF", "chut", "∞". Racontez avec l'action, les objets, la lumière, la météo, la couleur et des motifs récurrents. Si une ligne nomme une chose (un train, un chien, un appel téléphonique), demandez ce que cela signifie dans l'histoire et montrez-le à la place, ou montrez la chose sans la nommer.
- Une histoire, un casting. Gardez les mêmes personnages et quelques décors et accessoires récurrents, pour que la vidéo se lise comme une histoire et non comme un diaporama.
- Frappez les mots clés. Chronométrez les apparitions, impacts et changements au début du mot important (
pop(t, mot.debut),sacudida(t, mot.debut)). - Toujours en mouvement. Aucune image ne doit être immobile plus d'une seconde environ.
- Respectez la mise en page. Dessinez la scène entre y≈300 et y≈1100 sur le canevas 1080x1920. L'en-tête se trouve au-dessus, les paroles commencent à y≈1150.
- Les scènes changent environ 0,3–0,5 s avant la ligne qu'elles illustrent ; le shell fait un fondu enchaîné de 0,12 s.
- La première scène est une couverture (artiste et titre, avant les voix). L'en-tête apparaît quand la deuxième scène commence.
4. Coder les scènes
Modifiez src/songs/<id>/scenes.tsx. Une scène est un composant qui reçoit t, le temps de la chanson en secondes, et dessine dans <Lienzo> :
const Rencontre: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 0→1 entre deux secondes de chanson
return (
<Lienzo>
<FondoPuerto t={t} id="ciel-rencontre" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Couverture},
{at: 30.9, C: Rencontre},
];
Référence du kit (les noms sont en espagnol ; README.md contient un glossaire). Parcourez chaque pièce dans la composition kit-gallery.
- Helpers de temps (
kit.tsx) :u(t, a, b)progression 0→1 ;lerp,lerp2; easingseo(out),ei(in),eio(in-out),back(overshoot) ;pop(t, at)apparition élastique ;sacudida(t, at)secousse amortie ;rnd(i)aléatoire déterministe. N'utilisez jamaisMath.random(). - Personnages :
<Persona tipo="el" | "ella" x y s mira pose enMano>.x, ysont les pieds.mira1 fait face à droite, -1 à gauche.pose:bd/btbras avant/arrière[angle_épaule°, angle_coude°](0 vers le bas, 90 vers l'avant, 180 vers le haut),paso+zancada(marche),inclina(penché),cabeza(inclinaison de la tête),ojo: 'cerrado',beso,sonrojo(rougir).ikBrazo(...)vise une main vers un point ;puntoMano,puntoCabezarenvoient des points du canevas.<Pareja k>: 0 séparés, 1 qui s'embrassent.<Perro>. - Décors :
FondoPuerto(port, palettesPAL.noche | ocaso | alba),FondoHuerto(verger),FondoTejados(toits),FachadaFondo+FachadaFrente(balcon ; dessinez les personnages entre eux),FondoBar,FondoInfierno,FondoTapia(mur blanchi à la chaux),FondoEstacion(gare, passez untren),FondoDescampado(terrain vague de nuit). Le sol est y=985 dans la plupart (MUELLE_Y,ANDEN_Y) ; plancher du balconBALCON_Y, rueCALLE_Y. - Objets :
Barco,Tren+Humo,Coche(vitres embuées, cœur dessiné dans la buée),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(explosion de cœurs et de lèvres),Flotantes(cœurs flottants),Recuerdo(teinte de souvenir),Luna,Estrellas,Mar,Cielo.
Règles de base : chaque id de dégradé/clip doit être unique dans toute la vidéo (préfixez-le avec le nom de la scène) ; calculez tout à partir de t (pas d'état) ; dessinez de l'arrière vers l'avant.
Les nouvelles pièces vont dans src/kit/, dans le même style : couleurs plates, pas de contours, dessinées autour de leur propre origine, avec une propriété d'échelle s. Ajoutez-les dans Gallery.tsx.
5. Vérifier les images
npm run typecheck
npm run stills -- <id> <seconde> <seconde> …
Demandez des images au début et au milieu de chaque scène et à chaque mot clé. Cela écrit out/stills/<id>/sheet.jpg ; regardez-le et corrigez avant le rendu : lisibilité, rien ne cache les visages, rien dans la zone d'en-tête ou de paroles, mêmes personnages partout, pas d'étiquettes littérales, la parole affichée correspond au moment audio.
6. Rendu et rapport
npm run render -- <id>
Sortie : out/<id>.mp4, 1080x1920, 30 ips, H.264 + AAC. Vérifiez sa durée avec ffprobe et rapportez à l'utilisateur : chemin du fichier, durée, l'extrait utilisé, l'histoire en deux ou trois phrases, et chaque timing estimé ou doute sur les paroles que vous avez trouvé. Dites que vous avez vérifié les images clés, pas la vidéo en lecture.