Communitygithub.com

RAW KINETIQ

Transforme un fichier audio en vidéo de typographie cinétique (MP4) où chaque mot arrive à temps et le style visuel est conçu à partir du sens et de l'émotion de la chanson.

Qu'est-ce que RAW KINETIQ ?

RAW KINETIQ est un agent spécialisé dans la création de vidéos de paroles animées (kinetic typography) à partir d'un simple fichier audio. Il transforme une chanson en une vidéo MP4 où chaque mot est synchronisé avec le chant grâce à Whisper (transcription précise) et Demucs (séparation des voix), et où l'esthétique visuelle – couleurs, polices, mouvements, arrière-plans – est entièrement dictée par le thème et l'émotion de la chanson, sans aucun template prédéfini. L'agent suit un pipeline en plusieurs étapes : analyse audio (BPM, énergie, structure), conception artistique unique (création d'un ‘design.md’ décrivant l'histoire, les images clés, les mouvements signature), intégration des images de l'utilisateur (avec détourage automatique), et rendu via Remotion pour une qualité professionnelle. RAW KINETIQ est idéal pour les artistes, musiciens et créateurs de contenu souhaitant produire des lyric videos pour YouTube, TikTok, Reels ou Shorts, avec une identité visuelle forte et cohérente, loin des templates génériques. Il fonctionne sur tout type de fichier audio (voix, instrumentale) et peut utiliser les paroles fournies par l'utilisateur, extraites des tags du fichier (Suno) ou transcrites automatiquement.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/bani4kaskashka/Claude-Skill-Raw-Kinetiq/tree/main/skills/raw-kinetiq

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait RAW KINETIQ ?

Chanson entrante, MP4 sortant. Le pipeline est déjà construit ; votre travail consiste à l'exécuter, à vérifier le timing comme le ferait un monteur, et à corriger ce que les machines ont mal fait. La vidéo finale doit donner l'impression que chaque mot arrive exactement quand il est chanté, et les visuels respirent avec l'énergie du morceau.

La vidéo est conçue autour de la chanson, jamais la chanson compressée dans un style maison. Ce que raconte la chanson, son ressenti, son genre et son tempo décident de tout : les couleurs, les polices, combien de mots sont à l'écran, comment ils arrivent et partent, où ils se placent, à quel point la caméra frappe, ce qui vit en arrière-plan, et où vont les propres images de l'utilisateur. Il n'y a pas de préréglages à choisir, seulement une boîte à outils à mélanger (references/toolkit.md), et quand la chanson a une image que la boîte à outils n'a pas, vous la construisez pour cette chanson. Deux chansons ne devraient jamais se ressembler, et une vidéo devrait ne ressembler à aucune autre sur YouTube. Soyez créatif, prenez des risques, puis vérifiez votre travail (étape 5) pour que les risques atterrissent bien.

Les choses s'y produisent à cause de ce que les mots disent. Une vidéo où seuls l'arrière-plan et la typographie changent est un diaporama. Quand une ligne contient quelque chose, une main le tient ; quand elle nomme une bouche, une bouche s'ouvre et la caméra entre ; quand elle dit « je connais toutes les sorties », des panneaux de sortie défilent. Ces moments sont dessinés par vous en code (formes SVG, animées dans Remotion ; jamais un générateur d'images), synchronisés avec leurs mots (étape 4b).

Chemins ci-dessous : SKILL = le dossier de cette compétence (${CLAUDE_SKILL_DIR}), PY = le Python que setup_env.sh affiche (~/.raw-kinetiq/venv/Scripts/python.exe sous Windows, ~/.raw-kinetiq/venv/bin/python ailleurs). Utilisez l'outil Bash pour les scripts .sh (Git Bash sous Windows).

0. Ce dont vous avez besoin de l'utilisateur

Seule la chanson est requise. Obtenez la chanson (et les paroles, s'il les a), puis posez les questions sur le look une fois, d'entrée de jeu, dans un seul appel AskUserQuestion pour que l'utilisateur puisse choisir et s'en aller pendant que l'analyse tourne. Ignorez toute question à laquelle leur message a déjà répondu. S'ils ont dit « fais-le » ou s'ils sont absents, utilisez les valeurs par défaut et dites lesquelles vous avez utilisées.

Question (en-tête)OptionsDéfaut
Format16:9 (1920x1080) (Recommandé) / Vertical 9:16 pour TikTok, Reels, Shorts (1080x1920) / Carré (1080x1080)16:9
StyleConçu à partir de la chanson (Recommandé) / puis 2-3 directions concrètes tirées des propres images de cette chanson, chacune en mots simples (pour une chanson sur la fièvre : « Mots tremblant dans la brume de chaleur, jaune sueur sur noir »). « Autre » leur permet de décrire l'ambiance avec leurs propres motsconçu à partir de la chanson
Superpositions (multiSelect)Nom de l'artiste (en haut à gauche) / Noms des sections (en bas à gauche) / Minuteur + barre de progression / BPM + compteur de temps. Dites dans la question que n'en choisir aucune donne un clip musical épuréaucune
Éléments visuels« Avez-vous des images que vous aimeriez dans la vidéo (pochette, photos, un logo, une photo de vous) ? » Non, créez-le à partir de la chanson (Recommandé) / Oui, je les enverrai ici / Oui, elles sont dans un dossiernon

Les réponses sont mappées sur les indicateurs de new_project.sh : --size et --overlays artist,section,timer,bpm (seulement ceux choisis). Toujours 60 ips sauf s'ils demandent autrement. Le style est à vous de concevoir à l'étape 2b, guidé par leur réponse.

S'ils ont des éléments visuels, répondez immédiatement : « Envoyez-les (ou dites-moi le dossier), et un mot sur ce que chacun est ou où vous le voudriez, si vous avez une préférence. » Les descriptions sont facultatives : ouvrez chaque image avec l'outil Read et voyez par vous-même ce que c'est. Intégrez-les à l'étape 2c.

Autres entrées, qui ne nécessitent aucune question :

EntréeDéfaut
Parolescollées > tags du fichier (Suno les écrit) > transcription que vous nettoyez
Titre / artistetags du fichier ; si le titre du tag est inutile (ex. [Rec] Oct 24 ...) utilisez le nom du fichier
Arrière-planauto : les scènes suivent les sections et votre conception
Carte de fintitre + artiste sur les dernières secondes ; --no-endcard quand ils n'en veulent pas

1. Configuration (une fois par machine, instantanée après ça)

bash SKILL/scripts/setup_env.sh

Crée l'environnement Python partagé (faster-whisper, Demucs, librosa, Pillow ; builds CPU) et affiche son chemin Python. Nécessite Python 3.10+, Node 18+ et ffmpeg (avec ffprobe) dans le PATH ; si l'un manque, dites à l'utilisateur quoi installer plutôt que d'installer des logiciels système vous-même. La première exécution télécharge quelques Go (CPU torch maintenant, les modèles Whisper et Demucs à la première utilisation).

2. Analyser la chanson (en cache, exécuté en arrière-plan)

Dossier du projet : <dossier de la chanson>/<nom de la chanson> lyric video/ sauf si l'utilisateur dit autrement. Si l'utilisateur a collé des paroles, sauvegardez-les d'abord sous <projet>/work/lyrics.txt, en gardant les balises [Section].

PY SKILL/scripts/prepare.py "<chanson>" "<projet>/work"

Environ 8 à 10 minutes sur CPU pour une chanson de 3 minutes (Demucs, puis Whisper large-v3 deux fois). Chaque étape met en cache sa sortie, donc une réexécution ne fait que ce qui manque. Ne supprimez jamais ces sorties pour « repartir à zéro » ; pour refaire une étape, supprimez uniquement ce fichier. Il affiche :

  • durée, BPM, longueur de mesure (240 / BPM), énergie par seconde (les chutes sont des sauts dedans),
  • les plages vocaux présents (les trous = instrumental),
  • les deux transcriptions Whisper (mix complet, et piste vocale isolée).

2b. Concevoir la vidéo de cette chanson

Partez de la chanson, pas de la boîte à outils. N'ouvrez pas encore la boîte à outils : un menu de mouvements prêts à l'emploi attire chaque chanson vers un petit nombre de looks. Commencez par déterminer ce qu'est cette chanson, et écrivez-le dans <projet>/work/design.md :

  1. La chanson en quelques lignes : l'histoire, qui parle et à qui, le lieu, l'heure de la journée, les objets et images auxquels les paroles reviennent sans cesse, et son ressenti (tendu, tendre, engourdi, provocateur, enjoué, paranoïaque). Le ressenti détermine le mouvement plus que le genre.
  2. Le monde dans lequel elle vit. Lisez le vocabulaire, pas seulement l'histoire : les mots des paroles se regroupent en un monde, et ce groupe dit où vit la chanson, souvent plus que le sens quotidien du titre. Une chanson pleine de « verdict », « témoigner », « peine » vit dans un tribunal ; « ancre », « dérive », « port » en mer ; « solde », « devoir », « intérêt » dans l'argent. Ensuite, listez chaque sens du titre et du refrain, y compris l'argot et ce que les mots signifient dans les jeux, films, sports et sous-cultures (« fantôme » est un esprit, quelqu'un qui disparaît, et un terme de joueur), et choisissez le sens que le vocabulaire soutient, ou fusionnez-en deux. Écrivez les candidats et pourquoi vous en avez choisi un.
  3. L'image centrale, issue de ce monde et des propres mots des paroles, jamais du genre. Une chanson sur le fait d'être observé : des fenêtres qui s'allument une par une. Une chanson sur le manque de temps : une mèche qui brûle le long du cadre.
  4. Gestes signatures : ce que les mots eux-mêmes font, dans les termes de cette chanson. Deux ou trois, chacun en une phrase : comment un mot arrive, comment il part, ce que fait le refrain. Ils viennent de l'image centrale : dans une chanson sur la fièvre, les mots arrivent en tremblant dans la brume de chaleur et refroidissent jusqu'à l'immobilité ; dans une chanson sur des lettres non envoyées, les mots sont écrits à l'encre qui saigne, puis la page les replie. Le test : si le même geste conviendrait à une autre chanson au hasard, ce n'est pas encore une signature. Rendez-le assez grand pour être remarqué : après un refrain, le spectateur doit pouvoir décrire ce que les mots ont fait. Un reflet capillaire ou un léger flou pendant une fraction de seconde ne se voit pas ; laissez le geste prendre de l'espace et du temps aux sommets, et gardez-le plus discret dans les couplets. Vous écrirez ces gestes comme des effets pour cette chanson (video/src/custom, boîte à outils « Les propres pièces de la chanson »).
  5. Le plan de tournage : chaque section avec sa scène, sa caméra, sa disposition des paroles, sa palette et quel geste elle utilise. L'image centrale évolue à travers lui comme un court métrage (ci-dessous), et chaque section est cadrée différemment : une nouvelle teinte ou quelques lumières supplémentaires sur la même vue n'est pas un nouveau plan.
  6. Ce que vous ne faites pas : nommez les gestes évidents pour ce genre et cette humeur que vous évitez, afin de ne pas y revenir par inadvertance.
  7. Le style de dessin que les moments partageront (étape 4b), issu du monde de la chanson : art linéaire au néon, papier découpé à plat, encre et lavis, lignes de plan, silhouettes grasses, cases de bande dessinée, gravure sur bois. Un style pour toute la chanson, pour que les moments ressemblent à un seul film.

Les faits à lire pour cela : le BPM (notez les sensations à moitié temps : un rythme trap à 140 BPM semble souvent à 70), la densité vocale (mots par seconde dans whisper_full.json : le rap rapide a besoin de courtes rafales ; le chant lent et soutenu peut tenir des phrases) et l'énergie par seconde (là où elle saute, la vidéo change : un refrain qui bouge différemment du couplet, un pont qui brise le motif, un dernier refrain plus grand que le premier).

Maintenant, lisez references/toolkit.md et construisez la conception :

  • Les moments sont dessinés après l'existence de la timeline (étape 4b), mais planifiez-les maintenant : le storyboard façonne le plan de tournage, et une section construite autour d'un moment peut rester simple derrière lui.
  • Les propres pièces de la chanson d'abord. Écrivez les gestes signatures comme des effects, l'image centrale comme des layers (et un style de ligne comme des modes quand un moment en a besoin) dans video/src/custom/index.tsx. Utilisez le geste signature là où la chanson culmine (au moins les refrains), et gardez-le au centre de la vidéo, pas comme un one-off.
  • La boîte à outils est le casting secondaire. Ses entrées, sorties, styles de ligne et couches intégrés portent les lignes intermédiaires et remplissent une scène. Beaucoup ont été créés pour des chansons précédentes (les claquements, balafres, coupures et glitches pour un morceau phonk, des chants coupés en deux, le tunnel), et les utiliser par défaut est exactement ce qui fait que deux vidéos se ressemblent. N'utilisez un élément intégré que lorsqu'il correspond honnêtement à l'image de cette chanson, et écrivez pourquoi dans design.md.
  • Palette : couleurs issues du monde de la chanson ou des images de l'utilisateur, avec des changements par section. Écrivez-les toutes ; ne partez pas d'un thème.
  • Typographie : toute police Google Font pour l'display et une alt contrastante, choisie pour la voix de cette chanson.
  • Caméra, énergie et réaction : un mouvement par section, à quel point la caméra frappe, et si les visuels pulsent avec le rythme ou avec la voix.
  • Éléments visuels : où va chaque image de l'utilisateur et comment le texte fait de la place (2c).

Une vidéo est une séquence de plans, jamais une image avec des mots dessus. Une idée centrale est juste, un cadre inchangé ne l'est pas. Planifiez la chanson comme un court métrage, section par section : ce que le spectateur voit dans l'intro, comment le premier couplet le cadre, ce qui s'ouvre dans le refrain, ce qui se brise dans le pont, comment cela se résout. L'image centrale doit évoluer : changez l'échelle, l'angle ou le mouvement de la caméra, l'heure de la journée, la palette, ce qui est dans le cadre. Une couche personnalisée obtient la section et sa progression, afin de pouvoir montrer différentes choses dans différentes sections. Chaque refrain doit être clairement différent de son couplet, et le dernier refrain plus grand que le premier. Si deux sections voisines partagent scène, caméra, disposition et palette, changez-en une.

Changez le cadrage, pas seulement les couleurs. Quand une seule couche personnalisée porte la chanson, donnez-lui de véritables plans : une position de caméra différente (d'en haut, de l'intérieur, au niveau du sol, en gros plan sur un détail), une échelle différente, un sujet différent dans le cadre. Re-teinter la même vue, ou y ajouter des lumières, reste un seul plan, et la vérification signale un cadrage qui remplit trop la chanson (one-shot).

Placez les mots avec l'image. L'emplacement des paroles fait partie de la conception : sur la surface que la scène montre, dans la fenêtre, à côté du sujet, se déplaçant vers un nouvel endroit à chaque rafale quand la musique bouge. Toute une section de rafales exactement au même endroit est un sous-titre. Le hook burst d'un effet peut déplacer une rafale n'importe où (son transform).

Lent n'est pas statique. Une chanson douce, lente ou chuchotée bouge lentement mais ne s'arrête jamais : la caméra dérive ou pousse, la lumière gonfle avec la voix ("react": "voice", la valeur par défaut pour les chansons douces), les scènes changent à chaque section. Gardez le ressenti (tendre reste tendre) et faites quand même de chaque section une nouvelle image. Donnez aux paroles lentes de la place pour être grandes : moins de mots à la fois, placés en grand, avec intention, pas un petit sous-titre sur la même ligne toute la chanson.

Soyez audacieux : empruntez entre genres (une chanson soul avec une typographie brutaliste, un morceau drill en police serif) et prenez des risques ; l'auto-vérification (étape 5) attrape ce qui ne tombe pas bien. Elle signale aussi une vidéo sans design.md (no-design), des refrains qui n'utilisent que des mouvements intégrés (no-signature), des éléments intégrés empruntés à des chansons précédentes (borrowed), et un arrière-plan composé uniquement de couches intégrées (stock-world).

Dites à l'utilisateur la conception en deux ou trois phrases simples (« une chanson sur le fait d'être surveillé, donc les mots sont posés devant un immeuble la nuit dont les fenêtres s'allument une par une ; chaque mot s'allume comme une fenêtre quand il est chanté, et le refrain assombrit la rue jusqu'à une seule pièce éclairée »).

Puis configurez le projet vidéo (il réutilise un existant) :

bash SKILL/scripts/new_project.sh "<chanson>" "<projet>" --size 1920x1080 --fps 60 [--overlays artist,timer] [--no-endcard]

et écrivez la conception dans video/src/data/config.json (couleurs, polices, mouvement, scènes, éléments visuels). Réexécuter new_project.sh conserve tout ce que vous y avez mis. Pour un projet créé avec une version antérieure de cette compétence, ajoutez --update : il remplace le code template actuel et conserve les données de la chanson, ses pièces personnalisées et ses éléments visuels.

2c. Les images de l'utilisateur

PY SKILL/scripts/assets.py "<projet>" <fichiers images ou dossier> [--cutout nom1,nom2 [--person]]

Les copie dans le projet (à l'endroit, taille raisonnable), affiche la forme, la luminosité et les couleurs principales de chacune, et écrit video/public/assets/sheet.png. Regardez la feuille. Découpez les sujets qui doivent se tenir dans le cadre sans leur arrière-plan (--cutout ; ajoutez --person quand c'est une personne, ou le modèle pourrait ne garder qu'une main ou un visage). Vérifiez chaque découpe sur la feuille ; si les bords sont mauvais, essayez l'autre modèle, ou utilisez l'image comme arrière-plan ou affiche à la place.

Utilisez ce que l'utilisateur a dit de chaque image ; quand il n'a rien dit, décidez d'après ce que vous voyez. Placez-les là où la chanson en a besoin (boîte à outils, « Éléments visuels ») : un portrait détourné à côté des couplets, la pochette comme arrière-plan pour…

…

Skills associés