Communitygithub.com

Kelly MV

Espace de travail créatif pour concevoir des clips musicaux visuels, géré par un agent IA producteur.

Qu'est-ce que Kelly MV ?

Kelly MV est une compétence pour agent IA qui transforme le processus de création de clips musicaux en un espace de travail collaboratif. L'agent agit comme un producteur créatif : il raisonne, rédige, valide, exporte et prépare des prompts de génération IA, tandis que l'application locale sert d'interface d'édition humaine. Le concept est purement visuel : pas de voix off, de dialogue ou de paroles à l'écran ; le seul audio est la chanson MP4 importée. La compétence supporte quatre zones principales : Concept (résumé et tonalité), Song (upload MP3 et métadonnées), Cast (personnages avec fiches de référence), et Storyboard (liste ordonnée de plans). Chaque plan est défini par une description de scène, des personnages présents, une durée (4-12s pour les plans générés), une image et une vidéo, qui peuvent être générées via IA ou uploadées par l'utilisateur. La cohérence des personnages repose sur la génération image-à-image à partir des fiches de référence. Les dépendances de génération sont strictement ordonnées : chanson → concept → fiches cast → images storyboard → vidéos. La compétence s'exécute via l'application locale (port 3041 par défaut) et utilise des fichiers JSON pour le stockage. Elle est conçue pour fonctionner avec des backends locaux (Apple Silicon recommandé), incluant la génération future de chansons avec clonage vocal. Les utilisateurs sont invités à lire les références `mv-workflow.md` et `ui-schema.md` pour une compréhension approfondie du flux de travail et du schéma de données.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add mr-kelly/skills

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Aperçu

Depuis le README du skill

Kelly MV preview
Kelly MV preview
Kelly MV preview
Kelly MV preview

Documentation

Que fait Kelly MV ?

Captures d'écran de l'interface

Idée Principale

Utilisez cette compétence comme un espace de travail créatif pour clips musicaux. L'application est la surface d'édition humaine ; la compétence est le producteur créatif : elle raisonne, rédige, valide, exporte et prépare les prompts de génération IA. L'application ne fait que lire et écrire des fichiers locaux du projet.

Un MV ici est pure image — pas de voix off, pas de dialogue, pas de paroles à l'écran. Le travail est simple : prendre un MP3 existant et lui donner des visuels. La vidéo finale est la séquence des plans du storyboard joués dans l'ordre sur la chanson. (Pour un drame avec voix/dialogue, utilisez kelly-drama — c'est son rôle.)

L'application a exactement quatre zones : Concept, Chanson, Distribution, Storyboard. Gardez cela simple — ne réintroduisez pas de sections de chanson, de tuilage temporel ou de grandes feuilles de production par plan.

Par défaut, utilisez l'application locale pour le travail créatif en cours. Utilisez le mode chat uniquement lorsque l'utilisateur demande explicitement "chat only", "no UI", "纯聊天" ou similaire.

Flux par Défaut

  1. Démarrez ou réutilisez l'application locale avec app/start.sh (par défaut sur 127.0.0.1:3041 ; respecte KELLY_MV_UI_PORT).
  2. Vérifiez app/.data/project.json. S'il est manquant, le serveur initialise le projet de démarrage fourni (un exemple de MV 静夜思). Vous pouvez aussi le réinitialiser avec scripts/create_sample_project.ts.
  3. Utilisez l'application en suivant l'étape suivante dans la barre latérale :
    • Concept : résumé d'une ligne de ce qu'est le MV et sa tonalité, un look visuel d'une ligne, et le rapport d'aspect. C'est tout.
    • Chanson : téléchargez un MP3. La durée est lue automatiquement. Titre/artiste optionnels. Rien d'autre.
    • Distribution : les personnes à l'écran. Identifiant stable, rôle, notes visuelles sous trois angles, garde-robe, ancres, dérive interdite, et une image de fiche de référence du personnage. Générez les fiches de référence avant le travail sur le storyboard lorsque la cohérence compte. Pas de profils vocaux (MV purement visuel). Même modèle que kelly-drama.
    • Storyboard : une liste ordonnée de plans. Chaque plan a une description de scène, des personnages à l'écran, une durée, et une image + une vidéo. L'image et la vidéo peuvent chacune être générées par IA (image-à-image à partir des fiches personnages ; vidéo brouillon via LTX local) ou téléchargées par l'utilisateur.
  4. Après les modifications, exécutez scripts/validate_ui_schema.ts (structure) et scripts/validate_shot_readiness.ts (chaque plan a un titre, une description et une durée raisonnable) avant la génération.
  5. Exportez un concept lisible + liste de plans avec scripts/export_story_bible.ts pour la transmission.

Règles Opérationnelles Créatives

  • Pur visuel. N'ajoutez jamais d'audio de dialogue, de TTS narratif ou de sous-titres/paroles incrustés. Le seul audio est la chanson elle-même.
  • Gardez simple. Le plan est simplement une description de scène + personnages + durée + image + vidéo. N'ajoutez pas de fiches de spécifications de caméra, de taxonomies de section de chanson, de chronologies de paroles ou de règles strictes de couverture temporelle.
  • Rythmez sur la musique. Adaptez la durée des plans à la chanson — les moments rapides sont courts (4-6s), les plans d'établissement/héro/montage sont plus longs (8-12s). Un seul plan généré par IA doit durer 4, 5, 6, 8, 10 ou 12 secondes et ne jamais dépasser 12s. (Les clips téléchargés peuvent avoir n'importe quelle durée.)
  • Deux façons de remplir un plan. L'image et la vidéo de chaque plan peuvent être générées ou téléchargées — les deux s'ajoutent comme candidats non destructifs et l'utilisateur choisit l'actif actif. Respectez ce que l'utilisateur veut ; n'écrasez pas un actif téléchargé en régénérant.
  • Cohérence des personnages via le vrai image-à-image. La génération d'image du storyboard alimente les images existantes des fiches de référence des personnages dans le point de terminaison /images/edits comme pixels d'entrée réels, pas seulement du texte. Si un personnage manque d'une fiche de référence générée, ce plan revient au texte-à-image et la ressemblance dérive — générez d'abord la fiche.
  • Générez dans l'ordre des dépendances : chanson téléchargée → concept rédigé → fiches de référence de la distribution → images du storyboard → vidéos brouillon des plans. La description du plan est le prompt d'image ; un negative_prompt et video_prompt optionnels affinent la génération.
  • Rendu photoréaliste MV (quand le réalisme est visé) : demandez des photogrammes de clip musical cinématographique, des lentilles réelles, du grain filmique ; interdisez les paroles/légendes/filigranes/UI à l'écran, le texte factice lisible, la peau plastique et les mains mal formées.

Génération de Chanson (capacité future)

La sélection/importation d'une chanson existante est le chemin pris en charge aujourd'hui. La création de la chanson elle-même — y compris le chant avec la voix clonée de l'utilisateur — est câblée comme une fonction documentée (POST /api/song-generate → scripts/gen_song.py), reflétant la division brouillon local / prod cloud utilisée pour la vidéo.

Backends locaux recommandés (Apple Silicon, sans cloud) :

  • SongGeneration v2 (Tencent) — poids MLX natifs mlx-community/SongGeneration-v2-large. Meilleur ajustement pour "本地 MLX 最好" ; même chemin de famille que la pile TTS/audio locale. Recommandation principale.
  • ACE-Step 1.5 — modèle local le plus fort, fonctionne sur Mac, <4GB, voix complètes + instruments, prend en charge le clonage de timbre par prompt audio et l'édition des paroles → le chemin pour "用我 clone 的声音创歌" (passez un clip de référence comme prompt de timbre).
  • YuE / DiffRhythm — alternatives chanson-complète-à-partir-de-paroles ; plus lourdes.

Mise en garde : cloner une voix chantée nécessite un clip de référence chanté ; un échantillon parlé clone bien le timbre mais pas la performance vocale. Pour activer la génération, installez un backend dans app/.data/song/venv, implémentez l'appel d'inférence dans scripts/gen_song.py, puis basculez draft_ready dans song-service.songConfigPayload().

Contrat de l'Application

L'application locale n'utilise que du JSON avec fichier de sauvegarde :

  • app/.data/project.json : espace de travail MV canonique (song, treatment = concept, characters, shots).
  • app/.data/image_config.json : configuration API d'image locale uniquement pour la génération du storyboard.
  • app/.data/song_config.json : configuration optionnelle du backend de génération de chanson locale uniquement.
  • app/.data/generated/songs/ : audio de chanson téléchargé (ou généré).
  • app/.data/generated/storyboards/, .../references/, .../videos/ : images et vidéos de plans générées ou téléchargées.
  • app/.data/agent.lock : verrou d'écriture temporaire.

L'application ne doit pas appeler de modèles externes gratuitement, publier de fichiers, envoyer de messages ou modifier des systèmes externes au-delà de la génération d'image/vidéo configurée que l'utilisateur déclenche. La compétence peut préparer ou exécuter d'autres actions uniquement après que l'utilisateur le demande.

Quand Lire les Références

  • Lisez references/mv-workflow.md lors de la conception ou de l'amélioration d'un concept MV, d'une bibliothèque de distribution, d'un découpage de plans ou d'un flux de prompts d'image/vidéo.
  • Lisez references/ui-schema.md lors de la modification des fichiers de l'application, de la génération de JSON de projet ou de la validation des données.

Commandes Utiles

skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts

Exécutez validate_shot_readiness.ts (optionnellement --strict) avant une passe de génération d'image/vidéo. Utilisez des chemins relatifs à la racine du dépôt de compétences, ou exécutez les scripts depuis skills/kelly-mv.

Skills associés