Que fait Kelly MV ?
Captures d'écran de l'interface
Idée Principale
Utilisez cette compétence comme un espace de travail créatif pour clips musicaux. L'application est la surface d'édition humaine ; la compétence est le producteur créatif : elle raisonne, rédige, valide, exporte et prépare les prompts de génération IA. L'application ne fait que lire et écrire des fichiers locaux du projet.
Un MV ici est pure image — pas de voix off, pas de dialogue, pas de paroles à l'écran. Le travail est simple : prendre un MP3 existant et lui donner des visuels. La vidéo finale est la séquence des plans du storyboard joués dans l'ordre sur la chanson. (Pour un drame avec voix/dialogue, utilisez kelly-drama — c'est son rôle.)
L'application a exactement quatre zones : Concept, Chanson, Distribution, Storyboard. Gardez cela simple — ne réintroduisez pas de sections de chanson, de tuilage temporel ou de grandes feuilles de production par plan.
Par défaut, utilisez l'application locale pour le travail créatif en cours. Utilisez le mode chat uniquement lorsque l'utilisateur demande explicitement "chat only", "no UI", "纯聊天" ou similaire.
Flux par Défaut
- Démarrez ou réutilisez l'application locale avec
app/start.sh(par défaut sur127.0.0.1:3041; respecteKELLY_MV_UI_PORT). - Vérifiez
app/.data/project.json. S'il est manquant, le serveur initialise le projet de démarrage fourni (un exemple de MV 静夜思). Vous pouvez aussi le réinitialiser avecscripts/create_sample_project.ts. - Utilisez l'application en suivant l'étape suivante dans la barre latérale :
- Concept : résumé d'une ligne de ce qu'est le MV et sa tonalité, un
lookvisuel d'une ligne, et le rapport d'aspect. C'est tout. - Chanson : téléchargez un MP3. La durée est lue automatiquement. Titre/artiste optionnels. Rien d'autre.
- Distribution : les personnes à l'écran. Identifiant stable, rôle, notes visuelles sous trois angles, garde-robe, ancres, dérive interdite, et une image de fiche de référence du personnage. Générez les fiches de référence avant le travail sur le storyboard lorsque la cohérence compte. Pas de profils vocaux (MV purement visuel). Même modèle que kelly-drama.
- Storyboard : une liste ordonnée de plans. Chaque plan a une description de scène, des personnages à l'écran, une durée, et une image + une vidéo. L'image et la vidéo peuvent chacune être générées par IA (image-à-image à partir des fiches personnages ; vidéo brouillon via LTX local) ou téléchargées par l'utilisateur.
- Concept : résumé d'une ligne de ce qu'est le MV et sa tonalité, un
- Après les modifications, exécutez
scripts/validate_ui_schema.ts(structure) etscripts/validate_shot_readiness.ts(chaque plan a un titre, une description et une durée raisonnable) avant la génération. - Exportez un concept lisible + liste de plans avec
scripts/export_story_bible.tspour la transmission.
Règles Opérationnelles Créatives
- Pur visuel. N'ajoutez jamais d'audio de dialogue, de TTS narratif ou de sous-titres/paroles incrustés. Le seul audio est la chanson elle-même.
- Gardez simple. Le plan est simplement une description de scène + personnages + durée + image + vidéo. N'ajoutez pas de fiches de spécifications de caméra, de taxonomies de section de chanson, de chronologies de paroles ou de règles strictes de couverture temporelle.
- Rythmez sur la musique. Adaptez la durée des plans à la chanson — les moments rapides sont courts (4-6s), les plans d'établissement/héro/montage sont plus longs (8-12s). Un seul plan généré par IA doit durer 4, 5, 6, 8, 10 ou 12 secondes et ne jamais dépasser 12s. (Les clips téléchargés peuvent avoir n'importe quelle durée.)
- Deux façons de remplir un plan. L'image et la vidéo de chaque plan peuvent être générées ou téléchargées — les deux s'ajoutent comme candidats non destructifs et l'utilisateur choisit l'actif actif. Respectez ce que l'utilisateur veut ; n'écrasez pas un actif téléchargé en régénérant.
- Cohérence des personnages via le vrai image-à-image. La génération d'image du storyboard alimente les images existantes des fiches de référence des personnages dans le point de terminaison
/images/editscomme pixels d'entrée réels, pas seulement du texte. Si un personnage manque d'une fiche de référence générée, ce plan revient au texte-à-image et la ressemblance dérive — générez d'abord la fiche. - Générez dans l'ordre des dépendances : chanson téléchargée → concept rédigé → fiches de référence de la distribution → images du storyboard → vidéos brouillon des plans. La
descriptiondu plan est le prompt d'image ; unnegative_promptetvideo_promptoptionnels affinent la génération. - Rendu photoréaliste MV (quand le réalisme est visé) : demandez des photogrammes de clip musical cinématographique, des lentilles réelles, du grain filmique ; interdisez les paroles/légendes/filigranes/UI à l'écran, le texte factice lisible, la peau plastique et les mains mal formées.
Génération de Chanson (capacité future)
La sélection/importation d'une chanson existante est le chemin pris en charge aujourd'hui. La création de la chanson elle-même — y compris le chant avec la voix clonée de l'utilisateur — est câblée comme une fonction documentée (POST /api/song-generate → scripts/gen_song.py), reflétant la division brouillon local / prod cloud utilisée pour la vidéo.
Backends locaux recommandés (Apple Silicon, sans cloud) :
- SongGeneration v2 (Tencent) — poids MLX natifs
mlx-community/SongGeneration-v2-large. Meilleur ajustement pour "本地 MLX 最好" ; même chemin de famille que la pile TTS/audio locale. Recommandation principale. - ACE-Step 1.5 — modèle local le plus fort, fonctionne sur Mac, <4GB, voix complètes + instruments, prend en charge le clonage de timbre par prompt audio et l'édition des paroles → le chemin pour "用我 clone 的声音创歌" (passez un clip de référence comme prompt de timbre).
- YuE / DiffRhythm — alternatives chanson-complète-à-partir-de-paroles ; plus lourdes.
Mise en garde : cloner une voix chantée nécessite un clip de référence chanté ; un échantillon parlé clone bien le timbre mais pas la performance vocale. Pour activer la génération, installez un backend dans app/.data/song/venv, implémentez l'appel d'inférence dans scripts/gen_song.py, puis basculez draft_ready dans song-service.songConfigPayload().
Contrat de l'Application
L'application locale n'utilise que du JSON avec fichier de sauvegarde :
app/.data/project.json: espace de travail MV canonique (song,treatment= concept,characters,shots).app/.data/image_config.json: configuration API d'image locale uniquement pour la génération du storyboard.app/.data/song_config.json: configuration optionnelle du backend de génération de chanson locale uniquement.app/.data/generated/songs/: audio de chanson téléchargé (ou généré).app/.data/generated/storyboards/,.../references/,.../videos/: images et vidéos de plans générées ou téléchargées.app/.data/agent.lock: verrou d'écriture temporaire.
L'application ne doit pas appeler de modèles externes gratuitement, publier de fichiers, envoyer de messages ou modifier des systèmes externes au-delà de la génération d'image/vidéo configurée que l'utilisateur déclenche. La compétence peut préparer ou exécuter d'autres actions uniquement après que l'utilisateur le demande.
Quand Lire les Références
- Lisez
references/mv-workflow.mdlors de la conception ou de l'amélioration d'un concept MV, d'une bibliothèque de distribution, d'un découpage de plans ou d'un flux de prompts d'image/vidéo. - Lisez
references/ui-schema.mdlors de la modification des fichiers de l'application, de la génération de JSON de projet ou de la validation des données.
Commandes Utiles
skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts
Exécutez validate_shot_readiness.ts (optionnellement --strict) avant une passe de génération d'image/vidéo. Utilisez des chemins relatifs à la racine du dépôt de compétences, ou exécutez les scripts depuis skills/kelly-mv.



