Kelly MV
Capturas de Tela da Interface
Ideia Central
Use esta skill como um espaço de trabalho criativo para videoclipes musicais. O app é a superfície de edição humana; a skill é a produtora criativa: ela raciocina, rascunha, valida, exporta e prepara prompts de geração com IA. O app apenas lê e escreve arquivos locais do projeto.
Um MV aqui é pura imagem — sem narração, sem diálogo, sem letras na tela. O trabalho é simples: pegar um MP3 existente e dar a ele visuais. O vídeo final são os planos do storyboard reproduzidos em ordem sobre a música. (Para drama com voz/diálogo, use kelly-drama — esse é o trabalho dela).
O app tem exatamente quatro áreas: Conceito, Música, Elenco, Storyboard. Mantenha essa simplicidade — não reintroduza seções de música, grade de linha do tempo ou grandes planilhas de produção por plano.
Use o app local para trabalho criativo contínuo. Use o modo apenas chat somente quando o usuário pedir explicitamente por "apenas chat", "sem UI", "纯聊天", ou similar.
Fluxo Padrão
- Inicie ou reutilize o app local com
app/start.sh(padrão127.0.0.1:3041; respeitaKELLY_MV_UI_PORT). - Verifique
app/.data/project.json. Se estiver faltando, o servidor insere o projeto inicial incluído (um MV de exemplo 静夜思). Você também pode reinserir comscripts/create_sample_project.ts. - Use o app, seguindo o próximo passo da barra lateral:
- Conceito: resumo de uma linha do que o MV é e sua tonalidade, um
visual lookde uma linha e a proporção de aspecto. Só isso. - Música: faça upload de um MP3. A duração é lida automaticamente. Título/artista opcionais. Nada mais.
- Elenco: as pessoas na tela. ID estável, papel, notas visuais de três vistas, guarda-roupa, âncoras, proibições de desvio e uma imagem do cartão de referência do personagem. Gere cartões de referência antes do trabalho de storyboard quando a consistência for importante. Sem perfis de voz (MV puramente visual). Mesmo modelo do kelly-drama.
- Storyboard: uma lista ordenada de planos. Cada plano tem uma descrição da cena, personagens na tela, uma duração e uma imagem + um vídeo. A imagem e o vídeo podem ser gerados por IA (image-to-image a partir dos cartões de personagem; vídeo rascunho via LTX local) ou enviados pelo usuário.
- Conceito: resumo de uma linha do que o MV é e sua tonalidade, um
- Após edições, execute
scripts/validate_ui_schema.ts(estrutura) escripts/validate_shot_readiness.ts(cada plano tem título, descrição e duração adequada) antes de gerar. - Exporte um conceito legível + lista de planos com
scripts/export_story_bible.tspara entrega.
Regras Operacionais Criativas
- Puramente visual. Nunca adicione áudio de diálogo, TTS de narração ou legendas/letras queimadas na tela. O único áudio é a própria música.
- Mantenha a simplicidade. O plano é apenas uma descrição de cena + personagens + duração + imagem + vídeo. Não adicione planilhas de especificações de câmera, taxonomias de seções de música, linhas do tempo de letras ou regras estritas de cobertura de linha do tempo.
- Marque o ritmo da música. Corte a duração dos planos de acordo com a música — momentos rápidos duram pouco (4–6s), estabelecimento/herói/montagem duram mais (8–12s). Um único plano gerado por IA deve ter 4, 5, 6, 8, 10 ou 12 segundos e nunca exceder 12s. (Clipes enviados podem ter qualquer duração.)
- Duas formas de preencher um plano. A imagem e o vídeo de cada plano podem ser gerados ou enviados — ambos são adicionados como candidatos não destrutivos e o usuário escolhe o ativo. Respeite o que o usuário quer; não sobrescreva um ativo enviado regenerando-o.
- Consistência de personagens via image-to-image real. A geração de imagem do storyboard alimenta as imagens dos cartões de referência de personagem existentes para o endpoint de imagem
/images/editscomo pixels de entrada reais, não apenas texto. Se um personagem não tiver um cartão de referência gerado, aquele plano cai para text-to-image e a semelhança se desvia — gere o cartão primeiro. - Gere na ordem de dependência: música enviada → conceito escrito → cartões de referência do elenco → imagens do storyboard → vídeos rascunho dos planos. A
descriptiondo plano é o prompt da imagem; umnegative_promptevideo_promptopcionais refinam a geração. - Visual fotorealista de MV (quando o realismo é o alvo): solicite stills cinematográficos de videoclipe, lentes reais, granulado fílmico; proíba letras/legendas/marcas d'água/UI na tela, texto falso legível, pele plástica e mãos malformadas.
Geração de Música (capacidade futura)
Selecionar/importar uma música existente é o caminho suportado hoje. Criar a própria música — incluindo cantar com a voz clonada do usuário — está implementado como um stub documentado (POST /api/song-generate → scripts/gen_song.py), espelhando a divisão rascunho local / produção em nuvem usada para vídeo.
Backends locais recomendados (Apple Silicon, sem nuvem):
- SongGeneration v2 (Tencent) — pesos nativos MLX
mlx-community/SongGeneration-v2-large. Melhor ajuste para "本地 MLX 最好"; mesmo caminho de família da pilha local de TTS/áudio. Recomendação principal. - ACE-Step 1.5 — modelo local mais forte, roda em Mac, <4GB, vocais completos + instrumentos, suporta clonagem de timbre por prompt de áudio e edição de letras → o caminho para "用我 clone 的声音创歌" (passe um clipe de referência como prompt de timbre).
- YuE / DiffRhythm — alternativas de música completa a partir de letras; mais pesadas.
Ressalva: clonar uma voz cantada precisa de um clipe de referência cantado; uma amostra falada clona o timbre mas não o desempenho vocal bem. Para habilitar a geração, instale um backend em app/.data/song/venv, implemente a chamada de inferência em scripts/gen_song.py, depois altere draft_ready em song-service.songConfigPayload().
Contrato do App
O app local usa apenas JSON baseado em arquivo:
app/.data/project.json: workspace canônico do MV (song,treatment= conceito,characters,shots).app/.data/image_config.json: configuração local da API de imagem para geração de storyboard.app/.data/song_config.json: configuração opcional local do backend de geração de música.app/.data/generated/songs/: áudio de música enviado (ou gerado).app/.data/generated/storyboards/,.../references/,.../videos/: imagens e vídeos de planos gerados ou enviados.app/.data/agent.lock: trava de escrita temporária.
O app não deve chamar modelos externos gratuitamente, publicar arquivos, enviar mensagens ou modificar sistemas externos além da geração de imagem/vídeo configurada que o usuário dispara. A skill pode preparar ou executar outras ações somente após o usuário pedir.
Quando Ler as Referências
- Leia
references/mv-workflow.mdao projetar ou melhorar um conceito de MV, biblioteca de elenco, detalhamento de planos ou fluxo de prompts de imagem/vídeo. - Leia
references/ui-schema.mdao editar arquivos do app, gerar JSON do projeto ou validar dados.
Comandos Úteis
skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts
Execute validate_shot_readiness.ts (opcionalmente --strict) antes de uma passagem de geração de imagem/vídeo. Use caminhos relativos à raiz do repositório de habilidades, ou execute os scripts de dentro de skills/kelly-mv.



