Communitygithub.com

mr-kelly/skills

Habilidades de agente por mr-kelly

O que é skills?

Esta skill transforma o workspace do usuário em um estúdio criativo de videoclipes musicais (MV). Ela atua como um produtor criativo: raciocina sobre o conceito, rascunha storyboards, valida a estrutura do projeto, exporta resumos executivos e prepara prompts para geração de imagens e vídeos com IA. O foco é puramente visual, sem narração, diálogos ou legendas – a única faixa de áudio é a música. A skill gerencia quatro áreas principais: Conceito (sumário visual), Música (upload de MP3), Elenco (personagens com cartões de referência) e Storyboard (sequência de planos com descrição, duração e mídia). Cada plano pode ter imagem e vídeo gerados por IA ou enviados pelo usuário, preservando a consistência dos personagens através de image-to-image a partir dos cartões de referência. A skill opera localmente, lê e escreve apenas arquivos JSON no diretório do projeto, e oferece scripts para validação e exportação. É compatível com qualquer agente que suporte execução de scripts e chamadas a APIs locais (como Claude Code, Cursor, Codex, etc.), funcionando como um ambiente colaborativo humano-agente para produção de videoclipes.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add mr-kelly/skills

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Prévia

Do README da skill

skills preview
skills preview
skills preview
skills preview

Documentação

Kelly MV

Capturas de Tela da Interface

Ideia Central

Use esta skill como um espaço de trabalho criativo para videoclipes musicais. O app é a superfície de edição humana; a skill é a produtora criativa: ela raciocina, rascunha, valida, exporta e prepara prompts de geração com IA. O app apenas lê e escreve arquivos locais do projeto.

Um MV aqui é pura imagem — sem narração, sem diálogo, sem letras na tela. O trabalho é simples: pegar um MP3 existente e dar a ele visuais. O vídeo final são os planos do storyboard reproduzidos em ordem sobre a música. (Para drama com voz/diálogo, use kelly-drama — esse é o trabalho dela).

O app tem exatamente quatro áreas: Conceito, Música, Elenco, Storyboard. Mantenha essa simplicidade — não reintroduza seções de música, grade de linha do tempo ou grandes planilhas de produção por plano.

Use o app local para trabalho criativo contínuo. Use o modo apenas chat somente quando o usuário pedir explicitamente por "apenas chat", "sem UI", "纯聊天", ou similar.

Fluxo Padrão

  1. Inicie ou reutilize o app local com app/start.sh (padrão 127.0.0.1:3041; respeita KELLY_MV_UI_PORT).
  2. Verifique app/.data/project.json. Se estiver faltando, o servidor insere o projeto inicial incluído (um MV de exemplo 静夜思). Você também pode reinserir com scripts/create_sample_project.ts.
  3. Use o app, seguindo o próximo passo da barra lateral:
    • Conceito: resumo de uma linha do que o MV é e sua tonalidade, um visual look de uma linha e a proporção de aspecto. Só isso.
    • Música: faça upload de um MP3. A duração é lida automaticamente. Título/artista opcionais. Nada mais.
    • Elenco: as pessoas na tela. ID estável, papel, notas visuais de três vistas, guarda-roupa, âncoras, proibições de desvio e uma imagem do cartão de referência do personagem. Gere cartões de referência antes do trabalho de storyboard quando a consistência for importante. Sem perfis de voz (MV puramente visual). Mesmo modelo do kelly-drama.
    • Storyboard: uma lista ordenada de planos. Cada plano tem uma descrição da cena, personagens na tela, uma duração e uma imagem + um vídeo. A imagem e o vídeo podem ser gerados por IA (image-to-image a partir dos cartões de personagem; vídeo rascunho via LTX local) ou enviados pelo usuário.
  4. Após edições, execute scripts/validate_ui_schema.ts (estrutura) e scripts/validate_shot_readiness.ts (cada plano tem título, descrição e duração adequada) antes de gerar.
  5. Exporte um conceito legível + lista de planos com scripts/export_story_bible.ts para entrega.

Regras Operacionais Criativas

  • Puramente visual. Nunca adicione áudio de diálogo, TTS de narração ou legendas/letras queimadas na tela. O único áudio é a própria música.
  • Mantenha a simplicidade. O plano é apenas uma descrição de cena + personagens + duração + imagem + vídeo. Não adicione planilhas de especificações de câmera, taxonomias de seções de música, linhas do tempo de letras ou regras estritas de cobertura de linha do tempo.
  • Marque o ritmo da música. Corte a duração dos planos de acordo com a música — momentos rápidos duram pouco (4–6s), estabelecimento/herói/montagem duram mais (8–12s). Um único plano gerado por IA deve ter 4, 5, 6, 8, 10 ou 12 segundos e nunca exceder 12s. (Clipes enviados podem ter qualquer duração.)
  • Duas formas de preencher um plano. A imagem e o vídeo de cada plano podem ser gerados ou enviados — ambos são adicionados como candidatos não destrutivos e o usuário escolhe o ativo. Respeite o que o usuário quer; não sobrescreva um ativo enviado regenerando-o.
  • Consistência de personagens via image-to-image real. A geração de imagem do storyboard alimenta as imagens dos cartões de referência de personagem existentes para o endpoint de imagem /images/edits como pixels de entrada reais, não apenas texto. Se um personagem não tiver um cartão de referência gerado, aquele plano cai para text-to-image e a semelhança se desvia — gere o cartão primeiro.
  • Gere na ordem de dependência: música enviada → conceito escrito → cartões de referência do elenco → imagens do storyboard → vídeos rascunho dos planos. A description do plano é o prompt da imagem; um negative_prompt e video_prompt opcionais refinam a geração.
  • Visual fotorealista de MV (quando o realismo é o alvo): solicite stills cinematográficos de videoclipe, lentes reais, granulado fílmico; proíba letras/legendas/marcas d'água/UI na tela, texto falso legível, pele plástica e mãos malformadas.

Geração de Música (capacidade futura)

Selecionar/importar uma música existente é o caminho suportado hoje. Criar a própria música — incluindo cantar com a voz clonada do usuário — está implementado como um stub documentado (POST /api/song-generate → scripts/gen_song.py), espelhando a divisão rascunho local / produção em nuvem usada para vídeo.

Backends locais recomendados (Apple Silicon, sem nuvem):

  • SongGeneration v2 (Tencent) — pesos nativos MLX mlx-community/SongGeneration-v2-large. Melhor ajuste para "本地 MLX 最好"; mesmo caminho de família da pilha local de TTS/áudio. Recomendação principal.
  • ACE-Step 1.5 — modelo local mais forte, roda em Mac, <4GB, vocais completos + instrumentos, suporta clonagem de timbre por prompt de áudio e edição de letras → o caminho para "用我 clone 的声音创歌" (passe um clipe de referência como prompt de timbre).
  • YuE / DiffRhythm — alternativas de música completa a partir de letras; mais pesadas.

Ressalva: clonar uma voz cantada precisa de um clipe de referência cantado; uma amostra falada clona o timbre mas não o desempenho vocal bem. Para habilitar a geração, instale um backend em app/.data/song/venv, implemente a chamada de inferência em scripts/gen_song.py, depois altere draft_ready em song-service.songConfigPayload().

Contrato do App

O app local usa apenas JSON baseado em arquivo:

  • app/.data/project.json: workspace canônico do MV (song, treatment = conceito, characters, shots).
  • app/.data/image_config.json: configuração local da API de imagem para geração de storyboard.
  • app/.data/song_config.json: configuração opcional local do backend de geração de música.
  • app/.data/generated/songs/: áudio de música enviado (ou gerado).
  • app/.data/generated/storyboards/, .../references/, .../videos/: imagens e vídeos de planos gerados ou enviados.
  • app/.data/agent.lock: trava de escrita temporária.

O app não deve chamar modelos externos gratuitamente, publicar arquivos, enviar mensagens ou modificar sistemas externos além da geração de imagem/vídeo configurada que o usuário dispara. A skill pode preparar ou executar outras ações somente após o usuário pedir.

Quando Ler as Referências

  • Leia references/mv-workflow.md ao projetar ou melhorar um conceito de MV, biblioteca de elenco, detalhamento de planos ou fluxo de prompts de imagem/vídeo.
  • Leia references/ui-schema.md ao editar arquivos do app, gerar JSON do projeto ou validar dados.

Comandos Úteis

skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts

Execute validate_shot_readiness.ts (opcionalmente --strict) antes de uma passagem de geração de imagem/vídeo. Use caminhos relativos à raiz do repositório de habilidades, ou execute os scripts de dentro de skills/kelly-mv.

Habilidades Relacionadas