geração-de-vídeo

Habilidade de Geração de Vídeo

Visão Geral

Esta habilidade gera vídeos de alta qualidade usando prompts estruturados e um script Python. O fluxo de trabalho inclui a criação de prompts em formato JSON e a execução da geração de vídeo com imagem de referência opcional.

Capacidades Principais

• Criar prompts JSON estruturados para geração de vídeo AIGC
• Suportar imagem de referência como guia ou como primeiro/último quadro do vídeo
• Gerar vídeos através da execução automatizada de script Python

Fluxo de Trabalho

Passo 1: Entender os Requisitos

Quando um usuário solicitar geração de vídeo, identifique:

• Assunto/conteúdo: O que deve estar na imagem
• Preferências de estilo: Estilo artístico, clima, paleta de cores
• Especificações técnicas: Proporção de aspecto, composição, iluminação
• Imagem de referência: Qualquer imagem para guiar a geração
• Não é necessário verificar a pasta em /mnt/user-data

Passo 2: Criar Prompt Estruturado

Gere um arquivo JSON estruturado em /mnt/user-data/workspace/ com o padrão de nomenclatura: {nome-descritivo}.json

Passo 3: Criar Imagem de Referência (Opcional, quando a habilidade de geração de imagem estiver disponível)

Gere uma imagem de referência para a geração do vídeo.

• Se apenas 1 imagem for fornecida, use-a como o quadro guia do vídeo

Passo 3: Executar a Geração

Chame o script Python:

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/arquivo-prompt.json \
  --reference-images /caminho/para/ref1.jpg \
  --output-file /mnt/user-data/outputs/video-gerado.mp4 \
  --aspect-ratio 16:9

Parâmetros:

• --prompt-file: Caminho absoluto para o arquivo JSON de prompt (obrigatório)
• --reference-images: Caminhos absolutos para a imagem de referência (opcional)
• --output-file: Caminho absoluto para o arquivo de vídeo de saída (obrigatório)
• --aspect-ratio: Proporção de aspecto do vídeo gerado (opcional, padrão: 16:9)

[!NOTA] NÃO leia o arquivo Python; apenas chame-o com os parâmetros.

Exemplo de Geração de Vídeo

Solicitação do usuário: "Gere um pequeno clipe de vídeo representando a cena de abertura de 'As Crônicas de Nárnia: O Leão, a Feiticeira e o Guarda-Roupa'"

Passo 1: Pesquise a cena de abertura de "As Crônicas de Nárnia: O Leão, a Feiticeira e o Guarda-Roupa" online

Passo 2: Crie um arquivo de prompt JSON com o seguinte conteúdo:

{
  "title": "As Crônicas de Nárnia - Despedida na Estação de Trem",
  "background": {
    "description": "Cena de evacuação da Segunda Guerra Mundial em uma estação de trem lotada de Londres. Vapor e fumaça preenchem o ar enquanto crianças são enviadas para o campo para escapar do Blitz.",
    "era": "Grã-Bretanha da década de 1940 durante a guerra",
    "location": "Plataforma da estação ferroviária de Londres"
  },
  "characters": ["Sra. Pevensie", "Lucy Pevensie"],
  "camera": {
    "type": "Close-up em dupla",
    "movement": "Estático com movimento sutil de mão",
    "angle": "Visão de perfil, enquadramento íntimo",
    "focus": "Ambos os rostos focados, fundo com bokeh suave"
  },
  "dialogue": [
    {
      "character": "Sra. Pevensie",
      "text": "Você precisa ser corajosa por mim, querida. Eu voltarei para buscá-la... Eu prometo."
    },
    {
      "character": "Lucy Pevensie",
      "text": "Eu serei, mamãe. Eu prometo."
    }
  ],
  "audio": [
    {
      "type": "Apito de trem soa (sinalizando partida)",
      "volume": 1
    },
    {
      "type": "Cordas se intensificam emocionalmente, depois desaparecem",
      "volume": 0.5
    },
    {
      "type": "Som ambiente da estação de trem",
      "volume": 0.5
    }
  ]
}

Passo 3: Use a habilidade de geração de imagem para gerar a imagem de referência

Carregue a habilidade de geração de imagem e gere uma única imagem de referência narnia-farewell-scene-01.jpg de acordo com a habilidade.

Passo 4: Use o script generate.py para gerar o vídeo

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/narnia-farewell-scene.json \
  --reference-images /mnt/user-data/outputs/narnia-farewell-scene-01.jpg \
  --output-file /mnt/user-data/outputs/narnia-farewell-scene-01.mp4 \
  --aspect-ratio 16:9

NÃO leia o arquivo Python; apenas chame-o com os parâmetros.

Manipulação da Saída

Após a geração:

• Os vídeos são normalmente salvos em /mnt/user-data/outputs/
• Compartilhe os vídeos gerados (primeiro) com o usuário, bem como a imagem gerada, se aplicável, usando a ferramenta present_files
• Forneça uma breve descrição do resultado da geração
• Ofereça-se para iterar se forem necessários ajustes

Notas

• Sempre use inglês para os prompts, independentemente do idioma do usuário
• O formato JSON garante prompts estruturados e analisáveis
• A imagem de referência melhora significativamente a qualidade da geração
• O refinamento iterativo é normal para obter resultados ideais

Provedores (Gemini / MiniMax)

Selecionado automaticamente por variáveis de ambiente (CLI inalterada):

• GEMINI_API_KEY definida → Gemini Veo (padrão, inalterado).
• Apenas MINIMAX_API_KEY definida → MiniMax vídeo (/v1/video_generation, polling/download assíncrono em 3 etapas).
• Forçar com VIDEO_GENERATION_PROVIDER=gemini|minimax.

Substituições do MiniMax: MINIMAX_API_HOST (padrão https://api.minimaxi.com), MINIMAX_VIDEO_MODEL (padrão MiniMax-Hailuo-2.3). A primeira imagem de referência é usada como first_frame_image do MiniMax. O MiniMax ignora --aspect-ratio (usa resolução/duração).