H3 Video：Fluxo Completo de Curta-Metragem com IA
Este fluxo foi desenvolvido a partir da experiência de retrabalho em várias produções reais. A ideia central é: planejar primeiro, validar cada etapa e, se algo der errado, corrigir apenas a camada afetada.
Fluxo Geral (em ordem, sem pular etapas)
| Etapa | O que fazer | Ponto de Verificação |
|---|---|---|
| 0 | Pesquisa: Primeiro, estude obras similares de sucesso e as abordagens dos outros; anote as técnicas. | — |
| 1 | Escrever o planejamento: tom e estilo, tabela de falas, segmentação, lista de geração (modelo em templates/planejamento.md) | Usuário confirma o planejamento |
| 2 | Dublagem: Narração e voz em off com TTS separado; meça a duração real | Usuário ouve e confirma o timbre |
| 3 | Modelos de personagens: Uma foto de corpo inteiro de cada personagem, no mundo da história | Usuário confirma o modelo |
| 4 | Primeiro quadro: Um por segmento, apenas no início da ação | Usuário deve confirmar o primeiro quadro antes de gerar vídeo |
| 5 | Geração: Use as configurações mais rápidas para um rascunho inicial | — |
| 6 | Verificação de fala por frase, verificação de olhar, verificação de emenda | Se erro, refaça apenas aquele segmento |
| 7 | Upscaling, legendas, loudness, capa | Usuário aprova |
| 8 | Revisão: Avalie cada item da lista de "abordagens a verificar" do planejamento e registre os aprendizados na base de conhecimento | — |
Sete Regras Rígidas
- O estilo deve servir ao tom da história. Antes de desenhar qualquer coisa, escreva a seção "Tom e Estilo": fontes de luz e escuridão, paleta de cores, roupas (novas/velhas/sujas), expressões, atmosfera de fundo. Os modelos também são criados neste mundo, sem fundo cinza de estúdio. Cada imagem deve responder primeiro: "Ela pertence a esta história?" antes de verificar os detalhes. O erro mais comum é uma história sombria com rostos de ídolos limpos e bonitos.
- Uma geração tem apenas uma fonte de som. Narração e voz em off nunca entram no H3; caso contrário, os personagens na tela sincronizarão os lábios com a narração, mesmo com o prompt "boca fechada". Para segmentos de narração, gere vídeo sem falas e sobreponha o áudio na pós-produção.
- Personagens presentes mas sem falas: Não forneça falas durante a geração; se um falante precisar ficar oculto, filme de costas ou ombro.
- A tabela de falas é a única fonte da verdade. Cada linha deve registrar: tipo (diálogo/voz em off), falante, para quem olha, texto original. Estime cerca de 3 caracteres/segundo; cada frase deve terminar dentro do seu segmento. Etapas posteriores não podem alterar a tabela de falas.
- Olhar: O falante olha para o ouvinte; o ouvinte olha para o falante. Especifique no prompt de cada linha quem olha para quem.
- Se o primeiro quadro tiver erro, refaça o primeiro quadro, não tente corrigir com prompt. Ao verificar, amplie para a resolução original e examine mãos, olhos, boca, adereços e objetos extras.
- Não entregue sem verificar a fala de cada frase. Para cada linha de fala, extraia uma grade densa de quadros do intervalo de tempo (
scripts/speaker_grid.py) e responda apenas a uma pergunta fechada: "A boca de quem está se movendo: A / B / Ambos / Nenhum". Em seguida, compare com a tabela de falas. Amostrar apenas 4 quadros esparsos pode resultar em falhas.
Princípios de Geração e Retrabalho
- Primeiro rascunho, depois upscaling: Use a resolução mais rápida para gerar vídeos; após a confirmação, faça o upscaling apenas das versões aprovadas.
- Falha primeiro, identifique a causa: Determine se o problema está no prompt, no primeiro quadro, no script ou na pós-produção; depois decida qual camada corrigir. Se o mesmo erro ocorrer em vários segmentos, corrija a referência compartilhada (modelo); se for apenas um segmento, corrija apenas ele; altere um item por vez.
- Escreva prompts de forma positiva, sem acumular "não...". Para evitar algo, corrija a entrada (primeiro quadro, modelo).
- Registre o primeiro quadro, modelo, semente e prompt usados em cada segmento, facilitando refazer apenas um segmento.
- Teste de 2 segundos no início: Olhe apenas os primeiros 2 segundos; o público precisa saber o que está vendo.
Referências
references/detalhes_licoes.md: Passo a passo de cada etapa e erros cometidos.references/nos_comfyui_parametros.md: Nós e parâmetros do Qwen-Image para modelos, Qwen-Image-Edit para edição de imagem, VoxCPM2 para clonagem de voz, H3 Ref2VA, além de soluções para falhas conhecidas.references/pesquisa_pipelines_abertos.md: Comparação de 9 projetos de vídeo com IA de código aberto; quais valem a pena adotar e quais não.templates/planejamento.md: Modelo de documento de planejamento, incluindo tabela de falas e lista de verificação.
Scripts
Todos os scripts se conectam ao ComfyUI através da variável de ambiente COMFY_URL (padrão http://127.0.0.1:8188). Consulte scripts/README.md para uso.
| Script | Função |
|---|---|
t2i_masters.py | Gera modelos de personagens em lote com Qwen-Image (prefixo de estilo + descrição de cada um) |
edit_image.py | Edita partes específicas de uma imagem com Qwen-Image-Edit, mantendo o resto inalterado |
voice_design.py | Projeta vozes de personagens com VoxCPM2 descritas em texto; gera duas amostras A/B para cada um |
tts_clone.py | Clona timbre de voz com VoxCPM2 usando um trecho de referência; gera narrações em lote |
h3_ref2va.py | Monta e submete o workflow H3 Ref2VA (imagem de referência, áudio de referência, âncora do primeiro quadro) |
wait_download.py | Aguarda o término da tarefa e baixa todas as saídas |
ws_progress.py | Exibe o progresso da tarefa (requer o client_id usado na submissão) |
asr.py | Transcrição com faster-whisper para verificar se a dublagem está idêntica ao texto |
speaker_grid.py | Extrai uma grade densa de quadros por frase da tabela de falas para verificação de fala |
upscale_video.py | Aumenta a resolução do vídeo quadro a quadro com RealESRGAN |
post_subtitle_loud.py | Queima legendas + aplica loudnorm duplo para -14 LUFS |
make_cover.py | Gera capas nos formatos 3:4 e 9:16 |