Communitygithub.com

ComeOnOliver/skillshub

Pipeline de geração de vídeo com múltiplos planos e consistência facial. Converte roteiros ou ideias em vídeos completos usando extração de personagens, storyboard, geração de quadros e montagem de vídeo. 300 experimentos validados, melhoria de 70% na distância facial. Use quando o usuário pedir para criar um vídeo a partir de um roteiro, história, ideia, ou quiser um vídeo com múltiplos planos e personagens consistentes.

O que é skillshub?

Este skill implementa o ViMax, um pipeline completo de script-para-vídeo que gera vídeos com múltiplos planos e personagens consistentes, utilizando o HappyCapy AI Gateway como backend. Ele é projetado para desenvolvedores e criadores que desejam automatizar a produção de vídeos a partir de roteiros ou ideias curtas, garantindo que os rostos dos personagens permaneçam consistentes em todas as cenas. O pipeline lida com extração de personagens, geração de retratos (frente, lateral, costas), storyboard quadro a quadro, geração de imagens e vídeos via modelos como Gemini e Veo, e montagem final. Com mais de 300 experimentos validados, o ViMax oferece uma melhoria de 70% na distância facial em comparação com abordagens anteriores. Ele suporta tanto uso via linha de comando quanto integração programática via Python, e fornece guias detalhados para personalização e solução de problemas, incluindo o uso de fotos de referência reais.

Funciona com~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ComeOnOliver/skillshub/tree/HEAD/skills/happycapy-ai/Happycapy-skills/capy-video-gen-skill

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Habilidade de Geração de Vídeo Capy - Pipeline Script-para-Vídeo

Gere vídeos completos com múltiplos planos a partir de roteiros ou ideias, mantendo rostos consistentes em todas as cenas. Construído para o HappyCapy AI Gateway. 300 experimentos validados, melhoria de 70% na distância facial.

Visão Geral

O ViMax converte roteiros de texto em vídeos completos por meio de um pipeline automatizado:

  1. Extrair personagens do roteiro com características físicas detalhadas
  2. Gerar retratos frontal/lateral/costas dos personagens
  3. Projetar storyboard plano a plano
  4. Decompor cada plano em first_frame, last_frame e descrições de movimento
  5. Construir árvore de câmeras para relações entre planos
  6. Gerar quadros com seleção de imagem de referência (identidade facial como prioridade máxima)
  7. Gerar clipes de vídeo a partir dos quadros
  8. Concatenar em um vídeo final

Localização da Instalação

O código do pipeline ViMax está em: /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax/

Todos os comandos devem ser executados a partir deste diretório usando o venv:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax

Pré-requisitos

  • Variável de ambiente AI_GATEWAY_API_KEY (configurada automaticamente no HappyCapy)
  • Venv Python em .venv/ (já configurado)

Início Rápido

Script-para-Vídeo

Edite o script, os requisitos e o estilo no script de entrada e execute:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Ideia-para-Vídeo

Para gerar a partir de uma ideia breve (gera o script automaticamente primeiro):

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_idea2video.py

Uso Programático

import asyncio
from langchain.chat_models import init_chat_model
from tools.render_backend import RenderBackend
from utils.config_loader import load_config
from pipelines.script2video_pipeline import Script2VideoPipeline

config = load_config("configs/happycapy_script2video.yaml")
chat_model = init_chat_model(**config["chat_model"]["init_args"])
backend = RenderBackend.from_config(config)

pipeline = Script2VideoPipeline(
    chat_model=chat_model,
    image_generator=backend.image_generator,
    video_generator=backend.video_generator,
    working_dir=config["working_dir"],
)

# Executa o pipeline
asyncio.run(pipeline(
    script="Seu roteiro aqui...",
    user_requirement="No máximo 8 planos no total.",
    style="Cinematográfico, iluminação quente"
))

Pipelines

Script2VideoPipeline

  • Entrada: Um roteiro formatado com diálogos e descrições de cena
  • Saída: Vídeo concatenado em {working_dir}/final_video.mp4
  • Config: configs/happycapy_script2video.yaml

Idea2VideoPipeline

  • Entrada: Uma ideia/conceito breve (1-3 parágrafos)
  • Saída: Gera automaticamente um roteiro e depois produz o vídeo
  • Config: configs/happycapy_idea2video.yaml

Configuração

Configurações do HappyCapy em configs/happycapy_script2video.yaml:

chat_model:
  init_args:
    model: gpt-4.1
    model_provider: openai
    api_key: ${AI_GATEWAY_API_KEY}
    base_url: https://ai-gateway.happycapy.ai/api/v1/openai/v1

image_generator:
  class_path: tools.ImageGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/gemini-3.1-flash-image-preview

video_generator:
  class_path: tools.VideoGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/veo-3.1-generate-preview

working_dir: .working_dir/script2video

Componentes Principais

Agentes (Processamento de IA)

AgenteArquivoPropósito
CharacterExtractoragents/character_extractor.pyExtrair personagens com características estáticas/dinâmicas do roteiro
CharacterPortraitsGeneratoragents/character_portraits_generator.pyGerar retratos frontal/lateral/costas para cada personagem
StoryboardArtistagents/storyboard_artist.pyProjetar storyboard plano a plano com first/last frames e movimento
ReferenceImageSelectoragents/reference_image_selector.pySelecionar as melhores imagens de referência para cada quadro (identidade facial #1 prioridade)
CameraImageGeneratoragents/camera_image_generator.pyCriar árvores de câmera e gerar vídeos de transição
BestImageSelectoragents/best_image_selector.pySelecionar a melhor imagem gerada entre candidatas
Screenwriteragents/screenwriter.pyGerar roteiros a partir de ideias

Ferramentas (Backends de Geração)

FerramentaArquivoPropósito
ImageGeneratorHappyCapyAPItools/image_generator_happycapy_api.pyGeração de imagens via HappyCapy Gateway (Gemini)
VideoGeneratorHappyCapyAPItools/video_generator_happycapy_api.pyGeração de vídeo via HappyCapy Gateway (Veo)
RenderBackendtools/render_backend.pyFábrica para instanciar geradores a partir da configuração

Interfaces (Modelos de Dados)

  • CharacterInScene - Personagem com identificador, static_features, dynamic_features
  • ShotDescription - Plano com ff_desc, lf_desc, motion_desc, variation_type
  • Camera - Câmera com relacionamentos pai-filho
  • Frame - Quadro com shot_idx, frame_type, personagens visíveis
  • ImageOutput / VideoOutput - Saídas de geração com métodos de salvamento

Consistência de Identidade Facial (CRÍTICO)

Este pipeline inclui melhorias de identidade facial validadas em 257 experimentos (melhoria de 70% na distância facial, de 0.74 para 0.22):

Proteções Integradas

  1. Seletor de Imagem de Referência: Identidade facial é a prioridade #1 ao selecionar imagens de referência. O retrato frontal é sempre incluído quando o rosto de um personagem está visível.

  2. Retratos de Personagens: Prompts aprimorados geram detalhes críticos de identidade (formato exato do nariz, espaçamento dos olhos, linha do maxilar, marcas distintivas) para reconhecimento entre cenas.

  3. Travamento Facial no Prompt de Vídeo: Todo prompt de geração de vídeo é precedido por uma instrução de identidade facial exigindo que o rosto do personagem permaneça idêntico ao quadro inicial durante todo o clipe.

Melhores Práticas ao Usar o ViMax

  • Descrições de personagens hiperdetalhadas: Inclua etnia, idade, textura/estilo/cor do cabelo, formato dos olhos, pelos faciais, óculos, tom de pele, biotipo e marcas distintivas nas introduções de personagem do seu roteiro
  • Planos com close-up extremo: Inclua pelo menos um close-up extremo por personagem para ancorar a identidade
  • Iluminação consistente: Especifique iluminação semelhante em todas as cenas para evitar desvio facial
  • Fotos de referência fornecidas pelo usuário: Coloque fotos no diretório de trabalho e passe-as como character_portraits_registry para pular a geração de retratos por IA

O que NÃO Funciona

  • Engenharia de prompt complexa (morfagem de visemas, ancoragem de fonemas) não melhora a identidade facial
  • Prompts simples e diretos com descrições físicas detalhadas superam prompts engenhosos
  • Sincronização labial com áudio externo NÃO é possível (Veo gera seu próprio áudio interno)

Consulte FACE_IDENTITY_GUIDE.md no diretório ViMax para detalhes completos.

Estrutura de Saída

Após uma execução, o diretório de trabalho contém:

.working_dir/script2video/
  characters.json                      # Personagens extraídos
  character_portraits_registry.json    # Registro de caminhos de retratos
  character_portraits/                 # Retratos gerados
    0_NomeDoPersonagem/
      front.png
      side.png
      back.png
  storyboard.json                     # Descrições dos planos
  camera_tree.json                    # Relacionamentos de câmera
  shots/
    0/
      shot_description.json
      first_frame.png
      last_frame.png (se variação média/grande)
      video.mp4
    1/
      ...
  final_video.mp4                     # Saída final concatenada

Personalização

Usando Suas Próprias Fotos de Referência

Para usar fotos reais em vez de retratos gerados por IA:

# Construa um registro de retratos apontando para suas fotos
character_portraits_registry = {
    "Alice": {
        "front": {"path": "/caminho/para/alice_front.png", "description": "Vista frontal da Alice"},
        "side": {"path": "/caminho/para/alice_side.png", "description": "Vista lateral da Alice"},
        "back": {"path": "/caminho/para/alice_back.png", "description": "Vista traseira da Alice"},
    }
}

# Passe para o pipeline (pula a geração de retratos)
await pipeline(
    script=script,
    user_requirement=user_requirement,
    style=style,
    character_portraits_registry=character_portraits_registry,
)

Alterando Modelos

Edite a configuração YAML para usar modelos diferentes:

  • Imagem: google/gemini-3.1-flash-image-preview (recomendado para identidade facial)
  • Vídeo: google/veo-3.1-generate-preview (recomendado) ou openai/sora-2
  • Chat: gpt-4.1 (recomendado) ou qualquer modelo compatível com OpenAI

Solução de Problemas

"No module named 'tools'" ou erros de importação semelhantes

Execute a partir do diretório raiz do ViMax:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Erros de limite de taxa da API

Reduza max_requests_per_minute na configuração YAML.

Desvio de identidade facial nos vídeos gerados

  • Adicione mais detalhes físicos às descrições de personagens no seu roteiro
  • Use fotos de referência fornecidas pelo usuário em vez de retratos gerados por IA
  • Inclua planos com close-up extremo para personagens importantes
  • Mantenha a iluminação consistente em todas as cenas

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComeOnOliver/skillshub

Create stunning, animation-rich HTML presentations from scratch or by converting PowerPoint files. Use when the user wants to build a presentation, convert a PPT/PPTX to web, or create slides for a talk/pitch. Helps non-designers discover their aesthetic through visual exploration rather than abstract choices.

ComeOnOliver/skillshub

Next.js 16+ 和 Turbopack — 增量打包、文件系统缓存、开发速度,以及何时使用 Turbopack 与 webpack。

ComeOnOliver/skillshub

SwiftUI architecture patterns, state management with @Observable, view composition, navigation, performance optimization, and modern iOS/macOS UI best practices.

ComeOnOliver/skillshub

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio, video), and create real time alerts for events from live streams or desktop capture.

ComeOnOliver/skillshub

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

ComeOnOliver/skillshub

Next.js 15 애플리케이션을 위한 프론트엔드 개발 가이드라인. React 19, TypeScript, Shadcn/ui, Tailwind CSS를 사용한 모던 패턴. Server Components, Client Components, App Router, 파일 구조, Shadcn/ui 컴포넌트, 성능 최적화, TypeScript 모범 사례 포함. 컴포넌트, 페이지, 기능 생성, 데이터 페칭, 스타일링, 라우팅, 프론트엔드 코드 작업 시 사용.

ComeOnOliver/skillshub

Provides Tamagui patterns for config v4, compiler optimization, styled context, and cross-platform styling. Must use when working with Tamagui projects (tamagui.config.ts, @tamagui imports).

ComeOnOliver/skillshub

Create distinctive, production-grade frontend interfaces with high design quality. Use this skill when the user asks to build web components, pages, or applications. Generates creative, polished code that avoids generic AI aesthetics.

ComeOnOliver/skillshub

Create high-converting, visually distinctive landing pages. Use when building marketing pages, product launches, SaaS homepages, or any single-page conversion-focused website. Guides section-by-section composition with anti-AI-slop principles.

ComeOnOliver/skillshub

Auto-loaded context for Portfolio Buddy 2 development. Use for ANY task involving: React 19 development, TypeScript, portfolio analysis features, metrics calculations, trading strategy comparison, or working with the Portfolio Buddy 2 codebase. Contains tech stack, known issues, and architectural constraints.

ComeOnOliver/skillshub

Next.js development tooling via MCP. Inspect routes, components, build info, and debug Next.js apps. Use when working on Next.js applications, debugging routing, or inspecting app structure. NOT for general React or non-Next.js projects.

ComeOnOliver/skillshub

Implement UI using Shadcn MCP (atoms/theme) and 21st.dev MCP (complex sections). Use when adding buttons, layouts, or generating landing pages.

ComeOnOliver/skillshub

A conceptual skill for building an API client in Next.js that handles JWT tokens

ComeOnOliver/skillshub

Best practices and patterns for Next.js App Router, Server Actions, and Routing in this project.

ComeOnOliver/skillshub

The Design System, Theme, and UX rules for the Physical AI Hub.

ComeOnOliver/skillshub

Comprehensive frontend development skill for building modern, performant web applications using ReactJS, NextJS, TypeScript, Tailwind CSS. Includes component scaffolding, performance optimization, bundle analysis, and UI best practices. Use when developing frontend features, optimizing performance, implementing UI/UX designs, managing state, or reviewing frontend code.

ComeOnOliver/skillshub

This document captures learnings from fixing keyboard navigation issues when floating components (Select, DropdownMenu, Popover) have CSS open/close animations.

ComeOnOliver/skillshub

Build Next.js 16 applications with correct patterns and distinctive design. Use when creating pages, layouts, dynamic routes, upgrading from Next.js 15, or implementing proxy.ts. Covers breaking changes (async params/searchParams, Turbopack, cacheComponents) and frontend aesthetics. NOT when building non-React or backend-only applications.

ComeOnOliver/skillshub

Comprehensive Framer Motion animation library for React. Covers motion components, variants, gestures, page transitions, and scroll animations. Use when adding animations to React/Next.js applications.

ComeOnOliver/skillshub

Build interfaces that resonate, not just render. This skill enforces bold, intentional

Habilidades Relacionadas