Communitygithub.com

ComeOnOliver/skillshub

Pipeline de generación de video con múltiples tomas e inteligencia artificial que mantiene la identidad del rostro. Convierte guiones o ideas en videos completos mediante extracción de personajes, storyboard, generación de fotogramas y ensamblaje de video. 300 experimentos validados, mejora del 70% en distancia facial. Útil cuando el usuario pide crear un video a partir de un guión, historia, idea o desea un video de múltiples tomas con personajes consistentes.

¿Qué es skillshub?

ViMax es un pipeline automatizado de generación de video que transforma guiones o ideas en videos completos de múltiples tomas, manteniendo la consistencia facial de los personajes en todas las escenas. Está diseñado para HappyCapy AI Gateway y ha sido validado con 300 experimentos que demuestran una mejora del 70% en la distancia facial. El pipeline extrae personajes del guión con características físicas detalladas, genera retratos frontales, laterales y traseros, diseña un storyboard toma por toma, descompone cada toma en descripciones de primer fotograma, último fotograma y movimiento, construye un árbol de cámaras para las relaciones entre tomas, genera fotogramas seleccionando la mejor imagen de referencia (priorizando la identidad facial), produce clips de video y los concatena en un video final. ViMax es útil para creadores de contenido, desarrolladores de IA y cualquier persona que necesite generar videos narrativos consistentes de forma automatizada, con soporte para personalización mediante fotos de referencia reales y configuración de modelos de imagen, video y chat.

Compatible con~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ComeOnOliver/skillshub/tree/HEAD/skills/happycapy-ai/Happycapy-skills/capy-video-gen-skill

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Habilidad de Generación de Video Capy - Pipeline de Guión a Video

Genera videos completos de múltiples tomas a partir de guiones o ideas, con rostros de personajes consistentes en todas las escenas. Construido para HappyCapy AI Gateway. 300 experimentos validados, mejora del 70% en distancia facial.

Resumen

ViMax convierte guiones de texto en videos completos mediante un pipeline automatizado:

  1. Extraer personajes del guión con características físicas detalladas
  2. Generar retratos frontales, laterales y traseros de los personajes
  3. Diseñar un storyboard toma por toma
  4. Descomponer cada toma en primer fotograma, último fotograma y descripciones de movimiento
  5. Construir un árbol de cámaras para las relaciones entre tomas
  6. Generar fotogramas con selección de imagen de referencia (identidad facial como prioridad máxima)
  7. Generar clips de video a partir de los fotogramas
  8. Concatenar en el video final

Ubicación de Instalación

El código del pipeline ViMax está en: /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax/

Todos los comandos deben ejecutarse desde este directorio usando el venv:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax

Requisitos Previos

  • Variable de entorno AI_GATEWAY_API_KEY (configurada automáticamente en HappyCapy)
  • Venv de Python en .venv/ (ya configurado)

Inicio Rápido

De Guión a Video

Edita el guión, los requisitos y el estilo en el script de entrada, luego ejecuta:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

De Idea a Video

Para generar a partir de una idea breve (genera el guión automáticamente primero):

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_idea2video.py

Uso Programático

import asyncio
from langchain.chat_models import init_chat_model
from tools.render_backend import RenderBackend
from utils.config_loader import load_config
from pipelines.script2video_pipeline import Script2VideoPipeline

config = load_config("configs/happycapy_script2video.yaml")
chat_model = init_chat_model(**config["chat_model"]["init_args"])
backend = RenderBackend.from_config(config)

pipeline = Script2VideoPipeline(
    chat_model=chat_model,
    image_generator=backend.image_generator,
    video_generator=backend.video_generator,
    working_dir=config["working_dir"],
)

# Ejecutar el pipeline
asyncio.run(pipeline(
    script="Tu guión aquí...",
    user_requirement="No más de 8 tomas en total.",
    style="Cinematográfico, iluminación cálida"
))

Pipelines

Script2VideoPipeline

  • Entrada: Un guion formateado con diálogos de personajes y descripciones de escenas
  • Salida: Video concatenado en {working_dir}/final_video.mp4
  • Config: configs/happycapy_script2video.yaml

Idea2VideoPipeline

  • Entrada: Una idea/concepto breve (1-3 párrafos)
  • Salida: Genera automáticamente un guión y luego produce el video
  • Config: configs/happycapy_idea2video.yaml

Configuración

Configuraciones de HappyCapy en configs/happycapy_script2video.yaml:

chat_model:
  init_args:
    model: gpt-4.1
    model_provider: openai
    api_key: ${AI_GATEWAY_API_KEY}
    base_url: https://ai-gateway.happycapy.ai/api/v1/openai/v1

image_generator:
  class_path: tools.ImageGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/gemini-3.1-flash-image-preview

video_generator:
  class_path: tools.VideoGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/veo-3.1-generate-preview

working_dir: .working_dir/script2video

Componentes Clave

Agentes (Procesamiento con IA)

AgenteArchivoPropósito
CharacterExtractoragents/character_extractor.pyExtraer personajes con características estáticas/dinámicas del guión
CharacterPortraitsGeneratoragents/character_portraits_generator.pyGenerar retratos frontal/lateral/trasero para cada personaje
StoryboardArtistagents/storyboard_artist.pyDiseñar storyboard toma por toma con primer/último fotograma y movimiento
ReferenceImageSelectoragents/reference_image_selector.pySeleccionar las mejores imágenes de referencia para cada fotograma (identidad facial prioridad #1)
CameraImageGeneratoragents/camera_image_generator.pyConstruir árboles de cámara y generar videos de transición
BestImageSelectoragents/best_image_selector.pySeleccionar la mejor imagen generada entre candidatos
Screenwriteragents/screenwriter.pyGenerar guiones a partir de ideas

Herramientas (Backends de Generación)

HerramientaArchivoPropósito
ImageGeneratorHappyCapyAPItools/image_generator_happycapy_api.pyGeneración de imágenes a través de HappyCapy Gateway (Gemini)
VideoGeneratorHappyCapyAPItools/video_generator_happycapy_api.pyGeneración de video a través de HappyCapy Gateway (Veo)
RenderBackendtools/render_backend.pyFábrica para instanciar generadores desde configuración

Interfaces (Modelos de Datos)

  • CharacterInScene - Personaje con identificador, características estáticas y dinámicas
  • ShotDescription - Toma con descripción de primer fotograma, último fotograma, movimiento y tipo de variación
  • Camera - Cámara con relaciones padre-hijo
  • Frame - Fotograma con índice de toma, tipo de fotograma y personajes visibles
  • ImageOutput / VideoOutput - Salidas de generación con métodos de guardado

Consistencia de Identidad Facial (CRÍTICO)

Este pipeline incluye mejoras de identidad facial validadas a través de 257 experimentos (70% de mejora en distancia facial, de 0.74 a 0.22):

Protecciones Incorporadas

  1. Selector de Imagen de Referencia: La identidad facial es la prioridad #1 al seleccionar imágenes de referencia. El retrato frontal siempre se incluye cuando el rostro de un personaje es visible.

  2. Retratos de Personajes: Los prompts mejorados generan detalles críticos de identidad (forma exacta de nariz, distancia entre ojos, línea de mandíbula, marcas distintivas) para el reconocimiento entre escenas.

  3. Bloqueo Facial en Prompts de Video: Cada prompt de generación de video se antepone con una instrucción de identidad facial que requiere que el rostro del personaje permanezca idéntico al fotograma inicial durante todo el clip.

Mejores Prácticas al Usar ViMax

  • Descripciones de personajes hiperdetalladas: Incluye etnia, edad, textura/estilo/color de cabello, forma de ojos, vello facial, gafas, tono de piel, complexión y marcas distintivas en las introducciones de personajes de tu guión
  • Tomas de primerísimo primer plano: Incluye al menos un primerísimo primer plano por personaje para anclar la identidad
  • Iluminación consistente: Especifica iluminación similar entre escenas para evitar la deriva facial
  • Fotos de referencia proporcionadas por el usuario: Coloca fotos en el directorio de trabajo y pásalas como character_portraits_registry para omitir la generación de retratos por IA

Lo que NO Funciona

  • La ingeniería de prompts compleja (morfología de visemas, anclaje de fonemas) no mejora la identidad facial
  • Los prompts simples y directos con descripciones físicas detalladas superan a los prompts ingeniosos
  • La sincronización de labios con audio externo NO es posible (Veo genera su propio audio interno)

Consulta FACE_IDENTITY_GUIDE.md en el directorio ViMax para todos los detalles.

Estructura de Salida

Después de una ejecución, el directorio de trabajo contiene:

.working_dir/script2video/
  characters.json                      # Personajes extraídos
  character_portraits_registry.json    # Registro de rutas de retratos
  character_portraits/                 # Retratos generados
    0_CharacterName/
      front.png
      side.png
      back.png
  storyboard.json                     # Descripciones de tomas
  camera_tree.json                    # Relaciones de cámara
  shots/
    0/
      shot_description.json
      first_frame.png
      last_frame.png (si variación media/grande)
      video.mp4
    1/
      ...
  final_video.mp4                     # Salida final concatenada

Personalización

Usar tus Propias Fotos de Referencia

Para usar fotos reales en lugar de retratos generados por IA:

# Construir un registro de retratos que apunte a tus fotos
character_portraits_registry = {
    "Alice": {
        "front": {"path": "/ruta/a/alice_front.png", "description": "Vista frontal de Alice"},
        "side": {"path": "/ruta/a/alice_side.png", "description": "Vista lateral de Alice"},
        "back": {"path": "/ruta/a/alice_back.png", "description": "Vista trasera de Alice"},
    }
}

# Pasar al pipeline (omite la generación de retratos)
await pipeline(
    script=script,
    user_requirement=user_requirement,
    style=style,
    character_portraits_registry=character_portraits_registry,
)

Cambiar Modelos

Edita la configuración YAML para usar diferentes modelos:

  • Imagen: google/gemini-3.1-flash-image-preview (recomendado para identidad facial)
  • Video: google/veo-3.1-generate-preview (recomendado) o openai/sora-2
  • Chat: gpt-4.1 (recomendado) o cualquier modelo compatible con OpenAI

Solución de Problemas

"No module named 'tools'" o errores de importación similares

Ejecuta desde el directorio raíz de ViMax:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Errores de límite de velocidad de API

Reduce max_requests_per_minute en la configuración YAML.

Deriva de identidad facial en videos generados

  • Añade más detalles físicos a las descripciones de personajes en tu guión
  • Usa fotos de referencia proporcionadas por el usuario en lugar de retratos generados por IA
  • Incluye tomas de primerísimo primer plano para personajes importantes
  • Mantén la iluminación consistente entre escenas

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComeOnOliver/skillshub

Create stunning, animation-rich HTML presentations from scratch or by converting PowerPoint files. Use when the user wants to build a presentation, convert a PPT/PPTX to web, or create slides for a talk/pitch. Helps non-designers discover their aesthetic through visual exploration rather than abstract choices.

ComeOnOliver/skillshub

Next.js 16+ 和 Turbopack — 增量打包、文件系统缓存、开发速度,以及何时使用 Turbopack 与 webpack。

ComeOnOliver/skillshub

SwiftUI architecture patterns, state management with @Observable, view composition, navigation, performance optimization, and modern iOS/macOS UI best practices.

ComeOnOliver/skillshub

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio, video), and create real time alerts for events from live streams or desktop capture.

ComeOnOliver/skillshub

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

ComeOnOliver/skillshub

Next.js 15 애플리케이션을 위한 프론트엔드 개발 가이드라인. React 19, TypeScript, Shadcn/ui, Tailwind CSS를 사용한 모던 패턴. Server Components, Client Components, App Router, 파일 구조, Shadcn/ui 컴포넌트, 성능 최적화, TypeScript 모범 사례 포함. 컴포넌트, 페이지, 기능 생성, 데이터 페칭, 스타일링, 라우팅, 프론트엔드 코드 작업 시 사용.

ComeOnOliver/skillshub

Provides Tamagui patterns for config v4, compiler optimization, styled context, and cross-platform styling. Must use when working with Tamagui projects (tamagui.config.ts, @tamagui imports).

ComeOnOliver/skillshub

Create distinctive, production-grade frontend interfaces with high design quality. Use this skill when the user asks to build web components, pages, or applications. Generates creative, polished code that avoids generic AI aesthetics.

ComeOnOliver/skillshub

Create high-converting, visually distinctive landing pages. Use when building marketing pages, product launches, SaaS homepages, or any single-page conversion-focused website. Guides section-by-section composition with anti-AI-slop principles.

ComeOnOliver/skillshub

Auto-loaded context for Portfolio Buddy 2 development. Use for ANY task involving: React 19 development, TypeScript, portfolio analysis features, metrics calculations, trading strategy comparison, or working with the Portfolio Buddy 2 codebase. Contains tech stack, known issues, and architectural constraints.

ComeOnOliver/skillshub

Next.js development tooling via MCP. Inspect routes, components, build info, and debug Next.js apps. Use when working on Next.js applications, debugging routing, or inspecting app structure. NOT for general React or non-Next.js projects.

ComeOnOliver/skillshub

Implement UI using Shadcn MCP (atoms/theme) and 21st.dev MCP (complex sections). Use when adding buttons, layouts, or generating landing pages.

ComeOnOliver/skillshub

A conceptual skill for building an API client in Next.js that handles JWT tokens

ComeOnOliver/skillshub

Best practices and patterns for Next.js App Router, Server Actions, and Routing in this project.

ComeOnOliver/skillshub

The Design System, Theme, and UX rules for the Physical AI Hub.

ComeOnOliver/skillshub

Comprehensive frontend development skill for building modern, performant web applications using ReactJS, NextJS, TypeScript, Tailwind CSS. Includes component scaffolding, performance optimization, bundle analysis, and UI best practices. Use when developing frontend features, optimizing performance, implementing UI/UX designs, managing state, or reviewing frontend code.

ComeOnOliver/skillshub

This document captures learnings from fixing keyboard navigation issues when floating components (Select, DropdownMenu, Popover) have CSS open/close animations.

ComeOnOliver/skillshub

Build Next.js 16 applications with correct patterns and distinctive design. Use when creating pages, layouts, dynamic routes, upgrading from Next.js 15, or implementing proxy.ts. Covers breaking changes (async params/searchParams, Turbopack, cacheComponents) and frontend aesthetics. NOT when building non-React or backend-only applications.

ComeOnOliver/skillshub

Comprehensive Framer Motion animation library for React. Covers motion components, variants, gestures, page transitions, and scroll animations. Use when adding animations to React/Next.js applications.

ComeOnOliver/skillshub

Build interfaces that resonate, not just render. This skill enforces bold, intentional

Skills relacionados