Communitygithub.com

ComeOnOliver/skillshub

Pipeline de génération vidéo multi-plans avec IA, garantissant la cohérence des visages. Transforme des scripts ou des idées en vidéos complètes via extraction de personnages, storyboard, génération d'images et assemblage vidéo. Validé sur 300 expériences, amélioration de 70% de la distance faciale.

Qu'est-ce que skillshub ?

Cette compétence (skill) met en œuvre un pipeline complet de génération vidéo, de la simple idée ou du script jusqu'à la vidéo finale multi-plans. Elle est particulièrement optimisée pour le maintien de l'identité faciale des personnages à travers toutes les scènes, un défi majeur dans la génération vidéo par IA. Le pipeline extrait d'abord les personnages du texte avec des descriptions physiques détaillées, génère des portraits (face, profil, dos), puis conçoit un storyboard plan par plan. Chaque plan est décomposé en description de première et dernière image, ainsi que du mouvement. Une sélection intelligente des images de référence, priorisant l'identité faciale, assure la cohérence. Les vidéos sont générées via des modèles comme Google Veo et Gemini, accessibles via une passerelle API (HappyCapy AI Gateway). La compétence inclut des protections intégrées comme un 'verrou facial' dans les prompts vidéo et la génération de portraits détaillés. Elle prend en charge deux pipelines : Script2VideoPipeline (à partir d'un script) et Idea2VideoPipeline (génération automatique du script puis de la vidéo). La configuration est flexible, permettant d'utiliser ses propres photos de référence pour une cohérence maximale.

Compatible avec~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ComeOnOliver/skillshub/tree/HEAD/skills/happycapy-ai/Happycapy-skills/capy-video-gen-skill

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence de Génération Vidéo Capy - Pipeline Script vers Vidéo

Générez des vidéos multi-plans complètes à partir de scripts ou d'idées, avec des visages de personnages cohérents dans toutes les scènes. Conçu pour HappyCapy AI Gateway. 300 expériences validées, amélioration de 70% de la distance faciale.

Aperçu

ViMax transforme des scripts textuels en vidéos complètes via un pipeline automatisé :

  1. Extraire les personnages du script avec des caractéristiques physiques détaillées
  2. Générer des portraits de face/profil/dos des personnages
  3. Concevoir un storyboard plan par plan
  4. Décomposer chaque plan en descriptions de première_image, dernière_image et mouvement
  5. Construire un arbre de caméras pour les relations entre plans
  6. Générer les images avec sélection d'images de référence (identité faciale comme priorité absolue)
  7. Générer des clips vidéo à partir des images
  8. Concaténer en une vidéo finale

Emplacement d'Installation

Le code du pipeline ViMax se trouve à : /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax/

Toutes les commandes doivent être exécutées depuis ce répertoire en utilisant le venv :

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax

Prérequis

  • Variable d'environnement AI_GATEWAY_API_KEY (préconfigurée dans HappyCapy)
  • Venv Python à .venv/ (déjà configuré)

Démarrage Rapide

Script vers Vidéo

Modifiez le script, les exigences et le style dans le script d'entrée, puis exécutez :

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Idée vers Vidéo

Pour générer à partir d'une brève idée (génère d'abord le script automatiquement) :

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_idea2video.py

Utilisation Programmatique

import asyncio
from langchain.chat_models import init_chat_model
from tools.render_backend import RenderBackend
from utils.config_loader import load_config
from pipelines.script2video_pipeline import Script2VideoPipeline

config = load_config("configs/happycapy_script2video.yaml")
chat_model = init_chat_model(**config["chat_model"]["init_args"])
backend = RenderBackend.from_config(config)

pipeline = Script2VideoPipeline(
    chat_model=chat_model,
    image_generator=backend.image_generator,
    video_generator=backend.video_generator,
    working_dir=config["working_dir"],
)

# Exécuter le pipeline
asyncio.run(pipeline(
    script="Votre script ici...",
    user_requirement="Pas plus de 8 plans au total.",
    style="Cinématographique, éclairage chaleureux"
))

Pipelines

Script2VideoPipeline

  • Entrée : Un scénario/script formaté avec dialogues de personnages et descriptions de scènes
  • Sortie : Vidéo concaténée à {working_dir}/final_video.mp4
  • Configuration : configs/happycapy_script2video.yaml

Idea2VideoPipeline

  • Entrée : Une brève idée/concept (1 à 3 paragraphes)
  • Sortie : Génère automatiquement un script, puis produit la vidéo
  • Configuration : configs/happycapy_idea2video.yaml

Configuration

Configurations HappyCapy dans configs/happycapy_script2video.yaml :

chat_model:
  init_args:
    model: gpt-4.1
    model_provider: openai
    api_key: ${AI_GATEWAY_API_KEY}
    base_url: https://ai-gateway.happycapy.ai/api/v1/openai/v1

image_generator:
  class_path: tools.ImageGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/gemini-3.1-flash-image-preview

video_generator:
  class_path: tools.VideoGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/veo-3.1-generate-preview

working_dir: .working_dir/script2video

Composants Clés

Agents (Traitement IA)

AgentFichierObjectif
CharacterExtractoragents/character_extractor.pyExtraire les personnages avec caractéristiques statiques/dynamiques du script
CharacterPortraitsGeneratoragents/character_portraits_generator.pyGénérer des portraits de face/profil/dos pour chaque personnage
StoryboardArtistagents/storyboard_artist.pyConcevoir un storyboard plan par plan avec première/dernière image et mouvement
ReferenceImageSelectoragents/reference_image_selector.pySélectionner les meilleures images de référence pour chaque image (priorité #1 à l'identité faciale)
CameraImageGeneratoragents/camera_image_generator.pyConstruire des arbres de caméras et générer des vidéos de transition
BestImageSelectoragents/best_image_selector.pySélectionner la meilleure image générée parmi les candidates
Screenwriteragents/screenwriter.pyGénérer des scripts à partir d'idées

Outils (Moteurs de Génération)

OutilFichierObjectif
ImageGeneratorHappyCapyAPItools/image_generator_happycapy_api.pyGénération d'images via HappyCapy Gateway (Gemini)
VideoGeneratorHappyCapyAPItools/video_generator_happycapy_api.pyGénération vidéo via HappyCapy Gateway (Veo)
RenderBackendtools/render_backend.pyFabrique pour instancier les générateurs à partir de la configuration

Interfaces (Modèles de Données)

  • CharacterInScene - Personnage avec identifiant, static_features, dynamic_features
  • ShotDescription - Plan avec ff_desc, lf_desc, motion_desc, variation_type
  • Camera - Caméra avec relations parent-enfant
  • Frame - Image avec shot_idx, frame_type, personnages visibles
  • ImageOutput / VideoOutput - Sorties de génération avec méthodes de sauvegarde

Cohérence de l'Identité Faciale (CRITIQUE)

Ce pipeline inclut des améliorations de l'identité faciale validées par 257 expériences (amélioration de 70% de la distance faciale, passant de 0,74 à 0,22) :

Protections Intégrées

  1. Sélecteur d'Image de Référence : L'identité faciale est la priorité #1 lors de la sélection des images de référence. Le portrait de face est toujours inclus lorsque le visage d'un personnage est visible.

  2. Portraits de Personnages : Des prompts enrichis génèrent des détails critiques pour l'identité (forme exacte du nez, écartement des yeux, mâchoire, signes distinctifs) pour une reconnaissance inter-scènes.

  3. Verrou Facial dans le Prompt Vidéo : Chaque prompt de génération vidéo est précédé d'une instruction d'identité faciale exigeant que le visage du personnage reste identique à l'image de départ tout au long du clip.

Meilleures Pratiques avec ViMax

  • Descriptions hyper-détaillées des personnages : Incluez l'ethnie, l'âge, la texture/style/couleur des cheveux, la forme des yeux, la pilosité faciale, les lunettes, le teint, la corpulence et les signes distinctifs dans les présentations des personnages de votre script
  • Plans en très gros plan : Incluez au moins un très gros plan par personnage pour ancrer son identité
  • Éclairage cohérent : Spécifiez un éclairage similaire entre les scènes pour éviter la dérive faciale
  • Photos de référence fournies par l'utilisateur : Placez les photos dans le répertoire de travail et passez-les en tant que character_portraits_registry pour ignorer la génération de portraits IA

Ce Qui NE Fonctionne PAS

  • L'ingénierie de prompts complexe (morphing visème, ancrage phonème) n'améliore pas l'identité faciale
  • Les prompts simples et directs avec des descriptions physiques détaillées surpassent les prompts astucieux
  • Le synchronisme labial avec un audio externe n'est PAS possible (Veo génère son propre audio interne)

Voir FACE_IDENTITY_GUIDE.md dans le répertoire ViMax pour tous les détails.

Structure de Sortie

Après une exécution, le répertoire de travail contient :

.working_dir/script2video/
  characters.json                      # Personnages extraits
  character_portraits_registry.json    # Registre des chemins des portraits
  character_portraits/                 # Portraits générés
    0_CharacterName/
      front.png
      side.png
      back.png
  storyboard.json                     # Descriptions des plans
  camera_tree.json                    # Relations des caméras
  shots/
    0/
      shot_description.json
      first_frame.png
      last_frame.png (si variation moyenne/importante)
      video.mp4
    1/
      ...
  final_video.mp4                     # Sortie finale concaténée

Personnalisation

Utiliser Vos Propres Photos de Référence

Pour utiliser de vraies photos au lieu de portraits générés par IA :

# Construire un registre de portraits pointant vers vos photos
character_portraits_registry = {
    "Alice": {
        "front": {"path": "/chemin/vers/alice_front.png", "description": "Vue de face d'Alice"},
        "side": {"path": "/chemin/vers/alice_side.png", "description": "Vue de profil d'Alice"},
        "back": {"path": "/chemin/vers/alice_back.png", "description": "Vue de dos d'Alice"},
    }
}

# Passer au pipeline (ignore la génération de portraits)
await pipeline(
    script=script,
    user_requirement=user_requirement,
    style=style,
    character_portraits_registry=character_portraits_registry,
)

Changer les Modèles

Modifiez la configuration YAML pour utiliser différents modèles :

  • Image : google/gemini-3.1-flash-image-preview (recommandé pour l'identité faciale)
  • Vidéo : google/veo-3.1-generate-preview (recommandé) ou openai/sora-2
  • Chat : gpt-4.1 (recommandé) ou tout modèle compatible OpenAI

Dépannage

"No module named 'tools'" ou erreurs d'import similaires

Exécutez depuis le répertoire racine ViMax :

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Erreurs de limite de débit API

Réduisez max_requests_per_minute dans la configuration YAML.

Dérive de l'identité faciale dans les vidéos générées

  • Ajoutez plus de détails physiques aux descriptions des personnages dans votre script
  • Utilisez des photos de référence fournies par l'utilisateur au lieu de portraits générés par IA
  • Incluez des plans en très gros plan pour les personnages importants
  • Maintenez un éclairage cohérent entre les scènes

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComeOnOliver/skillshub

Create stunning, animation-rich HTML presentations from scratch or by converting PowerPoint files. Use when the user wants to build a presentation, convert a PPT/PPTX to web, or create slides for a talk/pitch. Helps non-designers discover their aesthetic through visual exploration rather than abstract choices.

ComeOnOliver/skillshub

Next.js 16+ 和 Turbopack — 增量打包、文件系统缓存、开发速度,以及何时使用 Turbopack 与 webpack。

ComeOnOliver/skillshub

SwiftUI architecture patterns, state management with @Observable, view composition, navigation, performance optimization, and modern iOS/macOS UI best practices.

ComeOnOliver/skillshub

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio, video), and create real time alerts for events from live streams or desktop capture.

ComeOnOliver/skillshub

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

ComeOnOliver/skillshub

Next.js 15 애플리케이션을 위한 프론트엔드 개발 가이드라인. React 19, TypeScript, Shadcn/ui, Tailwind CSS를 사용한 모던 패턴. Server Components, Client Components, App Router, 파일 구조, Shadcn/ui 컴포넌트, 성능 최적화, TypeScript 모범 사례 포함. 컴포넌트, 페이지, 기능 생성, 데이터 페칭, 스타일링, 라우팅, 프론트엔드 코드 작업 시 사용.

ComeOnOliver/skillshub

Provides Tamagui patterns for config v4, compiler optimization, styled context, and cross-platform styling. Must use when working with Tamagui projects (tamagui.config.ts, @tamagui imports).

ComeOnOliver/skillshub

Create distinctive, production-grade frontend interfaces with high design quality. Use this skill when the user asks to build web components, pages, or applications. Generates creative, polished code that avoids generic AI aesthetics.

ComeOnOliver/skillshub

Create high-converting, visually distinctive landing pages. Use when building marketing pages, product launches, SaaS homepages, or any single-page conversion-focused website. Guides section-by-section composition with anti-AI-slop principles.

ComeOnOliver/skillshub

Auto-loaded context for Portfolio Buddy 2 development. Use for ANY task involving: React 19 development, TypeScript, portfolio analysis features, metrics calculations, trading strategy comparison, or working with the Portfolio Buddy 2 codebase. Contains tech stack, known issues, and architectural constraints.

ComeOnOliver/skillshub

Next.js development tooling via MCP. Inspect routes, components, build info, and debug Next.js apps. Use when working on Next.js applications, debugging routing, or inspecting app structure. NOT for general React or non-Next.js projects.

ComeOnOliver/skillshub

Implement UI using Shadcn MCP (atoms/theme) and 21st.dev MCP (complex sections). Use when adding buttons, layouts, or generating landing pages.

ComeOnOliver/skillshub

A conceptual skill for building an API client in Next.js that handles JWT tokens

ComeOnOliver/skillshub

Best practices and patterns for Next.js App Router, Server Actions, and Routing in this project.

ComeOnOliver/skillshub

The Design System, Theme, and UX rules for the Physical AI Hub.

ComeOnOliver/skillshub

Comprehensive frontend development skill for building modern, performant web applications using ReactJS, NextJS, TypeScript, Tailwind CSS. Includes component scaffolding, performance optimization, bundle analysis, and UI best practices. Use when developing frontend features, optimizing performance, implementing UI/UX designs, managing state, or reviewing frontend code.

ComeOnOliver/skillshub

This document captures learnings from fixing keyboard navigation issues when floating components (Select, DropdownMenu, Popover) have CSS open/close animations.

ComeOnOliver/skillshub

Build Next.js 16 applications with correct patterns and distinctive design. Use when creating pages, layouts, dynamic routes, upgrading from Next.js 15, or implementing proxy.ts. Covers breaking changes (async params/searchParams, Turbopack, cacheComponents) and frontend aesthetics. NOT when building non-React or backend-only applications.

ComeOnOliver/skillshub

Comprehensive Framer Motion animation library for React. Covers motion components, variants, gestures, page transitions, and scroll animations. Use when adding animations to React/Next.js applications.

ComeOnOliver/skillshub

Build interfaces that resonate, not just render. This skill enforces bold, intentional

Skills associés