Communitygithub.com

ComeOnOliver/skillshub

Multi-shot KI-Videoproduktions-Pipeline mit konsistenter Gesichtsidentität. Wandelt Skripte oder Ideen mithilfe von Charakterextraktion, Storyboarding, Frame-Generierung und Videozusammenstellung in komplette Videos um. 300 Experimente validiert, 70% Verbesserung der Gesichtsabstände. Verwenden Sie diese Fähigkeit, wenn der Benutzer darum bittet, ein Video aus einem Skript, einer Geschichte oder einer Idee zu erstellen oder ein Multi-Shot-Video mit konsistenten Charakteren zu wünscht.

Was ist skillshub?

Dieser Skill realisiert eine automatisierte Multi-Shot-Videoproduktions-Pipeline, die aus einem Textskript oder einer groben Idee ein vollständiges Video mit konsistenten Charaktergesichtern über alle Szenen hinweg erzeugt. Basierend auf dem `ViMax`-Framework und optimiert für den HappyCapy AI Gateway, durchläuft die Pipeline acht Schritte: Charakterextraktion mit detaillierten physischen Merkmalen, Erstellung von Vorder-/Seiten-/Rückenporträts, storyboard-basierte Shoteinteilung, Zerlegung jedes Shots in Erst- und Letztframe sowie Bewegungsbeschreibungen, Aufbau eines Kamerabaums, referenzbildgestützte Frame-Generierung (mit Gesichtsidentität als oberster Priorität), Videoclip-Erzeugung und finale Zusammenführung. In 300 validierten Experimenten wurde eine 70%ige Verbesserung der Gesichtsabstände nachgewiesen. Der Skill unterstützt sowohl die Arbeit mit KI-generierten Porträts als auch die Verwendung eigener Referenzfotos und ist über Python-Skripte (main_happycapy_script2video.py, main_happycapy_idea2video.py) oder programmatisch per Python-API nutzbar.

Funktioniert mit~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ComeOnOliver/skillshub/tree/HEAD/skills/happycapy-ai/Happycapy-skills/capy-video-gen-skill

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Fähigkeit zur Capy-Videogenerierung - Skript-zu-Video-Pipeline

Erzeugen Sie komplette Multi-Shot-Videos aus Skripten oder Ideen mit konsistenten Charaktergesichtern in allen Szenen. Entwickelt für den HappyCapy AI Gateway. 300 Experimente validiert, 70% Verbesserung der Gesichtsabstände.

Übersicht

ViMax wandelt Textskripte über eine automatisierte Pipeline in vollständige Videos um:

  1. Extraktion von Charakteren aus dem Skript mit detaillierten physischen Merkmalen
  2. Erzeugung von Vorder-/Seiten-/Rücken-Porträts der Charaktere
  3. Entwurf eines Shot-für-Shot-Storyboards
  4. Zerlegung jedes Shots in first_frame, last_frame und Bewegungsbeschreibungen
  5. Aufbau eines Kamerabaums für Shot-Beziehungen
  6. Frame-Generierung mit Referenzbildauswahl (Gesichtsidentität als oberste Priorität)
  7. Erzeugung von Videoclips aus den Frames
  8. Zusammenfügen zum endgültigen Video

Installationsort

Der ViMax-Pipeline-Code befindet sich unter: /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax/

Alle Befehle müssen aus diesem Verzeichnis unter Verwendung der venv ausgeführt werden:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax

Voraussetzungen

  • Umgebungsvariable AI_GATEWAY_API_KEY (in HappyCapy automatisch konfiguriert)
  • Python venv unter .venv/ (bereits eingerichtet)

Schnellstart

Skript-zu-Video

Bearbeiten Sie Skript, Anforderungen und Stil im Einstiegsskript und führen Sie dann aus:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

Idee-zu-Video

Zur Erzeugung aus einer kurzen Idee (erstellt zuerst automatisch ein Skript):

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_idea2video.py

Programmgesteuerte Nutzung

import asyncio
from langchain.chat_models import init_chat_model
from tools.render_backend import RenderBackend
from utils.config_loader import load_config
from pipelines.script2video_pipeline import Script2VideoPipeline

config = load_config("configs/happycapy_script2video.yaml")
chat_model = init_chat_model(**config["chat_model"]["init_args"])
backend = RenderBackend.from_config(config)

pipeline = Script2VideoPipeline(
    chat_model=chat_model,
    image_generator=backend.image_generator,
    video_generator=backend.video_generator,
    working_dir=config["working_dir"],
)

# Pipeline ausführen
asyncio.run(pipeline(
    script="Ihr Skript hier...",
    user_requirement="Nicht mehr als 8 Shots insgesamt.",
    style="Kinoartig, warme Beleuchtung"
))

Pipelines

Script2VideoPipeline

  • Eingabe: Ein formatiertes Drehbuch/Skript mit Charakterdialogen und Szenenbeschreibungen
  • Ausgabe: Zusammengefügtes Video unter {working_dir}/final_video.mp4
  • Konfiguration: configs/happycapy_script2video.yaml

Idea2VideoPipeline

  • Eingabe: Eine kurze Idee/ein Konzept (1-3 Absätze)
  • Ausgabe: Erzeugt automatisch ein Skript und produziert dann das Video
  • Konfiguration: configs/happycapy_idea2video.yaml

Konfiguration

HappyCapy-Konfiguration unter configs/happycapy_script2video.yaml:

chat_model:
  init_args:
    model: gpt-4.1
    model_provider: openai
    api_key: ${AI_GATEWAY_API_KEY}
    base_url: https://ai-gateway.happycapy.ai/api/v1/openai/v1

image_generator:
  class_path: tools.ImageGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/gemini-3.1-flash-image-preview

video_generator:
  class_path: tools.VideoGeneratorHappyCapyAPI
  init_args:
    api_key: ${AI_GATEWAY_API_KEY}
    model: google/veo-3.1-generate-preview

working_dir: .working_dir/script2video

Schlüsselkomponenten

Agents (KI-Verarbeitung)

AgentDateiZweck
CharacterExtractoragents/character_extractor.pyExtrahiert Charaktere mit statischen/dynamischen Merkmalen aus dem Skript
CharacterPortraitsGeneratoragents/character_portraits_generator.pyErzeugt Vorder-/Seiten-/Rücken-Porträts für jeden Charakter
StoryboardArtistagents/storyboard_artist.pyEntwirft Shot-für-Shot-Storyboard mit Erst-/Letztframes und Bewegung
ReferenceImageSelectoragents/reference_image_selector.pyWählt beste Referenzbilder für jeden Frame aus (Gesichtsidentität Priorität #1)
CameraImageGeneratoragents/camera_image_generator.pyBaut Kamerabäume und erzeugt Übergangsvideos
BestImageSelectoragents/best_image_selector.pyWählt das beste generierte Bild aus Kandidaten aus
Screenwriteragents/screenwriter.pyErzeugt Skripte aus Ideen

Tools (Generierungs-Backends)

ToolDateiZweck
ImageGeneratorHappyCapyAPItools/image_generator_happycapy_api.pyBildgenerierung über HappyCapy Gateway (Gemini)
VideoGeneratorHappyCapyAPItools/video_generator_happycapy_api.pyVideogenerierung über HappyCapy Gateway (Veo)
RenderBackendtools/render_backend.pyFactory zum Instanziieren der Generatoren aus der Konfiguration

Interfaces (Datenmodelle)

  • CharacterInScene - Charakter mit Kennung, static_features, dynamic_features
  • ShotDescription - Shot mit ff_desc, lf_desc, motion_desc, variation_type
  • Camera - Kamera mit Eltern-Kind-Beziehungen
  • Frame - Frame mit shot_idx, frame_type, sichtbaren Charakteren
  • ImageOutput / VideoOutput - Generierungsausgaben mit Speichermethoden

Konsistenz der Gesichtsidentität (KRITISCH)

Diese Pipeline beinhaltet Verbesserungen der Gesichtsidentität, die durch 257 Experimente validiert wurden (70% Verbesserung des Gesichtsabstands, von 0.74 auf 0.22):

Integrierte Schutzmaßnahmen

  1. Referenzbildauswahl: Die Gesichtsidentität hat die höchste Priorität bei der Auswahl von Referenzbildern. Die Vorderansicht eines Porträts wird immer dann einbezogen, wenn das Gesicht eines Charakters sichtbar ist.

  2. Charakterporträts: Verbesserte Prompts generieren identitätskritische Details (exakte Nasenform, Augenabstand, Kieferlinie, unterscheidende Merkmale) für die szenenübergreifende Erkennung.

  3. Videoprompt-Gesichtssperre: Jedem Videogenerierungs-Prompt wird eine Gesichtsidentitätsanweisung vorangestellt, die verlangt, dass das Gesicht des Charakters während des gesamten Clips identisch zum Startframe bleibt.

Best Practices bei der Verwendung von ViMax

  • Hyperdetaillierte Charakterbeschreibungen: Fügen Sie ethnische Zugehörigkeit, Alter, Haarstruktur/-stil/-farbe, Augenform, Gesichtsbehaarung, Brille, Hautton, Statur und unterscheidende Merkmale in die Charaktereinführungen Ihres Skripts ein
  • Extreme Nahaufnahmen: Fügen Sie mindestens eine extreme Nahaufnahme pro Charakter hinzu, um die Identität zu verankern
  • Konsistente Beleuchtung: Geben Sie ähnliche Beleuchtung über Szenen hinweg an, um Gesichtsdrift zu verhindern
  • Vom Benutzer bereitgestellte Referenzfotos: Platzieren Sie Fotos im Arbeitsverzeichnis und übergeben Sie sie als character_portraits_registry, um die KI-Porträtgenerierung zu überspringen

Was NICHT funktioniert

  • Komplexes Prompt-Engineering (viseme morphing, phoneme anchoring) verbessert die Gesichtsidentität nicht
  • Einfache, direkte Prompts mit detaillierten physischen Beschreibungen sind cleveren Prompts überlegen
  • Lippen-Synchronisation mit externem Audio ist NICHT möglich (Veo generiert sein eigenes internes Audio)

Weitere Details finden Sie in FACE_IDENTITY_GUIDE.md im ViMax-Verzeichnis.

Ausgabestruktur

Nach einem Durchlauf enthält das Arbeitsverzeichnis:

.working_dir/script2video/
  characters.json                      # Extrahierte Charaktere
  character_portraits_registry.json    # Registry der Porträtpfade
  character_portraits/                 # Generierte Porträts
    0_CharacterName/
      front.png
      side.png
      back.png
  storyboard.json                     # Shot-Beschreibungen
  camera_tree.json                    # Kamera-Beziehungen
  shots/
    0/
      shot_description.json
      first_frame.png
      last_frame.png (bei mittlerer/großer Variation)
      video.mp4
    1/
      ...
  final_video.mp4                     # Endgültige zusammengefügte Ausgabe

Anpassung

Verwendung eigener Referenzfotos

Um echte Fotos anstelle von KI-generierten Porträts zu verwenden:

# Erstellen Sie eine Portrait-Registry, die auf Ihre Fotos verweist
character_portraits_registry = {
    "Alice": {
        "front": {"path": "/pfad/zu/alice_front.png", "description": "Vorderansicht von Alice"},
        "side": {"path": "/pfad/zu/alice_side.png", "description": "Seitenansicht von Alice"},
        "back": {"path": "/pfad/zu/alice_back.png", "description": "Rückansicht von Alice"},
    }
}

# An Pipeline übergeben (überspringt die Porträtgenerierung)
await pipeline(
    script=script,
    user_requirement=user_requirement,
    style=style,
    character_portraits_registry=character_portraits_registry,
)

Ändern der Modelle

Bearbeiten Sie die YAML-Konfiguration, um andere Modelle zu verwenden:

  • Bild: google/gemini-3.1-flash-image-preview (empfohlen für Gesichtsidentität)
  • Video: google/veo-3.1-generate-preview (empfohlen) oder openai/sora-2
  • Chat: gpt-4.1 (empfohlen) oder ein beliebiges OpenAI-kompatibles Modell

Fehlerbehebung

"No module named 'tools'" oder ähnliche Importfehler

Führen Sie den Befehl aus dem ViMax-Stammverzeichnis aus:

cd /home/node/a0/workspace/527fb591-1439-4b5b-ad5d-90f972773f95/workspace/tmp/ViMax
.venv/bin/python main_happycapy_script2video.py

API-Ratenlimitfehler

Reduzieren Sie max_requests_per_minute in der YAML-Konfiguration.

Gesichtsidentitätsdrift in generierten Videos

  • Fügen Sie mehr physische Details zu den Charakterbeschreibungen in Ihrem Skript hinzu
  • Verwenden Sie vom Benutzer bereitgestellte Referenzfotos anstelle von KI-generierten Porträts
  • Fügen Sie extreme Nahaufnahmen für wichtige Charaktere ein
  • Halten Sie die Beleuchtung über Szenen hinweg konsistent

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComeOnOliver/skillshub

Create stunning, animation-rich HTML presentations from scratch or by converting PowerPoint files. Use when the user wants to build a presentation, convert a PPT/PPTX to web, or create slides for a talk/pitch. Helps non-designers discover their aesthetic through visual exploration rather than abstract choices.

ComeOnOliver/skillshub

Next.js 16+ 和 Turbopack — 增量打包、文件系统缓存、开发速度,以及何时使用 Turbopack 与 webpack。

ComeOnOliver/skillshub

SwiftUI architecture patterns, state management with @Observable, view composition, navigation, performance optimization, and modern iOS/macOS UI best practices.

ComeOnOliver/skillshub

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio, video), and create real time alerts for events from live streams or desktop capture.

ComeOnOliver/skillshub

AI-assisted video editing workflows for cutting, structuring, and augmenting real footage. Covers the full pipeline from raw capture through FFmpeg, Remotion, ElevenLabs, fal.ai, and final polish in Descript or CapCut. Use when the user wants to edit video, cut footage, create vlogs, or build video content.

ComeOnOliver/skillshub

Next.js 15 애플리케이션을 위한 프론트엔드 개발 가이드라인. React 19, TypeScript, Shadcn/ui, Tailwind CSS를 사용한 모던 패턴. Server Components, Client Components, App Router, 파일 구조, Shadcn/ui 컴포넌트, 성능 최적화, TypeScript 모범 사례 포함. 컴포넌트, 페이지, 기능 생성, 데이터 페칭, 스타일링, 라우팅, 프론트엔드 코드 작업 시 사용.

ComeOnOliver/skillshub

Provides Tamagui patterns for config v4, compiler optimization, styled context, and cross-platform styling. Must use when working with Tamagui projects (tamagui.config.ts, @tamagui imports).

ComeOnOliver/skillshub

Create distinctive, production-grade frontend interfaces with high design quality. Use this skill when the user asks to build web components, pages, or applications. Generates creative, polished code that avoids generic AI aesthetics.

ComeOnOliver/skillshub

Create high-converting, visually distinctive landing pages. Use when building marketing pages, product launches, SaaS homepages, or any single-page conversion-focused website. Guides section-by-section composition with anti-AI-slop principles.

ComeOnOliver/skillshub

Auto-loaded context for Portfolio Buddy 2 development. Use for ANY task involving: React 19 development, TypeScript, portfolio analysis features, metrics calculations, trading strategy comparison, or working with the Portfolio Buddy 2 codebase. Contains tech stack, known issues, and architectural constraints.

ComeOnOliver/skillshub

Next.js development tooling via MCP. Inspect routes, components, build info, and debug Next.js apps. Use when working on Next.js applications, debugging routing, or inspecting app structure. NOT for general React or non-Next.js projects.

ComeOnOliver/skillshub

Implement UI using Shadcn MCP (atoms/theme) and 21st.dev MCP (complex sections). Use when adding buttons, layouts, or generating landing pages.

ComeOnOliver/skillshub

A conceptual skill for building an API client in Next.js that handles JWT tokens

ComeOnOliver/skillshub

Best practices and patterns for Next.js App Router, Server Actions, and Routing in this project.

ComeOnOliver/skillshub

The Design System, Theme, and UX rules for the Physical AI Hub.

ComeOnOliver/skillshub

Comprehensive frontend development skill for building modern, performant web applications using ReactJS, NextJS, TypeScript, Tailwind CSS. Includes component scaffolding, performance optimization, bundle analysis, and UI best practices. Use when developing frontend features, optimizing performance, implementing UI/UX designs, managing state, or reviewing frontend code.

ComeOnOliver/skillshub

This document captures learnings from fixing keyboard navigation issues when floating components (Select, DropdownMenu, Popover) have CSS open/close animations.

ComeOnOliver/skillshub

Build Next.js 16 applications with correct patterns and distinctive design. Use when creating pages, layouts, dynamic routes, upgrading from Next.js 15, or implementing proxy.ts. Covers breaking changes (async params/searchParams, Turbopack, cacheComponents) and frontend aesthetics. NOT when building non-React or backend-only applications.

ComeOnOliver/skillshub

Comprehensive Framer Motion animation library for React. Covers motion components, variants, gestures, page transitions, and scroll animations. Use when adding animations to React/Next.js applications.

ComeOnOliver/skillshub

Build interfaces that resonate, not just render. This skill enforces bold, intentional

Verwandte Skills