Communitygithub.com

9018/mychat

Generieren Sie KI-Videos aus Text-Prompts über mehrere Anbieter-Gateways. Verwenden Sie dies, wenn: (1) Videos aus Textbeschreibungen generiert werden, (2) KI-generierte Videoclips für die Content-Produktion erstellt werden, (3) Bild-zu-Video-Generierung mit einem Referenzbild, (4) zwischen Video-Generierungsanbietern (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni) gewählt wird. Unterstützt Gateways: HeyGen API, fal.ai API, Kling offizielle Direct-API und die Gemini API (Gemini Omni Flash).

Was ist mychat?

Diese Fähigkeit ermöglicht es KI-Agenten, Videos aus Text-Prompts zu generieren, indem sie auf mehrere Anbieter und Gateways zurückgreifen. Sie unterstützt die Plattformen fal.ai, HeyGen, Kling Official und die Gemini API und bietet Zugriff auf eine breite Palette von Videogenerierungsmodellen wie Seedance 2.0, VEO, Kling, Sora, Runway, MiniMax und Gemini Omni Flash. Der Agent nutzt intelligente Auswahlmechanismen, um je nach Konfiguration und Benutzeranforderungen den optimalen Anbieter auszuwählen, wobei Seedance 2.0 für kinoreife Aufnahmen bevorzugt wird. Die Fähigkeit umfasst sowohl die Erstgenerierung als auch iterative Bearbeitung (z. B. über Gemini Omni Flash) und stellt sicher, dass der Agent stets den `video_selector` anstelle direkter Tool-Aufrufe verwendet, um Verfügbarkeit, Kosten und Qualität automatisch zu optimieren. Sie bietet umfassende API-Integrationen, detaillierte Parametersteuerung und Best Practices für die Erstellung hochwertiger KI-Videos.

Funktioniert mit~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/ai-video-gen

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Videogenerierung (Multi-Gateway)

Generieren Sie KI-Videos aus Text-Prompts. Unterstützt mehrere Anbieter über vier API-Pfade:

GatewayUmgebungsvariableAnbieterTool
fal.aiFAL_KEYSeedance 2.0 (Standard + Schnell), Kling v3/v2.1, MiniMax, VEOseedance_video, kling_video, minimax_video, veo_video
HeyGenHEYGEN_API_KEYVEO 3.1, Kling Pro, Sora v2, Runway Gen-4, Seedance Pro / Lite (1.x)heygen_video
Kling OfficialKLING_API_KEYKling Official Classic, Turbo und Basic Omni Videokling_official_video
Gemini APIGEMINI_API_KEY / GOOGLE_API_KEYGemini Omni Flash (Generierung + konversationelle Bearbeitung)gemini_omni_video

Iterative Bearbeitung – Gemini Omni. Wenn die Aufgabe die Verfeinerung eines vorhandenen Clips (Hinzufügen/Entfernen von Objekten, Neugestaltung, Änderung von Beleuchtung oder Bildschirmtext) und nicht die Neugenerierung erfordert, ist Gemini Omni Flash der einzige Anbieter im Angebot mit zustandsbehafteter Mehrfachdurchgangs-Bearbeitung. Siehe Layer 3 gemini-omni für die maßgebliche Prompt-Richtlinie (Referenzbild-Tags, Zeitcode-Syntax, Bearbeitungs-Prompt-Regeln), bevor Sie einen Prompt dafür schreiben.

Bevorzugte Premium-Standardauswahl – Seedance 2.0. Wenn ein Premium-Gateway konfiguriert ist (FAL_KEY → seedance_video oder der HeyGen Video Agent / Avatar Shots Pfad), ist Seedance 2.0 die bevorzugte Standardauswahl für kinoreife, Trailer- und hochauflösende Clip-Arbeiten. Es ist das einzige Modell im Angebot mit einmaligem Durchgangs-nativem synchronisiertem Audio, Mehrfachshot-Generierung, direkter Kamerasteuerung auf Regisseurebene und Lippen-Synchronisation aus zitierten Dialogen und liegt Anfang 2026 auf Platz 1 des Artificial Analysis Elo. Wechseln Sie nur davon ab, wenn der Benutzer einen bestimmten Grund hat (Budget, Anbieterpräferenz, stilistische Passung wie VEO für fotorealistische Landschaften oder Kling für einen bestimmten Anime-Look). Siehe Layer 3 seedance-2-0 für die maßgebliche Prompt- und Parameter-Richtlinie.

WICHTIG: Verwenden Sie immer video_selector anstatt Anbieter-Tools direkt aufzurufen. Der Selektor kümmert sich um Verfügbarkeitsprüfungen, Kostenvergleiche und automatisches Fallback, und seine Bewertungsengine bevorzugt bereits Seedance 2.0 für kinoreife Absichten.

Authentifizierung

Verwenden Sie dasjenige konfigurierte Gateway, das am besten zu den verfügbaren Anbietern des Benutzers und dessen Kosten-/Qualitätszielen passt.

  • HeyGen: Setzen Sie HEYGEN_API_KEY, um auf das Multi-Modell-Gateway zuzugreifen.
  • fal.ai: Setzen Sie FAL_KEY, um über fal.ai auf Kling, MiniMax und Veo zuzugreifen.
  • Kling Official: Setzen Sie KLING_API_KEY, um über provider="kling_official" auf die offizielle Kling-Direct-API zuzugreifen.
  • Gemini API: Setzen Sie GEMINI_API_KEY oder GOOGLE_API_KEY, um auf die Gemini Omni Video-Generierung und konversationelle Bearbeitung zuzugreifen.

Beschreiben Sie kein Gateway als Standard- oder Top-Auswahl, ohne zuvor das Register und die aktuelle Aufgabenpassung zu prüfen.

fal.ai Kling (kling_video, provider="kling") und Kling Official (kling_official_video, provider="kling_official") sind unterschiedliche Pfade. Verwenden Sie keine fal.ai-Warteschlangen-URLs, FAL_KEY oder Bild-Upload-Verhalten, wenn der offizielle Anbieter ausgewählt ist.

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"workflow_type": "GenerateVideoNode", "input": {"prompt": "Eine Drohnenaufnahme über einer Küstenstadt bei Sonnenuntergang"}}'

Standard-Workflow

  1. Rufen Sie POST /v1/workflows/executions mit workflow_type: "GenerateVideoNode" und Ihrem Prompt auf
  2. Sie erhalten eine execution_id in der Antwort
  3. Pollen Sie GET /v1/workflows/executions/{id} alle 10 Sekunden, bis der Status completed ist
  4. Verwenden Sie die zurückgegebene video_url aus der Ausgabe

Videogenerierung ausführen

Endpunkt

POST https://api.heygen.com/v1/workflows/executions

Anfragefelder

FeldTypErf.Beschreibung
workflow_typestringJMuss "GenerateVideoNode" sein
input.promptstringJTextbeschreibung des zu generierenden Videos
input.providerstringVideogenerierungsanbieter (Standard: "veo_3_1"). Siehe Anbieter unten.
input.aspect_ratiostringSeitenverhältnis (Standard: "16:9"). Übliche Werte: "16:9", "9:16", "1:1"
input.reference_image_urlstringReferenzbild-URL für Bild-zu-Video-Generierung
input.tail_image_urlstringEndbild-URL für die Führung des letzten Frames
input.configobjectAnbieterspezifische Konfigurationsüberschreibungen

Anbieter

AnbieterWertBeschreibung
VEO 3.1"veo_3_1"Google VEO 3.1 (Standard, höchste Qualität)
VEO 3.1 Fast"veo_3_1_fast"Schnellere VEO 3.1-Variante
VEO 3"veo3"Google VEO 3
VEO 3 Fast"veo3_fast"Schnellere VEO 3-Variante
VEO 2"veo2"Google VEO 2
Kling Pro"kling_pro"Kling Pro-Modell
Kling V2"kling_v2"Kling V2-Modell
Sora V2"sora_v2"OpenAI Sora V2
Sora V2 Pro"sora_v2_pro"OpenAI Sora V2 Pro
Runway Gen-4"runway_gen4"Runway Gen-4
Seedance Lite"seedance_lite"Seedance Lite
Seedance Pro"seedance_pro"Seedance Pro
LTX Distilled"ltx_distilled"LTX Distilled (schnellste)

curl

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "Eine Drohnenaufnahme über einer Küstenstadt zur goldenen Stunde, filmische Beleuchtung",
      "provider": "veo_3_1",
      "aspect_ratio": "16:9"
    }
  }'

TypeScript

interface GenerateVideoInput {
  prompt: string;
  provider?: string;
  aspect_ratio?: string;
  reference_image_url?: string;
  tail_image_url?: string;
  config?: Record<string, any>;
}

interface ExecuteResponse {
  data: {
    execution_id: string;
    status: "submitted";
  };
}

async function generateVideo(input: GenerateVideoInput): Promise<string> {
  const response = await fetch("https://api.heygen.com/v1/workflows/executions", {
    method: "POST",
    headers: {
      "X-Api-Key": process.env.HEYGEN_API_KEY!,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      workflow_type: "GenerateVideoNode",
      input,
    }),
  });

  const json: ExecuteResponse = await response.json();
  return json.data.execution_id;
}

Python

import requests
import os

def generate_video(
    prompt: str,
    provider: str = "veo_3_1",
    aspect_ratio: str = "16:9",
    reference_image_url: str | None = None,
    tail_image_url: str | None = None,
) -> str:
    payload = {
        "workflow_type": "GenerateVideoNode",
        "input": {
            "prompt": prompt,
            "provider": provider,
            "aspect_ratio": aspect_ratio,
        },
    }

    if reference_image_url:
        payload["input"]["reference_image_url"] = reference_image_url
    if tail_image_url:
        payload["input"]["tail_image_url"] = tail_image_url

    response = requests.post(
        "https://api.heygen.com/v1/workflows/executions",
        headers={
            "X-Api-Key": os.environ["HEYGEN_API_KEY"],
            "Content-Type": "application/json",
        },
        json=payload,
    )

    data = response.json()
    return data["data"]["execution_id"]

Antwortformat

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "submitted"
  }
}

Status prüfen

Endpunkt

GET https://api.heygen.com/v1/workflows/executions/{execution_id}

curl

curl -X GET "https://api.heygen.com/v1/workflows/executions/node-gw-v1d2e3o4" \
  -H "X-Api-Key: $HEYGEN_API_KEY"

Antwortformat (Abgeschlossen)

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "completed",
    "output": {
      "video": {
        "video_url": "https://resource.heygen.ai/generated/video.mp4",
        "video_id": "abc123"
      },
      "asset_id": "asset-xyz789"
    }
  }
}

Abfragen bis zur Fertigstellung

async function generateVideoAndWait(
  input: GenerateVideoInput,
  maxWaitMs = 600000,
  pollIntervalMs = 10000
): Promise<{ video_url: string; video_id: string; asset_id: string }> {
  const executionId = await generateVideo(input);
  console.log(`Videogenerierung eingereicht: ${executionId}`);

  const startTime = Date.now();
  while (Date.now() - startTime < maxWaitMs) {
    const response = await fetch(
      `https://api.heygen.com/v1/workflows/executions/${executionId}`,
      { headers: { "X-Api-Key": process.env.HEYGEN_API_KEY! } }
    );
    const { data } = await response.json();

    switch (data.status) {
      case "completed":
        return {
          video_url: data.output.video.video_url,
          video_id: data.output.video.video_id,
          asset_id: data.output.asset_id,
        };
      case "failed":
        throw new Error(data.error?.message || "Videogenerierung fehlgeschlagen");
      case "not_found":
        throw new Error("Workflow nicht gefunden");
      default:
        await new Promise((r) => setTimeout(r, pollIntervalMs));
    }
  }

  throw new Error("Videogenerierung abgelaufen");
}

Verwendungsbeispiele

Einfacher Text-zu-Video

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "Eine Person, die durch einen sonnenbeschienenen Park geht, geringe Tiefenschärfe"
    }
  }'

Bild-zu-Video

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "Animieren Sie dieses Produktfoto mit einem langsamen Zoom und weichen Partikeleffekten",
    "reference_image_url": "https://example.com/produktfoto.png",
    "provider": "kling_pro"
  }
}

Hochformat für Soziale Medien

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "Ein trendiges Café-Interieur, Kamera schwenkt langsam über die Theke",
    "aspect_ratio": "9:16",
    "provider": "veo_3_1"
  }
}

Schnelle Generierung mit LTX

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "Abstrakte, farbenfrohe Formen, die sich verwandeln und fließen",
    "provider": "ltx_distilled"
  }
}

Best Practices

  1. Seien Sie beschreibend in Prompts – fügen Sie Details zu Kamerabewegung, Beleuchtung, Stil und Stimmung hinzu
  2. Standardmäßig Seedance 2.0 (über seedance_video) für kinoreife und bewegungsgeführte Arbeiten verwenden, wenn FAL_KEY gesetzt ist – einmaliges Durchgangs-synchronisiertes Audio, Mehrfachshots, Lippen-Synchronisation, Kamerasteuerung auf Regisseurebene. Verwenden Sie VEO 3.1 / Sora V2 Pro, wenn der Benutzer ausdrücklich Google- oder OpenAI-Bewegungscharakteristik wünscht; verwenden Sie ltx_distilled oder veo3_fast nur, wenn Geschwindigkeit die harte Einschränkung ist
  3. Verwenden Sie Referenzbilder für die Bild-zu-Video-Generierung – ideal zum Animieren von Produktfotos oder Standbildern
  4. Videogenerierung ist der langsamste Workflow – erlauben Sie bis zu 5 Minuten, pollt alle 10 Sekunden
  5. Seitenverhältnis ist wichtig – verwenden Sie 9:16 für Social-Media-Stories/Reels, 16:9 für Querformat, 1:1 für Quadrat
  6. Die Ausgabe enthält asset_id – verwenden Sie diese, um auf das generierte Video in anderen HeyGen-Workflows zu verweisen
  7. Ausgabe-URLs sind temporär – laden Sie generierte Videos umgehend herunter oder speichern Sie sie

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

Verwandte Skills