Communitygithub.com

マルチゲートウェイ動画生成

複数のプロバイダゲートウェイ(VEO、Kling、Sora、Runway、Seedance、MiniMax、Gemini Omni)を使用してテキストプロンプトからAI動画を生成します。テキスト説明からの動画生成、AI動画クリップ作成、画像からの動画生成、プロバイダ選択に最適です。

マルチゲートウェイ動画生成 とは?

このスキルは、複数のAPIゲートウェイ(HeyGen、fal.ai、Kling公式、Gemini API)を通じて、テキストプロンプトからAI動画を生成するための包括的なソリューションを提供します。Cinematicな動画にはSeedance 2.0を推奨し、Gemini Omni Flashは既存クリップの反復編集(オブジェクトの追加/削除、スタイル変更、照明調整)をサポートします。主な機能として、`video_selector`ツールによるプロバイダの自動選択、コスト比較、フォールバック処理を備え、ユーザーは適切な環境変数(`FAL_KEY`、`HEYGEN_API_KEY`、`KLING_API_KEY`、`GEMINI_API_KEY`)を設定するだけで利用開始できます。生成された動画は最大5分間のポーリングで完了を確認し、TemporaryなURLとして出力されるため迅速なダウンロードが必要です。

対応~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/ai-video-gen

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

動画生成(マルチゲートウェイ)

テキストプロンプトからAI動画を生成します。4つのAPIパスを通じて複数のプロバイダをサポートします:

ゲートウェイ環境変数プロバイダツール
fal.aiFAL_KEYSeedance 2.0(標準 + 高速)、Kling v3/v2.1、MiniMax、VEOseedance_video、kling_video、minimax_video、veo_video
HeyGenHEYGEN_API_KEYVEO 3.1、Kling Pro、Sora v2、Runway Gen-4、Seedance Pro / Lite(1.x)heygen_video
Kling公式KLING_API_KEYKling公式 Classic、Turbo、基本Omni動画kling_official_video
Gemini APIGEMINI_API_KEY / GOOGLE_API_KEYGemini Omni Flash(生成 + 会話型編集)gemini_omni_video

反復編集 — Gemini Omni。 既存クリップの改良(オブジェクトの追加/削除、スタイル変更、照明や画面上テキストの変更)を再生成ではなく行う場合、Gemini Omni Flashがフリート唯一のステートフルなマルチターン編集を提供します。書き込み前に、認証ガイド(参照画像タグ、タイムコード構文、編集プロンプトルール)についてはレイヤー3 gemini-omniを参照してください。

推奨プレミアムデフォルト — Seedance 2.0。 プレミアムゲートウェイ(FAL_KEY → seedance_video、またはHeyGenのVideo Agent / Avatar Shotsパス)が設定されている場合、Seedance 2.0がシネマティック、トレーラー、高精細クリップ作業の推奨デフォルトです。これはフリートで唯一の単一パスネイティブ同期オーディオ、マルチショット生成、監督レベルのカメラ制御、引用ダイアログからのリップシンクを備えており、2026年初頭時点でArtificial Analysis Eloで第1位にランクされています。ユーザーに特定の理由(予算、プロバイダの好み、VEOのようなスタイル的適合、または特定のアニメ風にはKling)がある場合のみ切り替えてください。認証ガイドについてはレイヤー3 seedance-2-0を参照してください。

重要: プロバイダツールを直接呼び出す代わりに、常にvideo_selectorを使用してください。セレクターは可用性チェック、コスト比較、自動フォールバックを処理し、そのスコアリングエンジンはすでにシネマティックな意図に対してSeedance 2.0を優先します。

認証

ユーザーの利用可能なプロバイダとコスト/品質目標に最も合致する設定済みゲートウェイを使用します。

  • HeyGen: HEYGEN_API_KEYを設定してマルチモデルゲートウェイにアクセスします。
  • fal.ai: FAL_KEYを設定して、fal.ai経由でKling、MiniMax、Veoにアクセスします。
  • Kling公式: KLING_API_KEYを設定して、provider="kling_official"経由でKling公式の直接APIにアクセスします。
  • Gemini API: GEMINI_API_KEYまたはGOOGLE_API_KEYを設定して、Gemini Omniの動画生成と会話型編集にアクセスします。

ゲートウェイをデフォルトまたは最上位の選択肢として説明する前に、レジストリと現在のタスクに適しているか確認してください。

fal.ai Kling(kling_video、provider="kling")とKling公式(kling_official_video、provider="kling_official")は異なるパスです。公式プロバイダが選択された場合、fal.aiのキューURL、FAL_KEY、または画像アップロード動作を再利用しないでください。

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"workflow_type": "GenerateVideoNode", "input": {"prompt": "夕日の中の海岸都市をドローンで撮影したショット"}}'

デフォルトワークフロー

  1. POST /v1/workflows/executionsをworkflow_type: "GenerateVideoNode"とプロンプトで呼び出す
  2. レスポンスからexecution_idを受け取る
  3. GET /v1/workflows/executions/{id}を10秒ごとにポーリングし、ステータスがcompletedになるまで待つ
  4. 出力から返されたvideo_urlを使用する

動画生成の実行

エンドポイント

POST https://api.heygen.com/v1/workflows/executions

リクエストフィールド

フィールドタイプ必須説明
workflow_typestringY"GenerateVideoNode"でなければなりません
input.promptstringY生成する動画のテキスト説明
input.providerstring動画生成プロバイダ(デフォルト:"veo_3_1")。以下のプロバイダを参照。
input.aspect_ratiostringアスペクト比(デフォルト:"16:9")。一般的な値:"16:9"、"9:16"、"1:1"
input.reference_image_urlstring画像から動画生成のための参照画像URL
input.tail_image_urlstring最後のフレームガイダンスのための末尾画像URL
input.configobjectプロバイダ固有の設定オーバーライド

プロバイダ

プロバイダ値説明
VEO 3.1"veo_3_1"Google VEO 3.1(デフォルト、最高品質)
VEO 3.1 高速"veo_3_1_fast"より高速なVEO 3.1バリアント
VEO 3"veo3"Google VEO 3
VEO 3 高速"veo3_fast"より高速なVEO 3バリアント
VEO 2"veo2"Google VEO 2
Kling Pro"kling_pro"Kling Proモデル
Kling V2"kling_v2"Kling V2モデル
Sora V2"sora_v2"OpenAI Sora V2
Sora V2 Pro"sora_v2_pro"OpenAI Sora V2 Pro
Runway Gen-4"runway_gen4"Runway Gen-4
Seedance Lite"seedance_lite"Seedance Lite
Seedance Pro"seedance_pro"Seedance Pro
LTX 蒸留"ltx_distilled"LTX蒸留(最速)

curl

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "黄金時間の海岸都市をドローンで撮影したショット、シネマティックな照明",
      "provider": "veo_3_1",
      "aspect_ratio": "16:9"
    }
  }'

TypeScript

interface GenerateVideoInput {
  prompt: string;
  provider?: string;
  aspect_ratio?: string;
  reference_image_url?: string;
  tail_image_url?: string;
  config?: Record<string, any>;
}

interface ExecuteResponse {
  data: {
    execution_id: string;
    status: "submitted";
  };
}

async function generateVideo(input: GenerateVideoInput): Promise<string> {
  const response = await fetch("https://api.heygen.com/v1/workflows/executions", {
    method: "POST",
    headers: {
      "X-Api-Key": process.env.HEYGEN_API_KEY!,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      workflow_type: "GenerateVideoNode",
      input,
    }),
  });

  const json: ExecuteResponse = await response.json();
  return json.data.execution_id;
}

Python

import requests
import os

def generate_video(
    prompt: str,
    provider: str = "veo_3_1",
    aspect_ratio: str = "16:9",
    reference_image_url: str | None = None,
    tail_image_url: str | None = None,
) -> str:
    payload = {
        "workflow_type": "GenerateVideoNode",
        "input": {
            "prompt": prompt,
            "provider": provider,
            "aspect_ratio": aspect_ratio,
        },
    }

    if reference_image_url:
        payload["input"]["reference_image_url"] = reference_image_url
    if tail_image_url:
        payload["input"]["tail_image_url"] = tail_image_url

    response = requests.post(
        "https://api.heygen.com/v1/workflows/executions",
        headers={
            "X-Api-Key": os.environ["HEYGEN_API_KEY"],
            "Content-Type": "application/json",
        },
        json=payload,
    )

    data = response.json()
    return data["data"]["execution_id"]

レスポンス形式

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "submitted"
  }
}

ステータス確認

エンドポイント

GET https://api.heygen.com/v1/workflows/executions/{execution_id}

curl

curl -X GET "https://api.heygen.com/v1/workflows/executions/node-gw-v1d2e3o4" \
  -H "X-Api-Key: $HEYGEN_API_KEY"

レスポンス形式(完了時)

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "completed",
    "output": {
      "video": {
        "video_url": "https://resource.heygen.ai/generated/video.mp4",
        "video_id": "abc123"
      },
      "asset_id": "asset-xyz789"
    }
  }
}

完了確認のポーリング

async function generateVideoAndWait(
  input: GenerateVideoInput,
  maxWaitMs = 600000,
  pollIntervalMs = 10000
): Promise<{ video_url: string; video_id: string; asset_id: string }> {
  const executionId = await generateVideo(input);
  console.log(`動画生成を送信しました: ${executionId}`);

  const startTime = Date.now();
  while (Date.now() - startTime < maxWaitMs) {
    const response = await fetch(
      `https://api.heygen.com/v1/workflows/executions/${executionId}`,
      { headers: { "X-Api-Key": process.env.HEYGEN_API_KEY! } }
    );
    const { data } = await response.json();

    switch (data.status) {
      case "completed":
        return {
          video_url: data.output.video.video_url,
          video_id: data.output.video.video_id,
          asset_id: data.output.asset_id,
        };
      case "failed":
        throw new Error(data.error?.message || "動画生成に失敗しました");
      case "not_found":
        throw new Error("ワークフローが見つかりません");
      default:
        await new Promise((r) => setTimeout(r, pollIntervalMs));
    }
  }

  throw new Error("動画生成がタイムアウトしました");
}

使用例

シンプルなテキストから動画へ

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "日光が差し込む公園を歩く人物、浅い被写界深度"
    }
  }'

画像から動画へ

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "この製品写真をスローズームで柔らかなパーティクルエフェクトでアニメーション化する",
    "reference_image_url": "https://example.com/product-photo.png",
    "provider": "kling_pro"
  }
}

ソーシャルメディア用縦型フォーマット

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "トレンディなコーヒーショップの店内、カメラがカウンターをゆっくりパンする",
    "aspect_ratio": "9:16",
    "provider": "veo_3_1"
  }
}

LTXでの高速生成

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "抽象的なカラフルな形状が変形し流れる",
    "provider": "ltx_distilled"
  }
}

ベストプラクティス

  1. プロンプトは具体的に — カメラ移動、照明、スタイル、ムードの詳細を含める
  2. シネマティックで動き重視の作業にはSeedance 2.0(seedance_video経由)をデフォルトにする(FAL_KEYが設定されている場合)— 単一パス同期オーディオ、マルチショット、リップシンク、監督レベルのカメラ制御。ユーザーが特にGoogleやOpenAIの動きの特徴を望む場合はVEO 3.1 / Sora V2 Proを使用。速度が絶対条件の場合のみltx_distilledまたはveo3_fastを使用する
  3. 画像から動画生成には参照画像を使用 — 製品写真や静止画像のアニメーション化に最適
  4. 動画生成は最も遅いワークフロー — 最大5分間待機し、10秒ごとにポーリング
  5. アスペクト比は重要 — ソーシャルメディアストーリー/リールには9:16、ランドスケープには16:9、正方形には1:1
  6. 出力にはasset_idが含まれる — これを使用して生成された動画を他のHeyGenワークフローで参照
  7. 出力URLは一時的 — 生成された動画は速やかにダウンロードまたは保存

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

関連スキル