Communitygithub.com

Army161/OpenMontage

複数のプロバイダーゲートウェイを使用して、テキストプロンプトからAI動画を生成します。テキスト説明からの動画生成、AI生成動画クリップの作成、参照画像からの画像-to-動画生成、VEO、Kling、Sora、Runway、Seedance、MiniMaxなどのプロバイダー間の選択に使用します。HeyGen APIとfal.ai APIの2つのゲートウェイをサポートします。

OpenMontage とは?

Army161/OpenMontageは、テキストプロンプトからAI動画を生成するためのスキルです。複数のプロバイダーを2つのAPIゲートウェイ(HeyGen APIとfal.ai API)を通じて統合的に利用できる点が特徴です。HeyGenゲートウェイではVEO 3.1、Kling Pro、Sora v2、Runway Gen-4、Seedance Pro/Lite (1.x)をサポートし、fal.aiゲートウェイではSeedance 2.0、Kling v3/v2.1、MiniMax、VEOをサポートします。特にシネマティックで高品質なクリップ生成においてSeedance 2.0がデフォルトとして推奨されており、単一パスでの同期オーディオ、マルチショット生成、ディレクターレベルのカメラ制御、引用されたダイアログからのリップシンクなどの高度な機能を備えています。このスキルはClaude Code、Cursor、CodexなどのAIエージェント向けに設計されており、動画生成のための統一されたインターフェースを提供します。常に`video_selector`を呼び出してプロバイダーを選択することで、可用性の確認、コスト比較、自動フォールバックを実現します。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Army161/OpenMontage/tree/HEAD/.agents/skills/ai-video-gen

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

動画生成(マルチゲートウェイ)

テキストプロンプトからAI動画を生成します。2つのAPIゲートウェイを介して複数のプロバイダーをサポートします。

ゲートウェイ環境変数プロバイダーツール
fal.aiFAL_KEYSeedance 2.0(標準 + 高速)、Kling v3/v2.1、MiniMax、VEOseedance_video、kling_video、minimax_video、veo_video
HeyGenHEYGEN_API_KEYVEO 3.1、Kling Pro、Sora v2、Runway Gen-4、Seedance Pro / Lite (1.x)heygen_video

推奨プレミアムデフォルト — Seedance 2.0。 プレミアムゲートウェイ(FAL_KEY → seedance_video、またはHeyGenのVideo Agent / Avatar Shotsパス)が設定されている場合、Seedance 2.0がシネマティック、トレーラー、高忠実度クリップ作業のデフォルトとして推奨されます。これは、単一パスでのネイティブ同期オーディオ、マルチショット生成、ディレクターレベルのカメラ制御、引用されたダイアログからのリップシンクを備えた唯一のモデルであり、2026年初頭時点でArtificial Analysis Eloで1位にランクされています。ユーザーに特定の理由(予算、プロバイダーの好み、VEOのようなフォトリアルな風景やKlingのような特定のアニメルックなどのスタイルの適合性)がある場合にのみ、Seedance 2.0から切り替えてください。詳細なプロンプトとパラメーターガイドについては、Layer 3のseedance-2-0を参照してください。

重要: プロバイダーツールを直接呼び出す代わりに、常にvideo_selectorを使用してください。セレクターは可用性の確認、コスト比較、自動フォールバックを処理し、そのスコアリングエンジンはシネマティックな意図に対してSeedance 2.0にバイアスがかかっています。

認証

ユーザーの利用可能なプロバイダーとコスト/品質目標に最も適した設定済みゲートウェイを使用してください。

  • HeyGen: HEYGEN_API_KEYを設定してマルチモデルゲートウェイにアクセスします。
  • fal.ai: FAL_KEYを設定してfal.aiを通じてKling、MiniMax、Veoにアクセスします。

レジストリと現在のタスクの適合性を最初に確認せずに、どちらのゲートウェイもデフォルトまたは最良の選択として説明しないでください。

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"workflow_type": "GenerateVideoNode", "input": {"prompt": "夕日が沈む海岸都市の上を飛ぶドローンのショット"}}'

デフォルトワークフロー

  1. POST /v1/workflows/executions を workflow_type: "GenerateVideoNode" とプロンプトで呼び出します。
  2. レスポンスで execution_id を受け取ります。
  3. GET /v1/workflows/executions/{id} を10秒ごとにポーリングし、ステータスが completed になるまで待ちます。
  4. 出力から返された video_url を使用します。

動画生成の実行

エンドポイント

POST https://api.heygen.com/v1/workflows/executions

リクエストフィールド

フィールド型必須説明
workflow_typestringY"GenerateVideoNode" である必要があります
input.promptstringY生成する動画のテキスト説明
input.providerstring動画生成プロバイダー(デフォルト: "veo_3_1")。以下のプロバイダーを参照してください。
input.aspect_ratiostringアスペクト比(デフォルト: "16:9")。一般的な値: "16:9"、"9:16"、"1:1"
input.reference_image_urlstring画像-to-動画生成のための参照画像URL
input.tail_image_urlstring最終フレームガイダンスのためのテール画像URL
input.configobjectプロバイダー固有の設定オーバーライド

プロバイダー

プロバイダー値説明
VEO 3.1"veo_3_1"Google VEO 3.1(デフォルト、最高品質)
VEO 3.1 Fast"veo_3_1_fast"より高速なVEO 3.1バリアント
VEO 3"veo3"Google VEO 3
VEO 3 Fast"veo3_fast"より高速なVEO 3バリアント
VEO 2"veo2"Google VEO 2
Kling Pro"kling_pro"Kling Proモデル
Kling V2"kling_v2"Kling V2モデル
Sora V2"sora_v2"OpenAI Sora V2
Sora V2 Pro"sora_v2_pro"OpenAI Sora V2 Pro
Runway Gen-4"runway_gen4"Runway Gen-4
Seedance Lite"seedance_lite"Seedance Lite
Seedance Pro"seedance_pro"Seedance Pro
LTX Distilled"ltx_distilled"LTX Distilled(最速)

curl

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "ゴールデンアワーの海岸都市の上を飛ぶドローンのショット、シネマティックな照明",
      "provider": "veo_3_1",
      "aspect_ratio": "16:9"
    }
  }'

TypeScript

interface GenerateVideoInput {
  prompt: string;
  provider?: string;
  aspect_ratio?: string;
  reference_image_url?: string;
  tail_image_url?: string;
  config?: Record<string, any>;
}

interface ExecuteResponse {
  data: {
    execution_id: string;
    status: "submitted";
  };
}

async function generateVideo(input: GenerateVideoInput): Promise<string> {
  const response = await fetch("https://api.heygen.com/v1/workflows/executions", {
    method: "POST",
    headers: {
      "X-Api-Key": process.env.HEYGEN_API_KEY!,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      workflow_type: "GenerateVideoNode",
      input,
    }),
  });

  const json: ExecuteResponse = await response.json();
  return json.data.execution_id;
}

Python

import requests
import os

def generate_video(
    prompt: str,
    provider: str = "veo_3_1",
    aspect_ratio: str = "16:9",
    reference_image_url: str | None = None,
    tail_image_url: str | None = None,
) -> str:
    payload = {
        "workflow_type": "GenerateVideoNode",
        "input": {
            "prompt": prompt,
            "provider": provider,
            "aspect_ratio": aspect_ratio,
        },
    }

    if reference_image_url:
        payload["input"]["reference_image_url"] = reference_image_url
    if tail_image_url:
        payload["input"]["tail_image_url"] = tail_image_url

    response = requests.post(
        "https://api.heygen.com/v1/workflows/executions",
        headers={
            "X-Api-Key": os.environ["HEYGEN_API_KEY"],
            "Content-Type": "application/json",
        },
        json=payload,
    )

    data = response.json()
    return data["data"]["execution_id"]

レスポンス形式

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "submitted"
  }
}

ステータスの確認

エンドポイント

GET https://api.heygen.com/v1/workflows/executions/{execution_id}

curl

curl -X GET "https://api.heygen.com/v1/workflows/executions/node-gw-v1d2e3o4" \
  -H "X-Api-Key: $HEYGEN_API_KEY"

レスポンス形式(完了時)

{
  "data": {
    "execution_id": "node-gw-v1d2e3o4",
    "status": "completed",
    "output": {
      "video": {
        "video_url": "https://resource.heygen.ai/generated/video.mp4",
        "video_id": "abc123"
      },
      "asset_id": "asset-xyz789"
    }
  }
}

完了までのポーリング

async function generateVideoAndWait(
  input: GenerateVideoInput,
  maxWaitMs = 600000,
  pollIntervalMs = 10000
): Promise<{ video_url: string; video_id: string; asset_id: string }> {
  const executionId = await generateVideo(input);
  console.log(`動画生成を送信しました: ${executionId}`);

  const startTime = Date.now();
  while (Date.now() - startTime < maxWaitMs) {
    const response = await fetch(
      `https://api.heygen.com/v1/workflows/executions/${executionId}`,
      { headers: { "X-Api-Key": process.env.HEYGEN_API_KEY! } }
    );
    const { data } = await response.json();

    switch (data.status) {
      case "completed":
        return {
          video_url: data.output.video.video_url,
          video_id: data.output.video.video_id,
          asset_id: data.output.asset_id,
        };
      case "failed":
        throw new Error(data.error?.message || "動画生成に失敗しました");
      case "not_found":
        throw new Error("ワークフローが見つかりません");
      default:
        await new Promise((r) => setTimeout(r, pollIntervalMs));
    }
  }

  throw new Error("動画生成がタイムアウトしました");
}

使用例

シンプルなテキスト-to-動画

curl -X POST "https://api.heygen.com/v1/workflows/executions" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "workflow_type": "GenerateVideoNode",
    "input": {
      "prompt": "日差しの明るい公園を歩く人物、浅い被写界深度"
    }
  }'

画像-to-動画

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "この商品写真をスローズームとソフトなパーティクルエフェクトでアニメーション化する",
    "reference_image_url": "https://example.com/product-photo.png",
    "provider": "kling_pro"
  }
}

ソーシャルメディア用縦型フォーマット

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "トレンディなコーヒーショップのインテリア、カメラがカウンターをゆっくりとパンする",
    "aspect_ratio": "9:16",
    "provider": "veo_3_1"
  }
}

LTXによる高速生成

{
  "workflow_type": "GenerateVideoNode",
  "input": {
    "prompt": "抽象的なカラフルな形状が変形して流れる",
    "provider": "ltx_distilled"
  }
}

ベストプラクティス

  1. プロンプトは詳細に記述する — カメラの動き、照明、スタイル、ムードの詳細を含めてください。
  2. シネマティックでモーション主体の作業には、Seedance 2.0(seedance_video経由)をデフォルトにする(FAL_KEYが設定されている場合) — 単一パス同期オーディオ、マルチショット、リップシンク、ディレクターレベルのカメラを提供します。ユーザーが特にGoogleやOpenAIのモーションキャラクターを希望する場合はVEO 3.1 / Sora V2 Proを使用し、速度が厳しい制約である場合にのみltx_distilledまたはveo3_fastを使用してください。
  3. 画像-to-動画生成には参照画像を使用する — 商品写真や静止画像のアニメーション化に最適です。
  4. 動画生成は最も遅いワークフローです — 最大5分間待機し、10秒ごとにポーリングしてください。
  5. アスペクト比は重要です — ソーシャルメディアのストーリー/リールには9:16、横長には16:9、正方形には1:1を使用してください。
  6. 出力にはasset_idが含まれています — これを他のHeyGenワークフローで生成された動画を参照するために使用してください。
  7. 出力URLは一時的です — 生成された動画は速やかにダウンロードまたは保存してください。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Army161/OpenMontage

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Army161/OpenMontage

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Army161/OpenMontage

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Army161/OpenMontage

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Army161/OpenMontage

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Army161/OpenMontage

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Army161/OpenMontage

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Army161/OpenMontage

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Army161/OpenMontage

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Army161/OpenMontage

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Army161/OpenMontage

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Army161/OpenMontage

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

Army161/OpenMontage

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Army161/OpenMontage

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Army161/OpenMontage

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Army161/OpenMontage

Best practices for Remotion - Video creation in React

Army161/OpenMontage

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Army161/OpenMontage

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Army161/OpenMontage

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Army161/OpenMontage

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

関連スキル