ビデオツールキット
テキストの概要からプロフェッショナルな説明動画を作成します。このツールキットは、クラウドGPU(ModalまたはRunPod)上のオープンソースAIモデルを使用して、音声ナレーション、画像生成、音楽、トーキングヘッドアニメーションを生成します。Remotion(React)が合成とレンダリングを担当します。
重要: ツールキットのパス
ツールキットは固定パスにあります。ツールコマンドを実行する前に、必ず cd でここに移動してください。
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
プロジェクトディレクトリ内からツールコマンドを実行しないでください。 ツールはツールキットルートからの相対パスでパスを解決します。
セットアップ
ステップ1: 現在の状態を確認
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべての項目が [x] と表示されたら、以下の「クイックテスト」に進んでください。それ以外の場合はセットアップを続行します。
ステップ2: Python依存関係をインストール
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
注: --break-system-packages は、管理されたPython(PEP 668)を使用するDebian/Ubuntuで必要です。コンテナ内では安全です。
ステップ3: クラウドGPUエンドポイントを設定
ツールキットは .env 内のクラウドGPUエンドポイントURLを必要とします。.env が存在し、Modalエンドポイントが設定されているか確認します:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Modalエンドポイントが設定されている場合は準備完了です。設定されていない場合は、ユーザーにModalエンドポイントURLを提供するか、Modalをセットアップするよう依頼してください:
pip3 install --break-system-packages modal
python3 -m modal setup # 認証のためにブラウザを開きます
# 各ツールをデプロイ — 出力からエンドポイントURLを取得
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # 必須: modal secret create huggingface-token HF_TOKEN=hf_...
LTX-2の前提条件: LTX-2をデプロイする前に、HuggingFaceシークレットを作成し、Gemma 3ライセンスを受け入れてください:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
各URLを .env に追加します:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
オプションですが推奨 — 信頼性の高いファイル転送のためのCloudflare R2:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
ステップ4: 確認とクイックテスト
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべてのツールが [x] と表示されるはずです。次に、GPUパイプラインが動作することを確認するためにクイックテストを実行します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "こんにちは、これはテストです。" --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
有効な .mp3 ファイルが生成されれば、セットアップは完了です。失敗した場合は、以下を確認してください:
.envに正しいMODAL_QWEN3_TTS_ENDPOINT_URLがあることpython3 tools/verify_setup.py --jsonを実行し、modal_toolsで不足しているエンドポイントを確認する
費用: Modalには月額30ドルの無料コンピューティング枠が含まれます。一般的な60秒の動画の費用は1~3ドルです。
動画の作成
ステップ1: プロジェクトを作成
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/PROJECT_NAME
cd projects/PROJECT_NAME
npm install
テンプレート: product-demo (マーケティング/説明用), sprint-review, sprint-review-v2 (合成可能なシーン).
ステップ2: 設定ファイルを記述
projects/PROJECT_NAME/src/config/demo-config.ts を編集します:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'My Product',
tagline: 'What it does in one line',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
シーンタイプ: title, problem, solution, demo, feature, stats, cta.
時間のルール: durationSeconds を ceil(単語数 / 2.5) + 2 として見積もります。ステップ4で音声を生成した後に調整します。
ステップ3: ナレーションスクリプトを記述
projects/PROJECT_NAME/VOICEOVER-SCRIPT.md を作成します:
## シーン1: タイトル (9秒, ~17語)
AIで動画を構築します。製品名ツールキットを使えば簡単です。
## シーン2: 問題 (14秒, ~30語)
問題の説明をここに記述します。簡潔で共感を呼ぶ内容にしてください。
シーンごとの単語予算: (durationSeconds - 2) * 2.5 語。-2は1秒の音声遅延と1秒のパディングを考慮しています。
ステップ4: アセットを生成
重要: 以下のコマンドはすべて、プロジェクトディレクトリではなく、ツールキットルートから実行する必要があります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. BGM
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/PROJECT_NAME/public/audio/bg-music.mp3 \
--cloud modal
プリセット: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. ナレーション (シーンごと)
シーンごとに1つの .mp3 ファイルを生成します。単一のナレーションファイルを生成しないでください。
cd ~/.openclaw/workspace/claude-code-video-toolkit
# シーン01
python3 tools/qwen3_tts.py \
--text "シーン1のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
# シーン02
python3 tools/qwen3_tts.py \
--text "シーン2のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/02.mp3 \
--cloud modal
# ... 各シーンを繰り返し
話者: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
トーン: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
音声クローン(参照録音が必要):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "読み上げるテキスト" \
--ref-audio assets/voices/reference.m4a \
--ref-text "参照音声の正確な文字起こし" \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
4c. シーン画像
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "ダークなテクノロジー背景、青い幾何学グリッド、シネマティックライティング" \
--width 1920 --height 1080 \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
画像プリセット(--prompt --width --height の代わりに --preset を使用):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
4d. ビデオクリップ — Bロールとアニメーション背景(オプション)
Bロールのカットアウェイ、アニメーションスライド背景、イントロ/アウトロシーケンス用のAIビデオクリップを生成します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# テキストからのBロールクリップ
python3 tools/ltx2.py \
--prompt "ゴールデンアワーのヨーロッパの都市を上空からドローン撮影、シネマティックな広角" \
--output projects/PROJECT_NAME/public/videos/broll-europe.mp4 \
--cloud modal
# スライド/スクリーンショットのアニメーション化(画像から動画へ)
python3 tools/ltx2.py \
--prompt "優しいパーティクルエフェクト、柔らかなアンビエントライトの変化、非常にわずかなカメラの動き" \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--output projects/PROJECT_NAME/public/videos/animated-title.mp4 \
--cloud modal
# 抽象的なイントロ/アウトロ背景
python3 tools/ltx2.py \
--prompt "暗くムーディーな抽象背景、流れる青い光の筋、ボケ味のパーティクル、シネマティック" \
--output projects/PROJECT_NAME/public/videos/intro-bg.mp4 \
--cloud modal
Remotion構成で <OffthreadVideo> を使用:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
LTX-2のルール:
- クリップあたり最大約8秒(24fpsで193フレーム)。デフォルトは約5秒(121フレーム)。
- 幅/高さは64で割り切れる必要があります。デフォルト: 768x512。
- クリップあたり約0.20~0.25ドル、生成時間約2.5分。
- コールドスタート約60~90秒。後続のクリップはウォームGPUでより高速。
- 生成される音声はアンビエントのみ — 音声と音楽にはナレーション/音楽ツールを使用します。
- 生成の約30%にトレーニングデータのアーティファクト(ロゴ/テキスト)が含まれる場合があります。
--seedで再実行して変更します。
4e. トーキングヘッドナレーター(オプション)
プレゼンターのポートレートを生成し、シーンごとにアニメーションクリップを作成します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. ポートレートを生成
python3 tools/flux2.py \
--prompt "プロフェッショナルなプレゼンターポートレート、クリーンなスタイル、暗い背景、カメラ目線、上半身" \
--width 1024 --height 576 \
--output projects/PROJECT_NAME/public/images/presenter.png \
--cloud modal
# 2. シーンごとのナレータークリップを生成(シーンごとに1つ、1つの長い動画ではありません)
python3 tools/sadtalker.py \
--image projects/PROJECT_NAME/public/images/presenter.png \
--audio projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/PROJECT_NAME/public/narrator-01.mp4 \
--cloud modal
# ナレーターが必要な各シーンで繰り返し
SadTalkerのルール — これらに厳密に従ってください:
- 常に
--preprocess fullを使用(デフォルトのcropは正方形を出力し、アスペクト比がおかしくなります) - 常に
--stillを使用(頭の動きを減らし、プロフェッショナルに見えます) - 常に シーンごとのクリップ(6~15秒)を生成し、1つの長い動画を決して生成しないでください
- 処理: Modal A10G上で音声10秒あたり約3~4分
--expression-scale 0.8は表情を控えめに保ちます(範囲0.0~1.5)
4e. 画像編集(オプション)
既存の画像からシーンバリアントを作成します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--prompt "より暗く、赤いトーンで、不気味に" \
--output projects/PROJECT_NAME/public/images/problem-bg.png \
--cloud modal
4f. アップスケーリング(オプション)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/PROJECT_NAME/public/images/some-image.png \
--output projects/PROJECT_NAME/public/images/some-image-4x.png \
--scale 4 --cloud modal
ステップ5: タイミングを同期
ナレーション生成後は必ずこれを行ってください。 音声の長さは見積もりと異なります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/PROJECT_NAME/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
各シーンの durationSeconds を demo-config.ts で次のように更新します: ceil(実際の音声の長さ + 2)。
例: 01.mp3 が6.8秒の場合、シーン1の durationSeconds を 9 に設定します(ceil(6.8 + 2) = 9)。
ステップ6: 静止フレームを確認
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
確認項目: テキストの切り捨て、アニメーションのタイミング、ナレーターのPiP配置、背景のコントラスト。
ステップ7: レンダリング
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npm run render
出力: out/ProductDemo.mp4
構成パターン
シーンごとの音声
シーンごとの音声を1秒の遅延で使用します(from={30} = 30fpsで30フレーム = 1秒):
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
シーンごとのナレーターPiP
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
常に <OffthreadVideo> を使用し、決して <video> を使用しないでください。 Remotionでは、フレーム精度のレンダリングのために独自のコンポーネントが必要です。
トランジション
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
lib/transitions バレルからインポートしないでください — カスタムトランジションは lib/transitions/presentations/ から直接インポートします。
エラーリカバリ
| 問題 | 解決策 |
|---|---|
| ツールコマンドが「No module named...」で失敗 | ツールキットルートから pip3 install --break-system-packages -r tools/requirements.txt を実行 |
| 「MODAL_*_ENDPOINT_URL not configured」 | .env にエンドポイントURLがあるか確認。python3 tools/verify_setup.py を実行 |
| SadTalkerの出力が正方形/切り取られている | --preprocess full を忘れています。そのフラグを付けて再実行 |
| 音声がシーンに対して短すぎる/長すぎる | ステップ5(タイミング同期)を再実行し、設定を更新 |
npm run render が失敗 | プロジェクトディレクトリにいることを確認(ツールキットルートではない)。最初に npm install を実行 |
| Remotionで「Cannot find module」 | lib/transitions からではなく、lib/transitions/presentations/ から直接インポートしていることを確認 |
| Modalデプロイが認証エラーで失敗 | python3 -m modal setup を実行して再認証 |
| 画像生成に時間がかかりすぎる | 小さいサイズ(例: 1024x576)を試すか、--steps を減らす(デフォルトは28) |
| LTX-2出力にアーティファクトがある | --seed を変更して再実行(例: --seed 42) |
リソース
- GitHub: https://github.com/Army161/OpenMontage
- ドキュメント: プロジェクト内のREADME.mdとdocs/を参照
- ライセンス: MIT