Video Toolkit
テキストの概要からプロフェッショナルな説明動画を作成します。このツールキットは、音声合成、画像生成、音楽、トーキングヘッドアニメーションにクラウドGPU(ModalまたはRunPod)上のオープンソースAIモデルを使用します。Remotion(React)がコンポジションとレンダリングを担当します。
重要: ツールキットのパス
ツールキットは固定パスにあります。ツールコマンドを実行する前に、必ず cd でこのディレクトリに移動してください。
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
プロジェクトディレクトリ内からツールコマンドを実行しないでください。 ツールはツールキットルートからの相対パスでパスを解決します。
セットアップ
ステップ 1: 現在の状態を確認
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべてが [x] と表示される場合は、下記の「クイックテスト」に進んでください。それ以外の場合はセットアップを続行します。
ステップ 2: Python依存関係をインストール
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
注: --break-system-packages は、Debian/Ubuntuで管理されたPython(PEP 668)を使用する場合に必要です。コンテナ内では安全です。
ステップ 3: クラウドGPUエンドポイントを設定
ツールキットは .env にクラウドGPUエンドポイントURLを必要とします。.env が存在し、Modalエンドポイントが設定されているか確認します:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Modalエンドポイントが設定されていれば準備完了です。設定されていない場合は、ユーザーにModalエンドポイントURLの提供を依頼するか、Modalをセットアップします:
pip3 install --break-system-packages modal
python3 -m modal setup # 認証のためにブラウザが開きます
# 各ツールをデプロイ — 出力からエンドポイントURLを取得します
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # 必須: modal secret create huggingface-token HF_TOKEN=hf_...
LTX-2の前提条件: LTX-2をデプロイする前に、HuggingFaceシークレットを作成し、Gemma 3ライセンスに同意してください:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
各URLを .env に追加します:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
オプションですが推奨 — 信頼性の高いファイル転送のためのCloudflare R2:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
ステップ 4: 確認とクイックテスト
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべてのツールが [x] と表示されるはずです。次に、GPUパイプラインが動作することを確認するためにクイックテストを実行します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Hello, this is a test." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
有効な .mp3 ファイルが作成されれば、セットアップは完了です。失敗した場合は、以下を確認してください:
.envに正しいMODAL_QWEN3_TTS_ENDPOINT_URLが設定されているかpython3 tools/verify_setup.py --jsonを実行し、modal_toolsで欠落しているエンドポイントがないか確認する
コスト: Modalには月額$30の無料コンピューティング枠が含まれています。典型的な60秒の動画のコストは$1〜3です。
動画の作成
ステップ 1: プロジェクトを作成
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/PROJECT_NAME
cd projects/PROJECT_NAME
npm install
テンプレート: product-demo(マーケティング/説明用)、sprint-review、sprint-review-v2(構成可能なシーン)。
ステップ 2: 設定ファイルを記述
projects/PROJECT_NAME/src/config/demo-config.ts を編集:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'My Product',
tagline: 'What it does in one line',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
シーンタイプ: title, problem, solution, demo, feature, stats, cta。
時間ルール: durationSeconds は ceil(単語数 / 2.5) + 2 と見積もります。これはステップ4で音声を生成した後に調整します。
ステップ 3: ナレーションスクリプトを記述
projects/PROJECT_NAME/VOICEOVER-SCRIPT.md を作成:
## シーン 1: タイトル (9秒, 〜17語)
AIで動画を作成。製品名ツールキットで簡単に。
## シーン 2: 問題提起 (14秒, 〜30語)
問題文をここに記述。簡潔で共感を呼ぶ内容に。
シーンごとの単語予算: (durationSeconds - 2) * 2.5 語。-2は1秒の音声遅延+1秒のパディングを考慮しています。
ステップ 4: アセットを生成
重要: 以下のコマンドはすべて、プロジェクトディレクトリではなくツールキットルートから実行する必要があります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. 背景音楽
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/PROJECT_NAME/public/audio/bg-music.mp3 \
--cloud modal
プリセット: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi。
4b. ナレーション(シーンごと)
シーンごとに1つの .mp3 ファイルを生成します。単一のナレーションファイルを生成しないでください。
cd ~/.openclaw/workspace/claude-code-video-toolkit
# シーン 01
python3 tools/qwen3_tts.py \
--text "シーン1のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
# シーン 02
python3 tools/qwen3_tts.py \
--text "シーン2のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/02.mp3 \
--cloud modal
# ... 各シーンについて繰り返します
スピーカー: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
トーン: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
音声クローン(参照録音が必要な場合):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "読み上げるテキスト" \
--ref-audio assets/voices/reference.m4a \
--ref-text "参照音声の正確な文字起こし" \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
4c. シーン画像
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Dark tech background with blue geometric grid, cinematic lighting" \
--width 1920 --height 1080 \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
画像プリセット(--prompt --width --height の代わりに --preset を使用):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
4d. ビデオクリップ — Bロールとアニメーション背景(オプション)
Bロールのカットアウェイ、アニメーションスライド背景、またはイントロ/アウトロシーケンス用のAIビデオクリップを生成します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# テキストからBロールクリップ
python3 tools/ltx2.py \
--prompt "Aerial drone shot over a European city at golden hour, cinematic wide angle" \
--output projects/PROJECT_NAME/public/videos/broll-europe.mp4 \
--cloud modal
# スライド/スクリーンショットをアニメーション(画像からビデオへ)
python3 tools/ltx2.py \
--prompt "Gentle particle effects, soft ambient light shifts, very slight camera drift" \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--output projects/PROJECT_NAME/public/videos/animated-title.mp4 \
--cloud modal
# 抽象的なイントロ/アウトロ背景
python3 tools/ltx2.py \
--prompt "Dark moody abstract background with flowing blue light streaks, bokeh particles, cinematic" \
--output projects/PROJECT_NAME/public/videos/intro-bg.mp4 \
--cloud modal
Remotionコンポジションで <OffthreadVideo> を使用:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
LTX-2のルール:
- クリップあたり最大約8秒(24fpsで193フレーム)。デフォルトは約5秒(121フレーム)。
- 幅/高さは64で割り切れる必要があります。デフォルト: 768x512。
- クリップあたり約$0.20〜0.25、生成時間は約2.5分。
- コールドスタートは約60〜90秒。ウォームGPUでの後続クリップはより高速です。
- 生成される音声はアンビエントのみです。音声や音楽にはナレーションツールと音楽ツールを使用してください。
- 生成の約30%にトレーニングデータのアーティファクト(ロゴ/テキスト)が含まれる場合があります。
--seedを使用して変更してみてください。
4e. トーキングヘッドナレーター(オプション)
プレゼンターのポートレートを生成し、シーンごとにアニメーションクリップを作成します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. ポートレートを生成
python3 tools/flux2.py \
--prompt "Professional presenter portrait, clean style, dark background, facing camera, upper body" \
--width 1024 --height 576 \
--output projects/PROJECT_NAME/public/images/presenter.png \
--cloud modal
# 2. シーンごとのナレータークリップを生成(各シーン1つ、長い1つのビデオではない)
python3 tools/sadtalker.py \
--image projects/PROJECT_NAME/public/images/presenter.png \
--audio projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/PROJECT_NAME/public/narrator-01.mp4 \
--cloud modal
# ナレーターが必要な各シーンについて繰り返します
SadTalkerルール — これらを厳密に守ってください:
- 常に
--preprocess fullを使用(デフォルトのcropは正方形を出力し、アスペクト比が間違っています) - 常に
--stillを使用(頭の動きを減らし、プロフェッショナルに見えます) - 常に シーンごとのクリップ(各6〜15秒)を生成し、決して1つの長い動画を生成しないでください
- 処理時間: Modal A10G上で10秒の音声あたり約3〜4分
--expression-scale 0.8は表情を控えめにします(範囲 0.0〜1.5)
4e. 画像編集(オプション)
既存の画像からシーンバリエーションを作成:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--prompt "Make it darker with red tones, more ominous" \
--output projects/PROJECT_NAME/public/images/problem-bg.png \
--cloud modal
4f. アップスケーリング(オプション)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/PROJECT_NAME/public/images/some-image.png \
--output projects/PROJECT_NAME/public/images/some-image-4x.png \
--scale 4 --cloud modal
ステップ 5: タイミングを同期
ナレーション生成後は必ずこれを行ってください。 音声の長さは見積もりと異なります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/PROJECT_NAME/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
demo-config.ts の各シーンの durationSeconds を ceil(実際の音声時間 + 2) に更新します。
例: 01.mp3 が6.8秒の場合、シーン1の durationSeconds を 9 に設定します(ceil(6.8 + 2) = 9)。
ステップ 6: 静止フレームを確認
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
確認事項: テキストの途切れ、アニメーションのタイミング、ナレーターのピクチャーインピクチャー位置、背景のコントラスト。
ステップ 7: レンダリング
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npm run render
出力: out/ProductDemo.mp4
コンポジションパターン
シーンごとの音声
1秒の遅延(from={30} = 30フレーム = 30fpsで1秒)でシーンごとの音声を使用:
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
シーンごとのナレーターピクチャーインピクチャー
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
常に <OffthreadVideo> を使用し、<video> は絶対に使用しないでください。 Remotionはフレーム精度のレンダリングのために独自のコンポーネントを必要とします。
トランジション
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
lib/transitions バレルからインポートしないでください — カスタムトランジションは lib/transitions/presentations/ から直接インポートします。
エラーリカバリ
| 問題 | 解決策 |
|---|---|
| ツールコマンドが「No module named...」で失敗する | ツールキットルートから pip3 install --break-system-packages -r tools/requirements.txt を実行 |
| 「MODAL_*_ENDPOINT_URL not configured」 | .env にエンドポイントURLがあることを確認。python3 tools/verify_setup.py を実行 |
| SadTalkerの出力が正方形/切り取られている | --preprocess full を付け忘れています。そのフラグを付けて再実行 |
| 音声がシーンに対して短すぎる/長すぎる | ステップ5(タイミング同期)を再実行し、設定を更新 |
npm run render が失敗する | プロジェクトディレクトリにいることを確認(ツールキットルートではない)。最初に npm install を実行 |
| Remotionで「Cannot find module」 | インポートパスを確認。lib/transitions/presentations/ から直接インポートしているか確認 |
| LTX-2の生成が失敗する | HuggingFaceトークンシークレットとGemma 3ライセンス同意を確認 |
| 画像がぼやけている/細部が欠落している | 画像編集の代わりにアップスケールツールを使用。--scale 4 を試す |
ヒントとベストプラクティス
- スピーカーを選ぶ: 説明動画には
Ryan(バランスが良い)またはAiden(アナウンサー調)、チュートリアルにはSerena(穏やか)をお勧めします - 一貫性のあるトーン: プロフェッショナルなプレゼンテーションには
warmを使用し、すべてのシーンで同一に保つ - 画像のスタイル: Flux画像のプロンプトは具体的に(「Dark tech background...」)。単語が散在する無地の背景は避ける
- Bロール: クリップは短く(3〜5秒)、「パンチーの効いた」トランジションで爽快なリズムを保つ
- 予算: 動画は通常 60〜90秒。アセット生成 + レンダリングで約$2〜5。Modalの無料枠($30/月)で開始可能