Video Toolkit
テキストの概要からプロフェッショナルな説明動画を作成します。このツールキットは、クラウド GPU(Modal または RunPod)上のオープンソース AI モデルを使用して、ナレーション、画像生成、音楽、トーキングヘッドアニメーションを行います。Remotion(React)がコンポジションとレンダリングを処理します。
重要: ツールキットのパス
ツールキットは固定パスにあります。ツールコマンドを実行する前には、常に cd でこのディレクトリに移動してください。
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
プロジェクトディレクトリ内からツールコマンドを実行しないでください。 ツールはツールキットルートからの相対パスで解決されます。
セットアップ
ステップ 1: 現在の状態を確認
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべてが [x] と表示された場合は、下記の「クイックテスト」に進んでください。それ以外の場合はセットアップを続行します。
ステップ 2: Python 依存関係をインストール
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
注: --break-system-packages は、管理された Python を使用する Debian/Ubuntu で必要です(PEP 668)。コンテナ内では安全です。
ステップ 3: クラウド GPU エンドポイントを設定
ツールキットは .env ファイルにクラウド GPU エンドポイント URL を必要とします。.env が存在し、Modal エンドポイントが設定されているか確認します:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Modal エンドポイントが設定されていれば、準備完了です。設定されていない場合は、ユーザーに Modal エンドポイント URL を提供するよう依頼する か、Modal をセットアップします:
pip3 install --break-system-packages modal
python3 -m modal setup # ブラウザが認証用に開きます
# 各ツールをデプロイ — 出力からエンドポイント URL を取得
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # 必須: modal secret create huggingface-token HF_TOKEN=hf_...
LTX-2 の前提条件: LTX-2 をデプロイする前に、HuggingFace シークレットを作成し、Gemma 3 ライセンス に同意してください:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
各 URL を .env に追加:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
オプションですが推奨 — 信頼性の高いファイル転送のための Cloudflare R2:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
ステップ 4: 確認とクイックテスト
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
すべてのツールが [x] と表示されるはずです。次に、GPU パイプラインが動作することを確認するためのクイックテストを実行します:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "こんにちは、これはテストです。" --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
有効な .mp3 ファイルが作成されれば、セットアップ完了です。失敗した場合は確認:
.envに正しいMODAL_QWEN3_TTS_ENDPOINT_URLが設定されているかpython3 tools/verify_setup.py --jsonを実行し、modal_toolsで不足しているエンドポイントがないか確認
費用: Modal には月額 $30 の無料コンピュートが含まれます。通常の 60 秒動画のコストは $1〜3 です。
動画の作成
ステップ 1: プロジェクトを作成
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/PROJECT_NAME
cd projects/PROJECT_NAME
npm install
テンプレート: product-demo(マーケティング/説明用)、sprint-review、sprint-review-v2(構成可能なシーン)。
ステップ 2: 設定ファイルを記述
projects/PROJECT_NAME/src/config/demo-config.ts を編集:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'My Product',
tagline: 'What it does in one line',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
シーンの種類: title、problem、solution、demo、feature、stats、cta。
時間の目安: durationSeconds は ceil(単語数 / 2.5) + 2 として見積もります。オーディオ生成後、ステップ 4 で調整します。
ステップ 3: ナレーションスクリプトを作成
projects/PROJECT_NAME/VOICEOVER-SCRIPT.md を作成:
## シーン 1: タイトル (9秒, ~17語)
Build videos with AI. The product name toolkit makes it easy.
## シーン 2: 問題 (14秒, ~30語)
The problem statement goes here. Keep it punchy and relatable.
シーンごとの単語予算: (durationSeconds - 2) * 2.5 語。-2 は、1 秒のオーディオ遅延 + 1 秒のパディングを考慮しています。
ステップ 4: アセットを生成
重要: 以下のコマンドはすべて、プロジェクトディレクトリではなく、ツールキットルートから実行する必要があります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. 背景音楽
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/PROJECT_NAME/public/audio/bg-music.mp3 \
--cloud modal
プリセット: corporate-bg、upbeat-tech、ambient、dramatic、tension、hopeful、cta、lofi。
4b. ナレーション(シーンごと)
シーンごとに 1 つの .mp3 ファイルを生成します。単一のナレーションファイルは生成しないでください。
cd ~/.openclaw/workspace/claude-code-video-toolkit
# シーン 01
python3 tools/qwen3_tts.py \
--text "シーン1のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
# シーン 02
python3 tools/qwen3_tts.py \
--text "シーン2のナレーションテキスト。" \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/02.mp3 \
--cloud modal
# ... 各シーンについて繰り返し
話者: Ryan、Aiden、Vivian、Serena、Uncle_Fu、Dylan、Eric、Ono_Anna、Sohee
トーン: neutral、warm、professional、excited、calm、serious、storyteller、tutorial
音声クローン用(参照録音が必要):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "読み上げるテキスト" \
--ref-audio assets/voices/reference.m4a \
--ref-text "参照オーディオの正確な書き起こし" \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
4c. シーン画像
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "ダークなテック背景、青色の幾何学グリッド、シネマティックライティング" \
--width 1920 --height 1080 \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
画像プリセット(--prompt --width --height の代わりに --preset を使用):
title-bg、problem、solution、demo-bg、stats-bg、cta、thumbnail、portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
4d. ビデオクリップ — Bロール & アニメーション背景(オプション)
Bロールのカットアウェイ、アニメーションスライド背景、またはイントロ/アウトロシーケンス用の AI ビデオクリップを生成:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# テキストから Bロールクリップ
python3 tools/ltx2.py \
--prompt "Aerial drone shot over a European city at golden hour, cinematic wide angle" \
--output projects/PROJECT_NAME/public/videos/broll-europe.mp4 \
--cloud modal
# スライド/スクリーンショットをアニメーション化(画像から動画へ)
python3 tools/ltx2.py \
--prompt "穏やかなパーティクルエフェクト、柔らかなアンビエントライトの変化、非常にわずかなカメラのドリフト" \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--output projects/PROJECT_NAME/public/videos/animated-title.mp4 \
--cloud modal
# 抽象的なイントロ/アウトロ背景
python3 tools/ltx2.py \
--prompt "Dark moody abstract background with flowing blue light streaks, bokeh particles, cinematic" \
--output projects/PROJECT_NAME/public/videos/intro-bg.mp4 \
--cloud modal
Remotion コンポジションで <OffthreadVideo> を使用:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
LTX-2 のルール:
- クリップあたり最大約 8 秒(24fps で 193 フレーム)。デフォルトは約 5 秒(121 フレーム)。
- 幅/高さは 64 で割り切れる必要があります。デフォルト: 768x512。
- クリップあたり約 $0.20〜0.25、生成時間約 2.5 分。
- コールドスタート約 60〜90 秒。その後のクリップはウォーム GPU で高速化。
- 生成されるオーディオはアンビエントのみ — 音声や音楽にはナレーション/音楽ツールを使用してください。
- 生成の約 30% にトレーニングデータのアーティファクト(ロゴ/テキスト)が含まれる場合があります。
--seedを指定して再実行すると変化します。
4e. トーキングヘッドナレーター(オプション)
プレゼンターのポートレートを生成し、シーンごとにアニメーション化:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. ポートレートを生成
python3 tools/flux2.py \
--prompt "Professional presenter portrait, clean style, dark background, facing camera, upper body" \
--width 1024 --height 576 \
--output projects/PROJECT_NAME/public/images/presenter.png \
--cloud modal
# 2. シーンごとのナレータークリップを生成(シーンごとに 1 つ、長い動画ではない)
python3 tools/sadtalker.py \
--image projects/PROJECT_NAME/public/images/presenter.png \
--audio projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/PROJECT_NAME/public/narrator-01.mp4 \
--cloud modal
# ナレーターが必要な各シーンについて繰り返し
SadTalker のルール — 厳密に従ってください:
- 常に
--preprocess fullを使用(デフォルトのcropは正方形を出力し、アスペクト比が間違っています) - 常に
--stillを使用(頭の動きを減らし、プロフェッショナルに見えます) - 常に シーンごとのクリップ(各 6〜15 秒)を生成し、決して 1 つの長い動画を生成しないでください
- 処理時間: Modal A10G でオーディオ 10 秒あたり約 3〜4 分
--expression-scale 0.8は表情を控えめに保ちます(範囲 0.0〜1.5)
4e. 画像編集(オプション)
既存の画像からシーンバリアントを作成:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--prompt "赤いトーンで暗く、より不気味に" \
--output projects/PROJECT_NAME/public/images/problem-bg.png \
--cloud modal
4f. アップスケーリング(オプション)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/PROJECT_NAME/public/images/some-image.png \
--output projects/PROJECT_NAME/public/images/some-image-4x.png \
--scale 4 --cloud modal
ステップ 5: タイミングを同期
ナレーション生成後は常にこれを行ってください。 オーディオの長さは見積もりと異なります。
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/PROJECT_NAME/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
各シーンの durationSeconds を demo-config.ts で更新: ceil(実際のオーディオ長 + 2)。
例: 01.mp3 が 6.8 秒の場合、シーン 1 の durationSeconds を 9 に設定(ceil(6.8 + 2) = 9)。
ステップ 6: 静止フレームを確認
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
確認項目: テキストの切り捨て、アニメーションのタイミング、ナレーターの PiP 配置、背景のコントラスト。
ステップ 7: レンダリング
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npm run render
出力: out/ProductDemo.mp4
コンポジションパターン
シーンごとのオーディオ
1 秒の遅延(from={30} = 30fps で 30 フレーム = 1 秒)でシーンごとのオーディオを使用:
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
シーンごとのナレーター PiP
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
常に <OffthreadVideo> を使用し、決して <video> を使用しないでください。 Remotion はフレーム精度のレンダリングのために独自のコンポーネントを必要とします。
トランジション
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
lib/transitions バレルからインポートしないでください — カスタムトランジションは lib/transitions/presentations/ から直接インポートしてください。
エラー回復
| 問題 | 解決策 |
|---|---|
| ツールコマンドが「No module named...」で失敗 | ツールキットルートから pip3 install --break-system-packages -r tools/requirements.txt を実行 |
| 「MODAL_*_ENDPOINT_URL not configured」 | .env にエンドポイント URL があるか確認。python3 tools/verify_setup.py を実行 |
| SadTalker の出力が正方形/切り取られている | --preprocess full を付け忘れています。そのフラグを付けて再実行 |
| オーディオがシーンに対して短すぎる/長すぎる | ステップ 5(タイミング同期)を再実行し、設定を更新 |
npm run render が失敗 | プロジェクトディレクトリにいることを確認し、ツールキットルートではない。最初に npm install を実行 |
| Remotion で「Cannot find module」 | インポートパスが正しいか確認。カスタムトランジションは lib/transitions/presentations/ から直接インポート |
プロジェクト構成
projects/PROJECT_NAME/
├── public/
│ ├── audio/
│ │ ├── bg-music.mp3 # 背景音楽
│ │ └── scenes/
│ │ ├── 01.mp3 # シーンごとのナレーション
│ │ ├── 02.mp3
│ │ └── ...
│ ├── images/
│ │ ├── title-bg.png # シーン背景画像
│ │ ├── presenters/
│ │ │ └── presenter.png # ナレーターポートレート
│ │ └── ...
│ └── videos/
│ ├── narrator-01.mp4 # トーキングヘッドクリップ
│ ├── broll-*.mp4 # Bロールクリップ
│ └── intro-bg.mp4 # アニメーション背景
├── src/
│ ├── config/
│ │ └── demo-config.ts # 動画設定
│ ├── Root.tsx # エントリーポイント
│ └── transitions/ # カスタムトランジション
├── package.json
└── VOICEOVER-SCRIPT.md # ナレーションスクリプト
高度な Remotion 構成
Remotion バッファリング設定
Root.tsx で:
<Composition
id="ProductDemo"
component={ProductDemo}
width={1920}
height={1080}
fps={30}
durationInFrames={totalDuration}
calculateMetadata={({ props }) => {
return {
durationInFrames: props.totalDuration,
};
}}
/>
フォールバックメディア
ロード中は <OffthreadVideo> がデフォルトで透明になります。フォールバック画像を表示するには:
<Img src={staticFile('images/title-bg.png')} />
<OffthreadVideo
src={staticFile('videos/broll-europe.mp4')}
style={{ opacity: 0.7 }}
/>
アニメーション
import { spring, useCurrentFrame, useVideoConfig } from 'remotion';
const frame = useCurrentFrame();
const { fps } = useVideoConfig();
// フェードイン
const opacity = spring({ frame: frame, fps, config: { damping: 200 } });
// スライドイン
const slideX = spring({ frame: frame - 10, fps, config: { damping: 100 } });
コスト管理
| ツール | コスト(Modal) | 時間 | メモ |
|---|---|---|---|
| TTS(Qwen3) | $0.01/分 | 10〜20 秒 | 速度が速く、コストが低い |
| 画像(Flux2) | $0.05/画像 | 15〜30 秒 | プリセットを使用するとコスト削減 |
| 音楽(MusicGen) | $0.03/分 | 30〜90 秒 | ファイルごとに生成 |
| トーキングヘッド(SadTalker) | $0.15/10 秒 | 3〜4 分 | 最大のコスト要因 |
| 動画(LTX-2) | $0.20〜0.25/クリップ | 2.5 分 | 約 5 秒のクリップ |
総コストの目安: 音楽 1 曲($0.03)+ 画像 5 枚($0.25)+ ナレーション 6 クリップ($0.06)+ LTX-2 2 クリップ($0.45)+ SadTalker 1 クリップ($0.15)= 約 $0.94。Modal の $30/月の無料枠に十分収まります。
トラブルシューティング
.env の変更後、Modal デプロイメントが更新されない
Modal はデプロイ時に環境変数をスナップショットします。再デプロイが必要です:
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py # 変更したもののみ
新しい Modal トークン/ワークスペース
modal token set --token-id <new-id> --token-secret <new-secret>
ウォーム GPU のための接続を維持
# 5 分間接続を維持
python3 tools/music_gen.py --preset corporate-bg --duration 90 --output /dev/null --cloud modal &
sleep 300