render-cartoon-music-video は何をしますか?
設定ファイルから漫画風ミュージックビデオ広告を組み立てます。アニメーション/イラスト/ハンドクラフトのストーリー(ストップモーションのフェルト&フォーム、クレイアニメ、2Dトゥーン、切り絵)で、歌われる楽曲が脚本のすべてを担い、1体の繰り返し登場するアニメキャラクターがすべてのショットを運び、小節に合わせてカットし、ドロップにクライマックスラインを合わせます。この機能は無料の決定論的アセンブリ — 小節へのカット、ハード連結、ロゴバグ+キャプションの焼き付け、単色エンドカードです。
scripts/config.example.json は動作例です(Coinbase「Bet on anything」、約55秒 1080×1920 9:16、ボディ16小節+3秒エンドカード — フェルトルック、キャラクター、ストーリー、楽曲はデモの選択であり、デフォルトではありません)。scripts/PIPELINE.md は各設定ブロックをソースステップにマッピングし、scripts/README.md は無料のアセンブリを文書化しています。
選択肢
創造的な判断は呼び出し元に委ねられます(ビデオフォーマットレシピがユーザーに尋ねます)。このアセンブリはそれらを選択しません。デモの値はあくまで例です:
- アートスタイル/ルックパック(フェルトストップモーション、クレイメーション、2Dトゥーン、切り絵…) — デモ:フェルト&フォームのジオラマ。
- キャラクター — 唯一繰り返し登場するアニメーションの図 — デモ:ブランドブルーのジャージを着た性別中立的なフェルトのフィギュア。
- ストーリーアーク — デモ:弱者逆転の報酬。
- 楽曲スタイル+リードボーカル — デモ:ハイプなダンスポップ/EDMトラップ、男性ハーフラップのリード。
実行
これは無料の決定論的アセンブリ段階であり、費用はかかりません。有料の入力は別の機能に依存します:歌われる楽曲(create-music-elevenlabs、またはユーザー提供のmp3+Whisperの単語タイムスタンプ)をlibrosaでビートトラッキングし、小節グリッドがタイムラインを決定。1体の固定された繰り返しキャラクター+各小節1つのキーフレームを1つのルックパックで(create-image-fal、Nano Banana)。そして小節ごとに1つのSeedance i2vクリップ(create-video-fal)。楽曲+word-timestamps.json+bars.json+各小節のクリップ+ブランドワードマークSVGが与えられれば、render-cartoon-music-video は各クリップをその小節ウィンドウに切り出し、小節でハード連結、ロゴバグ+キャプションを焼き付け、単色エンドカードを追加し、楽曲をその下にミックスしてマスターを作成します。再カットは既存の楽曲/キーフレーム/クリップを再利用し、0円で実行できます。
契約(無料アセンブリ)
- 歌われる楽曲がナラティブを伝える — 別個のVOは不要。 生成/提供されたトラックがそのままBGMになります(VOを引っ込める必要はありません)。音声ナレーションや2つ目のBGMを追加しないでください。
- 提供された楽曲の小節グリッドを基準にタイムラインを計画する。 librosaで楽曲をビートトラッキング(4/4拍子を仮定)。1小節=1ショット(デフォルト)。各タブローウィンドウを小節境界にスナップ — 事前に計画したグリッドに楽曲をトリミングしないでください。
- 楽曲の単語タイムスタンプからキャプションを生成し、固定歌詞に対して再スペルする。 Whisperは叫んだアクセントを誤認識します("BETS" → "Hearts")。タイムドトークンを固定歌詞ファイルに対して再スペル(歌詞をWhisperに合わせて編集しない)。VEED-whisper スタイルの白い太字サンセリフを下から3分の1の位置(Alignment 2、左下ロゴバグの上にマージン)、キューあたり約4〜5単語、背景ピルなし。キャプションはエンドカード境界で停止。フレーム中央には配置しない(キャラクターを隠してしまうため、2026年7月固定)。ホストのffmpegにlibassがない場合、キューをタイムドPIL PNGオーバーレイ(ffmpeg
overlay=…:enable='between(t,st,en)')として同じ下部配置でレンダリングします。 - クライマックスラインをドロップに合わせる。 クライマックスのタブローは、見せ場のラインがサブベースのドロップに乗るようにタイミングを調整し、そのラインを強調します。
- 永続的なロゴバグ、エンドカードでは非表示。 ボディ小節の間、左下に白いブランドワードマークを焼き付けます(cairosvg → PIL、実際のSVGから)。エンドカードでは大きなワードマークが支配的なため、ロゴバグを非表示にします。
- cairosvg + PIL で実際のワードマークからエンドカード — ブランドテキストをAIでレンダリングしない。 単色のブランドカード+白いワードマーク+サブヘッド。約3秒間保持し、その間も楽曲は演奏を続けます(末尾でafade-out — 無音末尾はなし)。拡散モデルはワードマークを歪めます。
- FFmpeg合成、決定論的、無料。 各クリップをその小節ウィンドウに切り出し、ハード連結、ロゴバグ+キャプションを焼き付け、エンドカードを追加、楽曲をビデオ全体にミックスし、0.5秒のafade末尾、
loudnorm I=-14→ 1080×1920 h264+aac マスター。有料呼び出しやキーは不要。ホストのffmpegにlibass/drawtextがない場合、キャプションとロゴバグの両方をPIL PNGオーバーレイ(overlay=x:y:enable='between(t,st,en)')として、ASS焼き付けではなくタイムドに適用します。 - シーンごとにQC、マスターだけでは不十分 — 2つの障害モードは内容であり、アセンブリではない。 上流のキーフレーム/i2vステップでは、(a) キャラクターが途中でルックから外れる(フェルト → スムーズ3Dの「人間」、デモの場合)可能性があり、(b) 手の幻覚 — 手のマクロでリアルな指、「電話をタップする」ショットで指を指している、またはフレーム端からスライドして入ってくる浮遊する手 — が発生する可能性があります。どちらもサムネイルサイズでは隠れます。各クリップの全期間にわたって2fpsのコンタクトシート+小節ごとの顔クロップと手クロップを抽出し、すべての小節が選ばれた1つのルック(デモではマットなフェルト)で1つのキャラクターを保持し、人間の手や浮遊する手がないことを確認し、公開後は提供されたバイト数を再確認します。ルックがずれた小節は、その小節のキーフレームを再生成して修正します(再カットではありません) — レシピのSTEP 3/6を参照してください。