Cartoon Audio Short (v2)
WHATIF ANIMATIONSTORYSチャンネル制作。
パイプライン: アイデア → スクリプト → ボイスオーバー → 完成MP4。
参考ビルド: 「決して去らなかった兵士」(19.7秒、8ショット)、kit/example/soldier/に含まれています。
見た目
- キャラクター: キャンバスに描かれたフラットな2Dビーンヘッドカートゥーン「カード」。プラム色の輪郭と大きな表情を持ち、常にアイドル動作(呼吸、まばたき、首振り)を行います。
- 世界: シンプルな形状で構築された彩度の高い3Dセット。暗い継ぎ目、黒いインクの輪郭線、トゥーンシェーディング、地平線の色のフォグで塗られたフラットテクスチャ。
- カメラ: 滑らかでイーズのかかった動きで、クローズアップでは被写界深度がかかります。決して静的な状態はありません。
- フォーマット: 1080×1920、30fps、ボイスオーバーの長さに正確に一致。
- サウンド: ユーザーの声はそのまま。合成されたマーチ風BGMと効果音は、ボイスレベルの50%(−6dB)で配置されます。
厳格なルール
- オリジナル限定。 他のクリエイターの動画をショットごとに再現せず、同じアイデアに対するオリジナルの解釈を提供すること。
- 実在する指名された人物をキャラクターにしない。 ブランドマスコット、ロゴ、著作権で保護されたキャラクターは禁止。
- キャプションは要求がない限り付けない。 ダイジェティックテキスト(看板、彫刻)は可。ただし、正しく読めること、決して反転しないこと。
- 声の編集、トリミング、速度変更、再タイミングは決して行わない。 映像は声に合わせてタイミングが取られます。すべての視覚的な反応は、該当する単語の0〜3フレーム前に収まります。
- オーディオ比率は固定:
- 音楽はボイス(ゲートRMS)に対して−6.0dB。
- SFXは−6dB以下、ピークはボイスピークの最大0.7倍。
- 常に
mix.pyでミックス。ダッキング、ミックスへのコンプレッションは禁止。 - ミックス全体には1つのリニアゲインと1つのピークリミッターのみ適用(
finish.sh)。
- 事実として提示された情報は、まずウェブ検索で確認すること。 バイラルな伝説は「伝説によると」と表現する。
- 過激な内容、政治的な内容、実在の人物を笑いの対象にしない。
- 承認ストップなしで作業を続ける。 答えなしでは本当に作業を続行できない場合のみ質問する。
- タスクリストでユーザーに情報を提供する。 長時間レンダリングの前にスチルコンタクトシートを送信する。
ルーティング(エントリーポイント選択)
| ユーザーの状態 | 移動先 |
|---|---|
| 音声付き(+ スクリプト) | すぐにStage 4へ |
| 音声あり、スクリプトなし | スクリプトテキストを確認(ClaudeはASRなしでは音声を聞けません)→ Stage 4 |
| スクリプトあり、音声なし | Stage 3(タイトニング)→ 音声を待つ |
| トピックのみ | Stage 3へ直接(事実確認) |
| 何もない / 「アイデアをください」 | Stage 2 |
不明な場合は、1つの質問をする:「どこから始めますか?(アイデア / スクリプト / ボイスオーバー準備完了)」 また、目標の長さが指定されていない場合は尋ねる。デフォルトは20〜30秒。最大60秒まで許可。
Stage 2: 10のアイデア
正確に10個、番号付きで1回の返信で提示する。最後に次のように締めくくる:「番号で返信するか、新たに10個の場合は'more'と入力してください。」
N. タイトル(5〜8単語、好奇心をそそるもの)
フック:最初に発するフレーズ — 事実として提示されるパラドックス。
どんでん返し:皮肉な最後の台詞。
大きなビジュアル:2〜3の瞬間(崩壊 / 発見 / 追跡 / 変身)。
ステータス:TRUE(文書化済み) · DISPUTED(異論あり) · LEGEND(伝説)
完璧なアイデアの条件:
- 物理的な原因と結果を見せることができる、驚きに満ちた1つのストーリー。
- 普通のヒーロー、エスカレートするステークス、最後の台詞でのどんでん返し。
- 箱、円柱、球体とカードから構築可能なセット(町、橋、船、城、砂漠、研究所、宮殿、農場、港、鉱山)。
- 1フレームで見ることができる「前 vs 後」があり、強力なサムネイルになる。
10のアイデアを、古代、中世、1800年代、現代、科学、動物、発明、災害、奇妙な法律、幸運な偶然に分散させる。リストアップする前に、すべてのTRUEまたはDISPUTEDのアイデアをウェブ検索で確認する。
Stage 3: スクリプト
スクリプトのサイズは、1秒あたり約3.7話し言葉:20秒 ≈ 75単語、30秒 ≈ 110、45秒 ≈ 165、60秒 ≈ 220。
構成:
- フック(文1、ゼロセットアップ):不条理な事実。最初の1.5秒以内に伝わること。
- 設定(1〜2行):いつ、どこで、誰が、そして1つの具体的な詳細。
- エスカレーション(2〜4ビート、それぞれ大きく)。他者は疑ったり嘲笑したりする。1つの誇張ジョークを含める。
- 転換点:「しかし…」/「実は…」で実際のメカニズムを導入。できれば日常的な例えとともに。
- どんでん返し: 短く皮肉で、動画の最後の言葉。ボーナス:フックにループバックして、Shortが自然にリプレイされるようにする。
スタイル:
- 短縮形を使った平易な話し言葉の英語。
- 8〜15単語の文;数字は単語で書く。
- 話し言葉に舞台指示を含めない。
- 視聴者がすでに見ているものを説明しない。
セルフチェック(失敗した場合は黙って修正):単語数が目標の±10%以内;フックは質問ではなく、ステートメントであること;すべての文が文字通りに図示できること;どんでん返しは12単語以下で最後に来ること;事実が出典と一致すること。
返信内容:
- a) コードブロック内のスクリプト(単語数と推定秒数付き)。
- b) 1段落のビジュアルプラン。
- c) 録音のヒント:
- 温かみのある安定したナレーター。ElevenLabsが適しています:深いナレーターの声、速度〜1.05〜1.1、安定性〜45〜55%。
- MP3またはWAVで問題ありません。
- 文の終わりに自然な間を残す。
- 音楽なしでエクスポートする。
- d) 「ボイスオーバーの準備ができたらアップロードしてください。完全な動画を作成します。」
最終的なスクリプトテキストを保持すること。これがタイミングを決定するため。録音されたバージョンが変更されている場合は、最終テキストを確認する。
Stage 4: ビルド(ここからは停止なし)
タスクリストを作成:セットアップ · タイミング · ショットプラン · ワールド · キャスト · モーション · コンタクトシート → ユーザー · サウンド · フルレンダリング · 仕上げ + QA · 納品。
4.0 セットアップ
SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug> # $SK/kitは読み取り専用として扱う
cd ~/shorts/<slug> && cp <アップロードされた音声> voice.mp3 && printf '%s' "<最終スクリプト>" > script.txt
./short.sh doctor
setup.shは、エンジン、ツール、および動作例(web/story.jsとaudio.pyの開始点として)をコピーします。three.js r160とkit/vendor/からトゥーンベースをインストールし(ネットワーク不要)、web/toon.jsをビルドして構文チェックし、Playwrightをリンクします。three.jsがない場合は終了コード3で終了します。- 要件:Node 22.6+、Python 3 + numpy + Pillow、ffmpeg(libx264、alimiter、ebur128)、Playwright + Chromium。Playwrightがない場合:
npm i -g playwright && npx playwright install chromium。 - TLSを無効にしたり、プロキシをバイパスしたりしないでください。インストールがブロックされた場合は、どのパッケージかを伝え、インストールされているもので続行します。
- ChromiumはCPU WebGL(swiftshader)を使用し、ワーカーあたりフレームあたり約3〜5秒かかります。20秒のShort(600フレーム)は約20〜50分かかるため、計画を立ててください。
4.1 タイミング: ./short.sh timing
- whisperまたはfaster-whisperがインストールされている場合は、単語のタイムスタンプを使用します。それ以外の場合は、音節/継続時間DPを使用して、スクリプトのフレーズを無音検出された音声にアライメントします。
- フレーム範囲とWARN行(非常に短いフレーズ、重複、長い末尾、遅い開始、スクリプトと一致しない録音)とともにフレーズを出力します。ショットのマージ、
work/phrases.jsonの手動修正、または最終テキストの確認によって警告を解決します。 - N = 総フレーム数 =
work/phrases.jsonのframes30(デコードされた音声から測定)。
4.2 ショットプラン: work/PLAN.md、コードの前に
ショットごとに1行:| # | フレーム | 単語 | 設定 | 照明 | カメラ | キャスト/ポーズ/表情 | FX | SFX |
- フレーム0はフック画像:フェードイン、タイトルカードなし。
- フレーズあたり約1ショット。0.6秒より短いフレーズは次のショットにマージする。
- すべての文を文字通りに図示する;プロップがジョークを伝える。
- ショットサイズのリズム:フックMCU → ワイドリビール → ツーショット → キーオブジェクトのインサート → リアクションクローズアップ → 決め手のための環境移動。同じサイズを連続して使用しない。
- 照明はムードを設定:昼(通常)、ゴールデン(ドラマ/衰退)、夜ブルー(説明)。時間のジャンプは6フレームの白いフラッシュを取得する。
- どんでん返しはスタング効果:音楽が止まり、低いヒット音、3〜5°のロールを伴うプッシュイン。物理的な決め手は最後の単語に合わせる。
- 最後のフレームは、フレーム0にきれいにカットバックしてループできる強力な静止画であること。
4.3 ワールド(web/main.js、web/story.js)
main.jsのエンジンセクションを保持:トゥーンマテリアル、インクコントラクト、add/tbox、スカイ、ライト、カード、レンダーターゲット/ポスト、applyLight、drawActors、swapForNd、renderFrame。// ---------- world ----------と// ---------- cards ----------の間のサンプルワールドのみを置き換える。さらに、worldState()と任意のプロップ(兵士の例には3Dヘルメットプロップがある)のストーリー部分も置き換える。story.jsは、SHOTS、TOTAL、shotAt、camAt、dofAt、LIGHTS/lightFor、worldAt、actorsAt(f, T)、fxAt(f, T)をエクスポートする。すべてフレームの純粋関数。TOTALをNに設定する。- テクスチャは
paint.jsから来る:planks、beam、rotten、stone、mossy、grass、dirt、plaster、roof、marble、banner、carved text。新しいペインターは同じフラットカラー+ダークシームスタイルを使用する。 tboxを使用して一定のテクセル密度、2段階トゥーングラデーション、フォグ(地平線の色)を実現する。- 背景レイヤー:半分埋まった球体の丘、雪をかぶった円錐の山、ヒノキ/松の木、遠くの家、ペイントされた雲のビルボード。
- セットピース(崩壊、落下、ドア)は、
worldAt(f)からの0..1の進行度で駆動されるピボットグループであり、イーズとスタガリングが適用される。 - 曲線的なダイジェティックテキストは平面UVを使用する。反転していないことを確認する。
4.4 キャスト(web/roman.js → web/toon.js)
romanFront(p, outfitKey, opts)は、足裏がy=975の600x1000のデザインキャンバスに描画する。カードの高さは2.25mなので、1デザインユニット = 0.00225m。- 衣装(
OUTFITS):legion、old、toga、civA、civB、civC、workA、workB。tunic/cape/armor/helmet/hair/cap/beard/apron/dress/togaキーで新しいものを追加する。 - 腕のポーズ:hang、spear、point、up、wave、hip、belly、temple(+swirl)、lift、reach(+lift)、cheek、shield、cross、thumb。
- 表情:トゥーンベースのFACEセットにsnore、stubborn、squintを追加。FACEを拡張してさらに設定する。
- キャスト編集後、
cat web/toonbase.js web/roman.js > web/toon.jsで再ビルドする。次に./short.sh castを実行し、デザインを使用する前にstills/cast_sheet.pngを見る。 - ビルボードはヨーのみ回転し、接触ブラブとアルファテストされた影を取得し、ワールドパスでインク処理されない。
q()で丸めた値からカードキーをビルドし、可視変更があった場合のみキャンバスが再描画されるようにする。- 分離したパーツ(例:持ち上げられたヘルメット)は独自のカード:
y = DECK + (partY − hc) × 0.00225、headCenter(seed)と位置合わせされる。 - ヒーローには、1つの特徴的な特徴(色、帽子、プロップ)を与え、電話サイズでも即座に認識できるようにする。
4.5 モーション(web/motion.js):スムーズで生き生きと
カメラ:
camFromKeys(keys, f, {kicks})を使用:18〜45フレームのsmootherstepグライド、リビールとホイップにはeaseOut、カーブにはpath経由点(Catmull-Rom)。- すべてのホールドはクリープする;4フレーム以上静止しない。
- ドラマは3〜5°のロールを取得;インパクトは
kicksを介して7フレームのフリップシェイクを取得する。 - 連続的な動き(プルバック、ラックフォーカス、クレーン、プッシュイン)を優先する。ハードカットは、場所や時間のジャンプ(フラッシュ付き)の場合のみ。
キャラクター:
- 決してフリーズしない:すべてのカードに
idle(f, seed)を適用し、まばたきにはblinkAt、強調された単語には頭の上下動を適用する。 - アクションは、予備動作 → オーバーシュート → スプリングセトルに従う(
M.anticip、M.back、M.spring)。足を踏み鳴らすのは、2フレームのディップ+ダストパフ+キック。笑いは交互の傾き+上下動。 - 歩行:
walk()は距離とステップ位相を提供する。3〜7%の上下動で足を地面に固定する。
二次モーションは常に存在する:布、葉、ほこり、水滴、Zzz、水。
レンズ: クローズアップとミディアムでは被写界深度(cInf 8〜14 px)、目に焦点。ワイドはシャープのまま。ラックフォーカスは約14フレームかかる。
4.6 ルックチェック(フルレンダリングの前に必須)
./short.sh stills "5,40,90,..." aを実行し、各ショットの中央とトランジションおよびキーアクションを選択する。フレームラベル付きのstills/sheet_a.jpgが書き出される。それを開き、すべてのトラップを修正する:
- フレーミング: 半幅 = d·tan(hfov/2)、ここでhfov = 2·atan(tan(vfov/2)·0.5625)。4m、fov 40の場合、±0.8mのみなので、キャラクターを奥行きに配置する。
- 妨害物: 顔の前にレールや柱がないこと。カメラがレール、家、屋根、茂みの内側にないこと。
- クリアランス: 前景のプロップは約2mより近くないこと。ヒーローが柱の後ろに隠れていないこと。
- テキストとパーツ: テキストが反転していないこと。分離パーツカードのオフセットが正しいこと。
- 押し出しグループ: 0 = キャップ、1 = サイズ + トップ。
- インク: すべての場所に存在すること。ない場合は、
HASH=#e(エッジのみ)とHASH=#nd(ノーマル/深度)でデバッグする。インク半径は1080で約2.5px。スカイは遠い深度としてカウントされ、カードではない。 - 電話サイズ: シートを25%で表示しても顔が読めること。
シートをショットごとの1行サマリーとともにユーザーに送信し、待たずにフルレンダリングを開始する。
4.7 サウンド:./short.sh sound
- まずピクチャータイミングを固定する。タイミングを変更するたびにサウンドを再実行する必要がある。
audio.pyはのみキューテーブルを保持する。シンセはsynth.pyに存在する:- 音楽:
march、drone、PROG_MINOR/PROG_MAJOR、pluck、brass、drum。 - SFX: whoosh、thunk、rumble、crash、scrape、ting、sting、creak、snap、splash、snore、leaves、water、cuckoo、pop、boing、footstep/steps、wind、crowd。
- 音楽:
- 音楽はどんでん返しのラインで停止する(
march(..., end=TWIST))、その後droneが最後まで続く。 - SFXステムを
crest_db=14で保存する。これによりトランジェントが抑えられ、SFXがピークキャップの下の約50%に収まるようになる。 mix.pyがレベルを出力する。音楽がボイスに対して−6.0dB(OK)で、SFXがそれ以下(OK)であることを確認する。手動で調整せず、代わりにステムを修正する。
4.8 レンダリング + 仕上げ
WORKERS=2 ./short.sh renderでBashrun_in_backgroundを使用してレンダリングする。Monitorループから./short.sh progress(完了、s/フレーム、ETA)を確認する。- フレームはアトミックに書き込まれる。中断後は、
RESUME=1 WORKERS=2 ./short.sh renderを使用する。 - 4コア以下のマシンではWORKERS=1を使用する。同時に重いPythonを実行しないこと。
- 次に
./short.sh finish "タイトル"を実行する:- フレームが完全で連続していることを確認する。
- 測定された1つのリニアゲインを−14 LUFSに適用し、−1dBFSリミッターを適用し、H.264 CRF 17 + AACでエンコードする。
- QAは、サイズ、音声に対する継続時間、フリーズ/黒フレーム、ラウドネス、ミックスレベルをカバーする。
out/qa.txtとout/qa_sheet.jpgを書き込み、FAILがある場合は終了コード1で終了する。
4.9 完了の定義
- 継続時間 = 音声の継続時間(±1フレーム);1080x1920;30 fps。
- BGMと効果音が正しいレベルでミックスされている。
- すべての事実が確認済みで、オリジナルコンテンツ。
- ユーザーフィードバック用のコンタクトシートが提供されている。
- 完成したMP4が
out/に出力されている。