Communitygithub.com

cartoon-audio-short

垂直9:16のアニメーションカートゥーン短編動画を制作します。フラットな2Dビーンヘッドキャラクターがカラフルなインク調の3D世界で活躍します。音声をアップロードするだけで、BGMと効果音付きの完成されたMP4が出力されます。

cartoon-audio-short とは?

このスキル(Cartoon Audio Short v2)は、WHATIF ANIMATIONSTORYSチャンネルが開発した、アイデアから完成したアニメーション動画までを自動生成するエージェントスキルです。ユーザーがトピックやアイデアを入力すると、まず10個の検証済みストーリー案を提案し、選択されたアイデアに基づいてタイムドスクリプトを生成します。その後、ユーザーがボイスオーバーをアップロードすると、その音声に同期した1080x1920のMP4動画を、合成マーチ風BGMと効果音(ボイスレベルの-6dB)とともにレンダリングします。対応プラットフォームはClaude Codeなどのコード実行エージェントで、Node.js、Python、ffmpeg、Playwrightの環境が必要です。パイプラインは段階的で、アイデア提出(Stage2)、スクリプト作成(Stage3)、ビルド・レンダリング(Stage4)から構成され、各段階で事実確認やタイミング調整など細かな品質管理が行われます。キャラクターはビーンヘッドのカード型で、3D世界は単純な形状とフラットテクスチャで構築され、インク調のトゥーンシェーディングが特徴です。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sahildwibedy62-del/skill-animation/tree/HEAD

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Cartoon Audio Short (v2)

WHATIF ANIMATIONSTORYSチャンネル制作。 パイプライン: アイデア → スクリプト → ボイスオーバー → 完成MP4。 参考ビルド: 「決して去らなかった兵士」(19.7秒、8ショット)、kit/example/soldier/に含まれています。

見た目

  • キャラクター: キャンバスに描かれたフラットな2Dビーンヘッドカートゥーン「カード」。プラム色の輪郭と大きな表情を持ち、常にアイドル動作(呼吸、まばたき、首振り)を行います。
  • 世界: シンプルな形状で構築された彩度の高い3Dセット。暗い継ぎ目、黒いインクの輪郭線、トゥーンシェーディング、地平線の色のフォグで塗られたフラットテクスチャ。
  • カメラ: 滑らかでイーズのかかった動きで、クローズアップでは被写界深度がかかります。決して静的な状態はありません。
  • フォーマット: 1080×1920、30fps、ボイスオーバーの長さに正確に一致。
  • サウンド: ユーザーの声はそのまま。合成されたマーチ風BGMと効果音は、ボイスレベルの50%(−6dB)で配置されます。

厳格なルール

  1. オリジナル限定。 他のクリエイターの動画をショットごとに再現せず、同じアイデアに対するオリジナルの解釈を提供すること。
  2. 実在する指名された人物をキャラクターにしない。 ブランドマスコット、ロゴ、著作権で保護されたキャラクターは禁止。
  3. キャプションは要求がない限り付けない。 ダイジェティックテキスト(看板、彫刻)は可。ただし、正しく読めること、決して反転しないこと。
  4. 声の編集、トリミング、速度変更、再タイミングは決して行わない。 映像は声に合わせてタイミングが取られます。すべての視覚的な反応は、該当する単語の0〜3フレーム前に収まります。
  5. オーディオ比率は固定:
    • 音楽はボイス(ゲートRMS)に対して−6.0dB。
    • SFXは−6dB以下、ピークはボイスピークの最大0.7倍。
    • 常にmix.pyでミックス。ダッキング、ミックスへのコンプレッションは禁止。
    • ミックス全体には1つのリニアゲインと1つのピークリミッターのみ適用(finish.sh)。
  6. 事実として提示された情報は、まずウェブ検索で確認すること。 バイラルな伝説は「伝説によると」と表現する。
  7. 過激な内容、政治的な内容、実在の人物を笑いの対象にしない。
  8. 承認ストップなしで作業を続ける。 答えなしでは本当に作業を続行できない場合のみ質問する。
  9. タスクリストでユーザーに情報を提供する。 長時間レンダリングの前にスチルコンタクトシートを送信する。

ルーティング(エントリーポイント選択)

ユーザーの状態移動先
音声付き(+ スクリプト)すぐにStage 4へ
音声あり、スクリプトなしスクリプトテキストを確認(ClaudeはASRなしでは音声を聞けません)→ Stage 4
スクリプトあり、音声なしStage 3(タイトニング)→ 音声を待つ
トピックのみStage 3へ直接(事実確認)
何もない / 「アイデアをください」Stage 2

不明な場合は、1つの質問をする:「どこから始めますか?(アイデア / スクリプト / ボイスオーバー準備完了)」 また、目標の長さが指定されていない場合は尋ねる。デフォルトは20〜30秒。最大60秒まで許可。

Stage 2: 10のアイデア

正確に10個、番号付きで1回の返信で提示する。最後に次のように締めくくる:「番号で返信するか、新たに10個の場合は'more'と入力してください。」

N. タイトル(5〜8単語、好奇心をそそるもの)
   フック:最初に発するフレーズ — 事実として提示されるパラドックス。
   どんでん返し:皮肉な最後の台詞。
   大きなビジュアル:2〜3の瞬間(崩壊 / 発見 / 追跡 / 変身)。
   ステータス:TRUE(文書化済み) · DISPUTED(異論あり) · LEGEND(伝説)

完璧なアイデアの条件:

  • 物理的な原因と結果を見せることができる、驚きに満ちた1つのストーリー。
  • 普通のヒーロー、エスカレートするステークス、最後の台詞でのどんでん返し。
  • 箱、円柱、球体とカードから構築可能なセット(町、橋、船、城、砂漠、研究所、宮殿、農場、港、鉱山)。
  • 1フレームで見ることができる「前 vs 後」があり、強力なサムネイルになる。

10のアイデアを、古代、中世、1800年代、現代、科学、動物、発明、災害、奇妙な法律、幸運な偶然に分散させる。リストアップする前に、すべてのTRUEまたはDISPUTEDのアイデアをウェブ検索で確認する。

Stage 3: スクリプト

スクリプトのサイズは、1秒あたり約3.7話し言葉:20秒 ≈ 75単語、30秒 ≈ 110、45秒 ≈ 165、60秒 ≈ 220。

構成:

  1. フック(文1、ゼロセットアップ):不条理な事実。最初の1.5秒以内に伝わること。
  2. 設定(1〜2行):いつ、どこで、誰が、そして1つの具体的な詳細。
  3. エスカレーション(2〜4ビート、それぞれ大きく)。他者は疑ったり嘲笑したりする。1つの誇張ジョークを含める。
  4. 転換点:「しかし…」/「実は…」で実際のメカニズムを導入。できれば日常的な例えとともに。
  5. どんでん返し: 短く皮肉で、動画の最後の言葉。ボーナス:フックにループバックして、Shortが自然にリプレイされるようにする。

スタイル:

  • 短縮形を使った平易な話し言葉の英語。
  • 8〜15単語の文;数字は単語で書く。
  • 話し言葉に舞台指示を含めない。
  • 視聴者がすでに見ているものを説明しない。

セルフチェック(失敗した場合は黙って修正):単語数が目標の±10%以内;フックは質問ではなく、ステートメントであること;すべての文が文字通りに図示できること;どんでん返しは12単語以下で最後に来ること;事実が出典と一致すること。

返信内容:

  • a) コードブロック内のスクリプト(単語数と推定秒数付き)。
  • b) 1段落のビジュアルプラン。
  • c) 録音のヒント:
    • 温かみのある安定したナレーター。ElevenLabsが適しています:深いナレーターの声、速度〜1.05〜1.1、安定性〜45〜55%。
    • MP3またはWAVで問題ありません。
    • 文の終わりに自然な間を残す。
    • 音楽なしでエクスポートする。
  • d) 「ボイスオーバーの準備ができたらアップロードしてください。完全な動画を作成します。」

最終的なスクリプトテキストを保持すること。これがタイミングを決定するため。録音されたバージョンが変更されている場合は、最終テキストを確認する。

Stage 4: ビルド(ここからは停止なし)

タスクリストを作成:セットアップ · タイミング · ショットプラン · ワールド · キャスト · モーション · コンタクトシート → ユーザー · サウンド · フルレンダリング · 仕上げ + QA · 納品。

4.0 セットアップ

SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug>      # $SK/kitは読み取り専用として扱う
cd ~/shorts/<slug> && cp <アップロードされた音声> voice.mp3 && printf '%s' "<最終スクリプト>" > script.txt
./short.sh doctor
  • setup.shは、エンジン、ツール、および動作例(web/story.jsとaudio.pyの開始点として)をコピーします。three.js r160とkit/vendor/からトゥーンベースをインストールし(ネットワーク不要)、web/toon.jsをビルドして構文チェックし、Playwrightをリンクします。three.jsがない場合は終了コード3で終了します。
  • 要件:Node 22.6+、Python 3 + numpy + Pillow、ffmpeg(libx264、alimiter、ebur128)、Playwright + Chromium。Playwrightがない場合:npm i -g playwright && npx playwright install chromium。
  • TLSを無効にしたり、プロキシをバイパスしたりしないでください。インストールがブロックされた場合は、どのパッケージかを伝え、インストールされているもので続行します。
  • ChromiumはCPU WebGL(swiftshader)を使用し、ワーカーあたりフレームあたり約3〜5秒かかります。20秒のShort(600フレーム)は約20〜50分かかるため、計画を立ててください。

4.1 タイミング: ./short.sh timing

  • whisperまたはfaster-whisperがインストールされている場合は、単語のタイムスタンプを使用します。それ以外の場合は、音節/継続時間DPを使用して、スクリプトのフレーズを無音検出された音声にアライメントします。
  • フレーム範囲とWARN行(非常に短いフレーズ、重複、長い末尾、遅い開始、スクリプトと一致しない録音)とともにフレーズを出力します。ショットのマージ、work/phrases.jsonの手動修正、または最終テキストの確認によって警告を解決します。
  • N = 総フレーム数 = work/phrases.jsonのframes30(デコードされた音声から測定)。

4.2 ショットプラン: work/PLAN.md、コードの前に

ショットごとに1行:| # | フレーム | 単語 | 設定 | 照明 | カメラ | キャスト/ポーズ/表情 | FX | SFX |

  • フレーム0はフック画像:フェードイン、タイトルカードなし。
  • フレーズあたり約1ショット。0.6秒より短いフレーズは次のショットにマージする。
  • すべての文を文字通りに図示する;プロップがジョークを伝える。
  • ショットサイズのリズム:フックMCU → ワイドリビール → ツーショット → キーオブジェクトのインサート → リアクションクローズアップ → 決め手のための環境移動。同じサイズを連続して使用しない。
  • 照明はムードを設定:昼(通常)、ゴールデン(ドラマ/衰退)、夜ブルー(説明)。時間のジャンプは6フレームの白いフラッシュを取得する。
  • どんでん返しはスタング効果:音楽が止まり、低いヒット音、3〜5°のロールを伴うプッシュイン。物理的な決め手は最後の単語に合わせる。
  • 最後のフレームは、フレーム0にきれいにカットバックしてループできる強力な静止画であること。

4.3 ワールド(web/main.js、web/story.js)

  • main.jsのエンジンセクションを保持:トゥーンマテリアル、インクコントラクト、add/tbox、スカイ、ライト、カード、レンダーターゲット/ポスト、applyLight、drawActors、swapForNd、renderFrame。
  • // ---------- world ----------と// ---------- cards ----------の間のサンプルワールドのみを置き換える。さらに、worldState()と任意のプロップ(兵士の例には3Dヘルメットプロップがある)のストーリー部分も置き換える。
  • story.jsは、SHOTS、TOTAL、shotAt、camAt、dofAt、LIGHTS/lightFor、worldAt、actorsAt(f, T)、fxAt(f, T)をエクスポートする。すべてフレームの純粋関数。TOTALをNに設定する。
  • テクスチャはpaint.jsから来る:planks、beam、rotten、stone、mossy、grass、dirt、plaster、roof、marble、banner、carved text。新しいペインターは同じフラットカラー+ダークシームスタイルを使用する。
  • tboxを使用して一定のテクセル密度、2段階トゥーングラデーション、フォグ(地平線の色)を実現する。
  • 背景レイヤー:半分埋まった球体の丘、雪をかぶった円錐の山、ヒノキ/松の木、遠くの家、ペイントされた雲のビルボード。
  • セットピース(崩壊、落下、ドア)は、worldAt(f)からの0..1の進行度で駆動されるピボットグループであり、イーズとスタガリングが適用される。
  • 曲線的なダイジェティックテキストは平面UVを使用する。反転していないことを確認する。

4.4 キャスト(web/roman.js → web/toon.js)

  • romanFront(p, outfitKey, opts)は、足裏がy=975の600x1000のデザインキャンバスに描画する。カードの高さは2.25mなので、1デザインユニット = 0.00225m。
  • 衣装(OUTFITS):legion、old、toga、civA、civB、civC、workA、workB。tunic/cape/armor/helmet/hair/cap/beard/apron/dress/togaキーで新しいものを追加する。
  • 腕のポーズ:hang、spear、point、up、wave、hip、belly、temple(+swirl)、lift、reach(+lift)、cheek、shield、cross、thumb。
  • 表情:トゥーンベースのFACEセットにsnore、stubborn、squintを追加。FACEを拡張してさらに設定する。
  • キャスト編集後、cat web/toonbase.js web/roman.js > web/toon.jsで再ビルドする。次に./short.sh castを実行し、デザインを使用する前にstills/cast_sheet.pngを見る。
  • ビルボードはヨーのみ回転し、接触ブラブとアルファテストされた影を取得し、ワールドパスでインク処理されない。
  • q()で丸めた値からカードキーをビルドし、可視変更があった場合のみキャンバスが再描画されるようにする。
  • 分離したパーツ(例:持ち上げられたヘルメット)は独自のカード:y = DECK + (partY − hc) × 0.00225、headCenter(seed)と位置合わせされる。
  • ヒーローには、1つの特徴的な特徴(色、帽子、プロップ)を与え、電話サイズでも即座に認識できるようにする。

4.5 モーション(web/motion.js):スムーズで生き生きと

カメラ:

  • camFromKeys(keys, f, {kicks})を使用:18〜45フレームのsmootherstepグライド、リビールとホイップにはeaseOut、カーブにはpath経由点(Catmull-Rom)。
  • すべてのホールドはクリープする;4フレーム以上静止しない。
  • ドラマは3〜5°のロールを取得;インパクトはkicksを介して7フレームのフリップシェイクを取得する。
  • 連続的な動き(プルバック、ラックフォーカス、クレーン、プッシュイン)を優先する。ハードカットは、場所や時間のジャンプ(フラッシュ付き)の場合のみ。

キャラクター:

  • 決してフリーズしない:すべてのカードにidle(f, seed)を適用し、まばたきにはblinkAt、強調された単語には頭の上下動を適用する。
  • アクションは、予備動作 → オーバーシュート → スプリングセトルに従う(M.anticip、M.back、M.spring)。足を踏み鳴らすのは、2フレームのディップ+ダストパフ+キック。笑いは交互の傾き+上下動。
  • 歩行:walk()は距離とステップ位相を提供する。3〜7%の上下動で足を地面に固定する。

二次モーションは常に存在する:布、葉、ほこり、水滴、Zzz、水。

レンズ: クローズアップとミディアムでは被写界深度(cInf 8〜14 px)、目に焦点。ワイドはシャープのまま。ラックフォーカスは約14フレームかかる。

4.6 ルックチェック(フルレンダリングの前に必須)

./short.sh stills "5,40,90,..." aを実行し、各ショットの中央とトランジションおよびキーアクションを選択する。フレームラベル付きのstills/sheet_a.jpgが書き出される。それを開き、すべてのトラップを修正する:

  • フレーミング: 半幅 = d·tan(hfov/2)、ここでhfov = 2·atan(tan(vfov/2)·0.5625)。4m、fov 40の場合、±0.8mのみなので、キャラクターを奥行きに配置する。
  • 妨害物: 顔の前にレールや柱がないこと。カメラがレール、家、屋根、茂みの内側にないこと。
  • クリアランス: 前景のプロップは約2mより近くないこと。ヒーローが柱の後ろに隠れていないこと。
  • テキストとパーツ: テキストが反転していないこと。分離パーツカードのオフセットが正しいこと。
  • 押し出しグループ: 0 = キャップ、1 = サイズ + トップ。
  • インク: すべての場所に存在すること。ない場合は、HASH=#e(エッジのみ)とHASH=#nd(ノーマル/深度)でデバッグする。インク半径は1080で約2.5px。スカイは遠い深度としてカウントされ、カードではない。
  • 電話サイズ: シートを25%で表示しても顔が読めること。

シートをショットごとの1行サマリーとともにユーザーに送信し、待たずにフルレンダリングを開始する。

4.7 サウンド:./short.sh sound

  • まずピクチャータイミングを固定する。タイミングを変更するたびにサウンドを再実行する必要がある。
  • audio.pyはのみキューテーブルを保持する。シンセはsynth.pyに存在する:
    • 音楽: march、drone、PROG_MINOR/PROG_MAJOR、pluck、brass、drum。
    • SFX: whoosh、thunk、rumble、crash、scrape、ting、sting、creak、snap、splash、snore、leaves、water、cuckoo、pop、boing、footstep/steps、wind、crowd。
  • 音楽はどんでん返しのラインで停止する(march(..., end=TWIST))、その後droneが最後まで続く。
  • SFXステムをcrest_db=14で保存する。これによりトランジェントが抑えられ、SFXがピークキャップの下の約50%に収まるようになる。
  • mix.pyがレベルを出力する。音楽がボイスに対して−6.0dB(OK)で、SFXがそれ以下(OK)であることを確認する。手動で調整せず、代わりにステムを修正する。

4.8 レンダリング + 仕上げ

  • WORKERS=2 ./short.sh renderでBash run_in_backgroundを使用してレンダリングする。Monitorループから./short.sh progress(完了、s/フレーム、ETA)を確認する。
  • フレームはアトミックに書き込まれる。中断後は、RESUME=1 WORKERS=2 ./short.sh renderを使用する。
  • 4コア以下のマシンではWORKERS=1を使用する。同時に重いPythonを実行しないこと。
  • 次に./short.sh finish "タイトル"を実行する:
    • フレームが完全で連続していることを確認する。
    • 測定された1つのリニアゲインを−14 LUFSに適用し、−1dBFSリミッターを適用し、H.264 CRF 17 + AACでエンコードする。
    • QAは、サイズ、音声に対する継続時間、フリーズ/黒フレーム、ラウドネス、ミックスレベルをカバーする。out/qa.txtとout/qa_sheet.jpgを書き込み、FAILがある場合は終了コード1で終了する。

4.9 完了の定義

  • 継続時間 = 音声の継続時間(±1フレーム);1080x1920;30 fps。
  • BGMと効果音が正しいレベルでミックスされている。
  • すべての事実が確認済みで、オリジナルコンテンツ。
  • ユーザーフィードバック用のコンタクトシートが提供されている。
  • 完成したMP4がout/に出力されている。

関連スキル