Communitygithub.com

卡通音頻短片製作

製作一個 9:16 垂直比例的動畫卡通短片,包含扁平 2D 豆形頭角色,並置於色彩豐富的墨水 3D 世界中。它會提出 10 個經驗證的故事點子、編寫計時劇本,然後將用戶的旁白轉換為完成的 1080x1920 MP4,並以語音量的一半添加音樂和音效。適用於任何卡通短片、動畫故事影片或歷史/科學 Short。

卡通音頻短片製作 是什麼?

該技能(Cartoon Audio Short v2)是一個全自動化管線,用於生成具有扁平 2D 豆形頭角色、插在色彩豐富的墨水 3D 世界中的垂直 9:16 動畫短片。它從概念開始,生成 10 個經網路驗證的故事點子,然後編寫一個精確計時的劇本(約每秒 3.7 個詞),該劇本驅動整個製作。管道會獲取用戶的旁白錄音(可以是上傳的 MP3/WAV 或來自 ElevenLabs 等服務),並對其進行處理,創建一個動畫序列,其中角色通過動作、表情和鏡頭移動與語音的精確時間同步。視覺效果採用獨特的「2.5D」美學,其中 2D 角色卡片存在於 3D 場景中,具有墨水輪廓、卡通著色和景深。音訊混合是固定的,音樂和音效在 -6 dB 相對語音,確保清晰的對話。該技能設計用於 Claude Code、Coder 和 Cursor 等平台,依賴 Node.js、Python、ffmpeg 和 Playwright。完整生產(包括渲染)可能耗時 20-50 分鐘,並生成 1080x1920、30 fps 的 MP4 輸出,無需用戶進一步輸入。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sahildwibedy62-del/skill-animation/tree/HEAD

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

卡通音頻短片 (v2)

由 WHATIF ANIMATIONSTORYS 頻道創建。 管線:點子 → 劇本 → 旁白 → 完成的 MP4。 參考構建:「永遠不離開的士兵」(19.7 秒,8 個鏡頭),包含在 kit/example/soldier/ 中。

外觀

  • 角色: 扁平 2D 豆形頭卡通「卡片」,畫在畫布上。它們有李子色輪廓和豐富的表情,並始終處於閒置狀態(呼吸、眨眼、點頭)。
  • 世界: 由簡單形狀構建的飽和 3D 場景。帶有深色接縫的平面塗色紋理、黑色墨水輪廓、卡通著色,以及與地平線同色的霧。
  • 鏡頭: 滑行、緩和的移動,特寫時有景深。沒有任何東西是靜止的。
  • 格式: 1080x1920,30 fps,長度與旁白完全相同。
  • 聲音: 用戶的旁白保持不變。合成的進行曲風格背景音樂和音效設置在語音量的一半(−6 dB)。

硬性規則

  1. 僅原創。永遠不要逐鏡頭重現其他創作者的影片;對相同的點子提供原創演繹。
  2. 沒有真實的、有名有姓的活人作為角色。沒有品牌吉祥物、標誌或受版權保護的角色。
  3. 除非要求,否則不加字幕。場景內文字(標誌、雕刻)可以,但必須正確閱讀,絕不能鏡像。
  4. 永遠不編輯、修剪、加速或重新定時語音。畫面根據語音定時。每個視覺反應在其詞語之前 0-3 幀內發生。
  5. 音頻比例是固定的:
    • 音樂相對於語音(門控 RMS)設置在 −6.0 dB。
    • 音效設置在或低於 −6 dB,峰值最多為語音峰值的 0.7 倍。
    • 始終使用 mix.py 混音。對混音不使用閃避或壓縮。
    • 整個混音只能施加一個線性增益和一個峰值限制器(finish.sh)。
  6. 先通過網路搜索檢查作為事實呈現的信息。將病毒式傳說框架為「傳說稱」。
  7. 沒有圖形、沒有政治,也沒有真實的活人作為笑話的對象。
  8. 持續工作,無需批准停止。僅當工作確實無法在沒有答案的情況下繼續時才提問。
  9. 通過任務列表告知用戶進度。在長時間渲染前發送靜止圖聯繫表。

路由(選擇入口點)

用戶有前往
附加的音頻(+ 劇本)立即前往第 4 階段
音頻,無劇本請求劇本文字(Claude 無法在沒有 ASR 的情況下聽到音頻)→ 第 4 階段
有劇本,無語音第 3 階段(緊縮)→ 等待音頻
僅主題直接前往第 3 階段(驗證事實)
無內容 /「給我點子」第 2 階段

如果不清楚,問一個問題:「你從哪裡開始?(點子 / 劇本 / 旁白準備好)」。如果未給出,也詢問目標長度。默認是 20-30 秒;最長允許 60 秒。

第 2 階段:10 個點子

精確給出 10 個,編號,在一個回覆中。以「回覆一個數字,或 'more' 獲取 10 個新的。」結束。

N. 標題(5-8 個詞,好奇心驅動)
   鉤子:第一個口語句子——一個陳述為事實的矛盾。
   轉折:具有諷刺意味的最後一句話。
   大場面:2-3 個時刻(崩塌 / 揭示 / 追逐 / 變形)。
   狀態:TRUE(有記錄)· DISPUTED · LEGEND

一個完美的點子具有:

  • 一個你可以展示的、具有物理因果關係的驚人故事。
  • 一個普通人英雄,不斷升級的風險,以及最後一句話中的轉折。
  • 一個可以用盒子、圓柱體和球體以及卡片構建的場景(城鎮、橋樑、船隻、城堡、沙漠、實驗室、宮殿、農場、港口、礦井)。
  • 一個你可以在一幀中看到的「之前 vs 之後」,這會產生一個強烈的縮略圖。

將 10 個點子分佈在古代、中世紀、1800 年代、現代、科學、動物、發明、災難、奇怪的法律和幸運的意外中。在列出之前,對每個 TRUE 或 DISPUTED 的點子進行網路搜索驗證。

第 3 階段:劇本

將劇本大小控制在每秒約 3.7 個口語詞:20 秒 ≈ 75 詞,30 秒 ≈ 110 詞,45 秒 ≈ 165 詞,60 秒 ≈ 220 詞。

結構:

  1. 鉤子(第一句,零鋪墊):荒謬的事實。必須在前 1.5 秒內出現。
  2. 設定(1-2 行):何時、何地、何人,以及一個具體細節。
  3. 升級(2-4 個節拍,每個更大)。他人懷疑或嘲笑。包括一個誇張的笑話。
  4. 轉折點:「但當...」/「你看...」引入真正的機制,最好用一個日常類比。
  5. **轉折:**簡短且具有諷刺意味,並且是影片的最後詞語。加分項:讓它循環回到鉤子,這樣 Short 自然重播。

風格:

  • 簡單的口語英語,使用縮寫。
  • 句子 8-15 個詞;數字寫成詞語。
  • 口語文本中沒有舞臺指示。
  • 永遠不要描述觀眾已經看到的內容。

自我檢查(如果任何一項失敗,以靜默方式修正):詞數在目標的 ±10% 以內;鉤子是陳述句,不是問題;每個句子都可以按字面意思說明;轉折在 12 個詞或更少,並出現在最後;事實與來源相符。

回覆:

  • a) 程式碼區塊中的劇本,附帶詞數和估計秒數。
  • b) 一段落的視覺計劃。
  • c) 錄音提示:
    • 一個溫暖、穩定的敘述者。ElevenLabs 效果很好:一個深沉的敘述者聲音,速度約 1.05-1.1,穩定性約 45-55%。
    • MP3 或 WAV 都可以。
    • 在句子結尾處留出自然停頓。
    • 導出時不帶音樂。
  • d)「準備好後上傳旁白,我來製作完整影片。」

保留最終的劇本文本,因為它驅動定時。如果他們錄製了更改後的版本,請索取最終文本。

第 4 階段:構建(從這裡開始不停頓)

創建任務列表:設置 · 定時 · 鏡頭計劃 · 世界 · 角色 · 動作 · 聯繫表 → 用戶 · 聲音 · 完整渲染 · 完成 + QA · 交付。

4.0 設置

SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug>      # 將 $SK/kit 視為唯讀
cd ~/shorts/<slug> && cp <uploaded voice> voice.mp3 && printf '%s' "<final script>" > script.txt
./short.sh doctor
  • setup.sh 複製引擎、工具和工作示例(作為起始的 web/story.js 和 audio.py)。它安裝 three.js r160 和來自 kit/vendor/ 的卡通基礎(無需網路),構建並語法檢查 web/toon.js,並鏈接 Playwright。如果缺少 three.js,則退出代碼 3。
  • 需求:Node 22.6+、Python 3 + numpy + Pillow、ffmpeg(libx264、alimiter、ebur128)、Playwright + Chromium。如果缺少 Playwright:npm i -g playwright && npx playwright install chromium。
  • 永遠不要禁用 TLS 或繞過代理。如果安裝被阻止,說明哪個包並繼續使用已安裝的內容。
  • Chromium 使用 CPU WebGL(swiftshader),每個工作執行緒約 3-5 秒每幀。一個 20 秒的短片(600 幀)大約需要 20-50 分鐘;請規劃好時間。

4.1 定時:./short.sh timing

  • 如果安裝了 whisper 或 faster-whisper,它會使用詞級時間戳。否則,它使用音節/持續時間 DP 將劇本短語與靜音檢測到的語音對齊。
  • 它會打印帶有幀範圍和 WARN 行的短語(非常短的短語、重疊、長尾巴、晚開始、與劇本不匹配的錄音)。通過合併鏡頭、手動修復 work/phrases.json、或詢問最終文本來解決警告。
  • N = 總幀數 = work/phrases.json 中的 frames30(從解碼的音頻測量)。

4.2 鏡頭計劃:work/PLAN.md,在任何程式碼之前

為每個鏡頭製作一行:| # | frames | words | setting | light | camera | cast/pose/face | FX | SFX |

  • 第 0 幀就是鉤子圖像:無淡入,無標題卡片。
  • 每個短語大約一個鏡頭。將短於 0.6 秒的短語合併到下一個鏡頭。
  • 按字面意思說明每個句子;道具承載笑點。
  • 鏡頭大小節奏:鉤子 MCU → 廣角揭示 → 雙人鏡頭 → 關鍵物體的插入 → 反應特寫 → 環境移動以呈現結果。永遠不要連續兩次使用相同的大小。
  • 燈光設定情緒:白天(正常)、金色(戲劇/衰落)、夜藍色(解釋)。時間跳躍獲得一個 6 幀的白色閃光。
  • 轉折得到一個刺音:音樂停止,一個低沉的打擊,一個帶有 3-5° 旋轉的推進。物理結果落在最後一個詞上。
  • 最後一幀應該是一個強烈的靜止畫面,可以乾淨地切回第 0 幀以實現循環。

4.3 世界(web/main.js、web/story.js)

  • 將引擎部分保留在 main.js 中:卡通材質、墨水約定、add/tbox、天空、燈光、卡片、渲染目標/後期、applyLight、drawActors、swapForNd、renderFrame。
  • 僅替換 // ---------- world ---------- 和 // ---------- cards ---------- 之間的示例世界,以及 worldState() 的故事部分和任何道具(士兵示例有一個 3D 頭盔道具)。
  • story.js 導出 SHOTS、TOTAL、shotAt、camAt、dofAt、LIGHTS/lightFor、worldAt、actorsAt(f, T) 和 fxAt(f, T)。所有這些都是關於幀的純函數。設置 TOTAL = N。
  • 紋理來自 paint.js:木板、橫樑、腐爛、石頭、苔蘚、草地、泥土、石膏、屋頂、大理石、橫幅、雕刻文字。新的繪畫者使用相同的平面顏色帶深色接縫風格。
  • 使用 tbox 獲得恆定的紋理像素密度、2 步卡通漸變和霧 = 地平線顏色。
  • 背景層:半埋的球體山丘、帶雪帽的圓錐山脈、柏樹/松樹、遠處的房屋和繪製的雲廣告牌。
  • 場景佈置(崩塌、墜落、門)是由 worldAt(f) 驅動的 0..1 進度的樞轉組,經過緩和和交錯。
  • 彎曲的場景內文字使用平面 UV。檢查它沒有鏡像。

4.4 角色(web/roman.js → web/toon.js)

  • romanFront(p, outfitKey, opts) 在 600x1000 的設計畫布上繪製,腳底在 y=975。卡片高 2.25 米,所以 1 設計單位 = 0.00225 米。
  • 服裝(OUTFITS):legion、old、toga、civA、civB、civC、workA、workB。使用 tunic/cape/armor/helmet/hair/cap/beard/apron/dress/toga 鍵添加新的。
  • 手臂姿勢:hang、spear、point、up、wave、hip、belly、temple(+swirl)、lift、reach(+lift)、cheek、shield、cross、thumb。
  • 面部:基礎卡通 FACE 集合加上 snore、stubborn 和 squint。擴展 FACE 以獲得更多。
  • 角色編輯後,使用 cat web/toonbase.js web/roman.js > web/toon.js 重建。然後運行 ./short.sh cast 並在使用設計之前查看 stills/cast_sheet.png。
  • 廣告牌僅在偏航時轉動,獲得一個接觸模糊和一個 alpha 測試陰影,並且永遠不會被世界通道著墨。
  • 從 q() 四捨五入的值構建卡片鍵,以便畫布僅在可見變化時重新繪製。
  • 一個分離的部件(例如,一個被抬起的頭盔)是自己的卡片:y = DECK + (partY − hc) × 0.00225,與 headCenter(seed) 對齊。
  • 給主角一個標誌性特徵(顏色、帽子、道具),以便他們在手機尺寸下立即可讀。

4.5 動作(web/motion.js):流暢且生動

鏡頭:

  • 使用 camFromKeys(keys, f, {kicks}):18-45 幀的 smootherstep 滑行,揭示和抽打的 easeOut,以及曲線的 path 經由點(Catmull-Rom)。
  • 每個保持都有微動;沒有東西是靜止超過 4 幀的。
  • 戲劇性場景獲得一個 3-5° 的旋轉;碰撞通過 kicks 獲得一個 7 幀的翻轉震動。
  • 優先選擇連續移動(拉遠、跟焦、搖臂、推近)。僅在位置或時間跳躍時硬切,並帶有一個閃光。

角色:

  • 他們從不凍結:對每個卡片應用 idle(f, seed),blinkAt 用於眨眼,以及在重讀詞語上的點頭。
  • 動作遵循預期 → 過衝 → 彈簧穩定(M.anticip、M.back、M.spring)。跺腳是一個 2 幀的下蹲 + 灰塵噴出 + 踢。笑是一個交替的傾斜 + 點頭。
  • 走路:walk() 給出距離和步態相位。用 3-7% 的彈跳保持腳步著地。

次要動作始終存在:布料、樹葉、灰塵、水滴、Zzz、水。

**鏡頭:**特寫和中景上的景深(cInf 8-14 px),聚焦於眼睛。廣角保持清晰。跟焦大約需要 14 幀。

4.6 外觀檢查(完整渲染前強制執行)

運行 ./short.sh stills "5,40,90,..." a,選擇每個鏡頭的中間以及過渡和關鍵動作。它會寫入帶有幀標籤的 stills/sheet_a.jpg。打開它並修復每個陷阱:

  • 構圖: 半寬度 = d·tan(hfov/2),其中 hfov = 2·atan(tan(vfov/2)·0.5625)。在 4 米和 fov 40 時,只有 ±0.8 米,所以在深度中安排角色。
  • 遮擋: 沒有欄杆或柱子橫跨面部;相機不在欄杆、房屋、屋頂或灌木叢內。
  • 間隙: 沒有前景道具比 ~2 米更近;主角永遠不會藏在柱子後面。
  • 文字和部件: 文字沒有鏡像;分離的部件卡片偏移正確。
  • 擠出組: 0 = 蓋子,1 = 側面 + 頂部。
  • 墨水: 存在於各處。如果沒有,用 HASH=#e(僅邊緣)和 HASH=#nd(法線/深度)調試。墨水半徑約為 2.5 px(在 1080 下);天空計為遠深度,而不是卡片。
  • 手機尺寸: 以 25% 查看聯繫表時,面部仍然可讀。

將聯繫表發送給用戶,每個鏡頭附帶一行摘要,然後開始完整渲染,無需等待。

4.7 聲音:./short.sh sound

  • 首先鎖定畫面定時。任何定時變更都意味著重新運行聲音。
  • audio.py 僅保存提示表。合成器存在於 synth.py 中:
    • 音樂: march、drone、PROG_MINOR/PROG_MAJOR、pluck、brass、drum。
    • 音效: whoosh、thunk、rumble、crash、scrape、ting、sting、creak、snap、splash、snore、leaves、water、cuckoo、pop、boing、footstep/steps、wind、crowd。
  • 音樂在轉折行停止(march(..., end=TWIST)),然後 drone 持續到結束。
  • 使用 crest_db=14 保存 SFX 分軌。這會抑制瞬態,使 SFX 可以接近 50% 的峰值上限。
  • mix.py 打印電平。確認音樂顯示相對於語音為 −6.0 dB(OK)且 SFX 等於或低於此電平(OK)。永遠不要手動調整;而是修復分軌。

4.8 渲染 + 完成

  • 使用 Bash run_in_background 以 WORKERS=2 ./short.sh render 渲染。從 Monitor 循環中檢查 ./short.sh progress(完成、秒/幀、ETA)。
  • 幀以原子方式寫入。中斷後,使用 RESUME=1 WORKERS=2 ./short.sh render。
  • 在 4 核或更少的機器上使用 WORKERS=1。不要同時運行繁重的 Python。
  • 然後運行 ./short.sh finish "Title":
    • 它檢查幀是否完整且連續。
    • 它應用一個測量的線性增益到 −14 LUFS 加上一個 −1 dBFS 限制器,並編碼 H.264 CRF 17 + AAC。
    • QA 涵蓋大小、持續時間與語音相比、凍結/黑幀、響度和混音電平。它寫入 out/qa.txt 和 out/qa_sheet.jpg,並在任何 FAIL 時退出 1。

4.9 完成定義

  • 持續時間 = 語音持續時間(±1 幀);1080x1920;30 fps。
  • 場景內文字正確閱讀且未鏡像。
  • 墨水存在於所有非天空表面。
  • 角色始終閒置;道具和相機也有生命。
  • 混音:音樂 = −6.0 dB(相對於語音),SFX ≤ -6.0 dB,峰值 ≤ 0.7× 語音峰值。
  • QA 輸出存在且無 FAIL。
  • 最終 MP4 可循環播放(最後一幀 → 第 0 幀)。

工具參考

kit/tools/ 中的腳本適用於潛在的更好基於 LLM 的工具創建。

每個短片目錄中的工具(由 setup.sh 複製):

  • short.sh:主要入口點(doctor、timing、cast、stills、sound、render、finish、all)。
  • audio.py:提示表(僅合成器調用,無合成器邏輯)。
  • synth.py:合成器(音樂和 SFX 生成器)。
  • mix.py:將 3 個分軌(voi、mus、fx)混合為 2 聲道(立體聲混音)WAV,固定電平。
  • web/:Three.js 渲染器(main.js、story.js、toon.js、motion.js、draw.js、paint.js、roman.js、toonbase.js、vendor/)。

對於新工具:代碼可以讀取 work/phrases.json 中的時間戳和 web/story.js 中的故事數據。將新工具放入 kit/tools/ 並在 short.sh 中註冊。

kit/example/soldier/ 參考

解構以展示管線如何連接:

  • voice.mp3(19.736 秒,16 kHz 單聲道)。
  • script.txt:75 個詞,預計 20 秒。
  • web/story.js:8 個鏡頭,610 幀(30.5 秒?不——語音是 19.736 秒,所以 TOTAL = 592,8 個鏡頭,~74 幀每個)。
  • 鏡頭 0:MCU 士兵,疲倦。 鉤子。
  • 鏡頭 1:廣角場景(戰壕、泥濘)。 設定。
  • 鏡頭 2:插入——手,日記。 升級。
  • 鏡頭 3:特寫表情。 升級。
  • 鏡頭 4:廣角,時間跳躍(閃光)。 轉折點。
  • 鏡頭 5:插入——獎章。 提示。
  • 鏡頭 6:MCU,微笑。 轉折構建。
  • 鏡頭 7:特寫,眼睛——揭示。 轉折(最後一幀是可循環的框架)。
  • audio.py:march(0-580)→ drone(580-592);SFX:雨、泥土、紙張、鈴聲、風。
  • 混音:voice −0.7 LUFS,music −6.7 dB 相對,SFX −8.2 dB 相對。限制器:−1.0 dBFS。
  • out/:short.mp4(1080x1920,30fps,19.736 秒),qa.txt(所有通過)。

檢查 kit/example/soldier/ 中的實際文件以獲取實現細節。

相關技能