卡通音頻短片 (v2)
由 WHATIF ANIMATIONSTORYS 頻道創建。
管線:點子 → 劇本 → 旁白 → 完成的 MP4。
參考構建:「永遠不離開的士兵」(19.7 秒,8 個鏡頭),包含在 kit/example/soldier/ 中。
外觀
- 角色: 扁平 2D 豆形頭卡通「卡片」,畫在畫布上。它們有李子色輪廓和豐富的表情,並始終處於閒置狀態(呼吸、眨眼、點頭)。
- 世界: 由簡單形狀構建的飽和 3D 場景。帶有深色接縫的平面塗色紋理、黑色墨水輪廓、卡通著色,以及與地平線同色的霧。
- 鏡頭: 滑行、緩和的移動,特寫時有景深。沒有任何東西是靜止的。
- 格式: 1080x1920,30 fps,長度與旁白完全相同。
- 聲音: 用戶的旁白保持不變。合成的進行曲風格背景音樂和音效設置在語音量的一半(−6 dB)。
硬性規則
- 僅原創。永遠不要逐鏡頭重現其他創作者的影片;對相同的點子提供原創演繹。
- 沒有真實的、有名有姓的活人作為角色。沒有品牌吉祥物、標誌或受版權保護的角色。
- 除非要求,否則不加字幕。場景內文字(標誌、雕刻)可以,但必須正確閱讀,絕不能鏡像。
- 永遠不編輯、修剪、加速或重新定時語音。畫面根據語音定時。每個視覺反應在其詞語之前 0-3 幀內發生。
- 音頻比例是固定的:
- 音樂相對於語音(門控 RMS)設置在 −6.0 dB。
- 音效設置在或低於 −6 dB,峰值最多為語音峰值的 0.7 倍。
- 始終使用
mix.py混音。對混音不使用閃避或壓縮。 - 整個混音只能施加一個線性增益和一個峰值限制器(
finish.sh)。
- 先通過網路搜索檢查作為事實呈現的信息。將病毒式傳說框架為「傳說稱」。
- 沒有圖形、沒有政治,也沒有真實的活人作為笑話的對象。
- 持續工作,無需批准停止。僅當工作確實無法在沒有答案的情況下繼續時才提問。
- 通過任務列表告知用戶進度。在長時間渲染前發送靜止圖聯繫表。
路由(選擇入口點)
| 用戶有 | 前往 |
|---|---|
| 附加的音頻(+ 劇本) | 立即前往第 4 階段 |
| 音頻,無劇本 | 請求劇本文字(Claude 無法在沒有 ASR 的情況下聽到音頻)→ 第 4 階段 |
| 有劇本,無語音 | 第 3 階段(緊縮)→ 等待音頻 |
| 僅主題 | 直接前往第 3 階段(驗證事實) |
| 無內容 /「給我點子」 | 第 2 階段 |
如果不清楚,問一個問題:「你從哪裡開始?(點子 / 劇本 / 旁白準備好)」。如果未給出,也詢問目標長度。默認是 20-30 秒;最長允許 60 秒。
第 2 階段:10 個點子
精確給出 10 個,編號,在一個回覆中。以「回覆一個數字,或 'more' 獲取 10 個新的。」結束。
N. 標題(5-8 個詞,好奇心驅動)
鉤子:第一個口語句子——一個陳述為事實的矛盾。
轉折:具有諷刺意味的最後一句話。
大場面:2-3 個時刻(崩塌 / 揭示 / 追逐 / 變形)。
狀態:TRUE(有記錄)· DISPUTED · LEGEND
一個完美的點子具有:
- 一個你可以展示的、具有物理因果關係的驚人故事。
- 一個普通人英雄,不斷升級的風險,以及最後一句話中的轉折。
- 一個可以用盒子、圓柱體和球體以及卡片構建的場景(城鎮、橋樑、船隻、城堡、沙漠、實驗室、宮殿、農場、港口、礦井)。
- 一個你可以在一幀中看到的「之前 vs 之後」,這會產生一個強烈的縮略圖。
將 10 個點子分佈在古代、中世紀、1800 年代、現代、科學、動物、發明、災難、奇怪的法律和幸運的意外中。在列出之前,對每個 TRUE 或 DISPUTED 的點子進行網路搜索驗證。
第 3 階段:劇本
將劇本大小控制在每秒約 3.7 個口語詞:20 秒 ≈ 75 詞,30 秒 ≈ 110 詞,45 秒 ≈ 165 詞,60 秒 ≈ 220 詞。
結構:
- 鉤子(第一句,零鋪墊):荒謬的事實。必須在前 1.5 秒內出現。
- 設定(1-2 行):何時、何地、何人,以及一個具體細節。
- 升級(2-4 個節拍,每個更大)。他人懷疑或嘲笑。包括一個誇張的笑話。
- 轉折點:「但當...」/「你看...」引入真正的機制,最好用一個日常類比。
- **轉折:**簡短且具有諷刺意味,並且是影片的最後詞語。加分項:讓它循環回到鉤子,這樣 Short 自然重播。
風格:
- 簡單的口語英語,使用縮寫。
- 句子 8-15 個詞;數字寫成詞語。
- 口語文本中沒有舞臺指示。
- 永遠不要描述觀眾已經看到的內容。
自我檢查(如果任何一項失敗,以靜默方式修正):詞數在目標的 ±10% 以內;鉤子是陳述句,不是問題;每個句子都可以按字面意思說明;轉折在 12 個詞或更少,並出現在最後;事實與來源相符。
回覆:
- a) 程式碼區塊中的劇本,附帶詞數和估計秒數。
- b) 一段落的視覺計劃。
- c) 錄音提示:
- 一個溫暖、穩定的敘述者。ElevenLabs 效果很好:一個深沉的敘述者聲音,速度約 1.05-1.1,穩定性約 45-55%。
- MP3 或 WAV 都可以。
- 在句子結尾處留出自然停頓。
- 導出時不帶音樂。
- d)「準備好後上傳旁白,我來製作完整影片。」
保留最終的劇本文本,因為它驅動定時。如果他們錄製了更改後的版本,請索取最終文本。
第 4 階段:構建(從這裡開始不停頓)
創建任務列表:設置 · 定時 · 鏡頭計劃 · 世界 · 角色 · 動作 · 聯繫表 → 用戶 · 聲音 · 完整渲染 · 完成 + QA · 交付。
4.0 設置
SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug> # 將 $SK/kit 視為唯讀
cd ~/shorts/<slug> && cp <uploaded voice> voice.mp3 && printf '%s' "<final script>" > script.txt
./short.sh doctor
setup.sh複製引擎、工具和工作示例(作為起始的web/story.js和audio.py)。它安裝 three.js r160 和來自kit/vendor/的卡通基礎(無需網路),構建並語法檢查web/toon.js,並鏈接 Playwright。如果缺少 three.js,則退出代碼 3。- 需求:Node 22.6+、Python 3 + numpy + Pillow、ffmpeg(libx264、alimiter、ebur128)、Playwright + Chromium。如果缺少 Playwright:
npm i -g playwright && npx playwright install chromium。 - 永遠不要禁用 TLS 或繞過代理。如果安裝被阻止,說明哪個包並繼續使用已安裝的內容。
- Chromium 使用 CPU WebGL(swiftshader),每個工作執行緒約 3-5 秒每幀。一個 20 秒的短片(600 幀)大約需要 20-50 分鐘;請規劃好時間。
4.1 定時:./short.sh timing
- 如果安裝了 whisper 或 faster-whisper,它會使用詞級時間戳。否則,它使用音節/持續時間 DP 將劇本短語與靜音檢測到的語音對齊。
- 它會打印帶有幀範圍和 WARN 行的短語(非常短的短語、重疊、長尾巴、晚開始、與劇本不匹配的錄音)。通過合併鏡頭、手動修復
work/phrases.json、或詢問最終文本來解決警告。 - N = 總幀數 =
work/phrases.json中的frames30(從解碼的音頻測量)。
4.2 鏡頭計劃:work/PLAN.md,在任何程式碼之前
為每個鏡頭製作一行:| # | frames | words | setting | light | camera | cast/pose/face | FX | SFX |
- 第 0 幀就是鉤子圖像:無淡入,無標題卡片。
- 每個短語大約一個鏡頭。將短於 0.6 秒的短語合併到下一個鏡頭。
- 按字面意思說明每個句子;道具承載笑點。
- 鏡頭大小節奏:鉤子 MCU → 廣角揭示 → 雙人鏡頭 → 關鍵物體的插入 → 反應特寫 → 環境移動以呈現結果。永遠不要連續兩次使用相同的大小。
- 燈光設定情緒:白天(正常)、金色(戲劇/衰落)、夜藍色(解釋)。時間跳躍獲得一個 6 幀的白色閃光。
- 轉折得到一個刺音:音樂停止,一個低沉的打擊,一個帶有 3-5° 旋轉的推進。物理結果落在最後一個詞上。
- 最後一幀應該是一個強烈的靜止畫面,可以乾淨地切回第 0 幀以實現循環。
4.3 世界(web/main.js、web/story.js)
- 將引擎部分保留在
main.js中:卡通材質、墨水約定、add/tbox、天空、燈光、卡片、渲染目標/後期、applyLight、drawActors、swapForNd、renderFrame。 - 僅替換
// ---------- world ----------和// ---------- cards ----------之間的示例世界,以及worldState()的故事部分和任何道具(士兵示例有一個 3D 頭盔道具)。 story.js導出 SHOTS、TOTAL、shotAt、camAt、dofAt、LIGHTS/lightFor、worldAt、actorsAt(f, T) 和 fxAt(f, T)。所有這些都是關於幀的純函數。設置TOTAL= N。- 紋理來自
paint.js:木板、橫樑、腐爛、石頭、苔蘚、草地、泥土、石膏、屋頂、大理石、橫幅、雕刻文字。新的繪畫者使用相同的平面顏色帶深色接縫風格。 - 使用
tbox獲得恆定的紋理像素密度、2 步卡通漸變和霧 = 地平線顏色。 - 背景層:半埋的球體山丘、帶雪帽的圓錐山脈、柏樹/松樹、遠處的房屋和繪製的雲廣告牌。
- 場景佈置(崩塌、墜落、門)是由
worldAt(f)驅動的 0..1 進度的樞轉組,經過緩和和交錯。 - 彎曲的場景內文字使用平面 UV。檢查它沒有鏡像。
4.4 角色(web/roman.js → web/toon.js)
romanFront(p, outfitKey, opts)在 600x1000 的設計畫布上繪製,腳底在 y=975。卡片高 2.25 米,所以 1 設計單位 = 0.00225 米。- 服裝(
OUTFITS):legion、old、toga、civA、civB、civC、workA、workB。使用 tunic/cape/armor/helmet/hair/cap/beard/apron/dress/toga 鍵添加新的。 - 手臂姿勢:hang、spear、point、up、wave、hip、belly、temple(+swirl)、lift、reach(+lift)、cheek、shield、cross、thumb。
- 面部:基礎卡通 FACE 集合加上 snore、stubborn 和 squint。擴展 FACE 以獲得更多。
- 角色編輯後,使用
cat web/toonbase.js web/roman.js > web/toon.js重建。然後運行./short.sh cast並在使用設計之前查看stills/cast_sheet.png。 - 廣告牌僅在偏航時轉動,獲得一個接觸模糊和一個 alpha 測試陰影,並且永遠不會被世界通道著墨。
- 從
q()四捨五入的值構建卡片鍵,以便畫布僅在可見變化時重新繪製。 - 一個分離的部件(例如,一個被抬起的頭盔)是自己的卡片:
y = DECK + (partY − hc) × 0.00225,與headCenter(seed)對齊。 - 給主角一個標誌性特徵(顏色、帽子、道具),以便他們在手機尺寸下立即可讀。
4.5 動作(web/motion.js):流暢且生動
鏡頭:
- 使用
camFromKeys(keys, f, {kicks}):18-45 幀的 smootherstep 滑行,揭示和抽打的 easeOut,以及曲線的path經由點(Catmull-Rom)。 - 每個保持都有微動;沒有東西是靜止超過 4 幀的。
- 戲劇性場景獲得一個 3-5° 的旋轉;碰撞通過
kicks獲得一個 7 幀的翻轉震動。 - 優先選擇連續移動(拉遠、跟焦、搖臂、推近)。僅在位置或時間跳躍時硬切,並帶有一個閃光。
角色:
- 他們從不凍結:對每個卡片應用
idle(f, seed),blinkAt用於眨眼,以及在重讀詞語上的點頭。 - 動作遵循預期 → 過衝 → 彈簧穩定(
M.anticip、M.back、M.spring)。跺腳是一個 2 幀的下蹲 + 灰塵噴出 + 踢。笑是一個交替的傾斜 + 點頭。 - 走路:
walk()給出距離和步態相位。用 3-7% 的彈跳保持腳步著地。
次要動作始終存在:布料、樹葉、灰塵、水滴、Zzz、水。
**鏡頭:**特寫和中景上的景深(cInf 8-14 px),聚焦於眼睛。廣角保持清晰。跟焦大約需要 14 幀。
4.6 外觀檢查(完整渲染前強制執行)
運行 ./short.sh stills "5,40,90,..." a,選擇每個鏡頭的中間以及過渡和關鍵動作。它會寫入帶有幀標籤的 stills/sheet_a.jpg。打開它並修復每個陷阱:
- 構圖: 半寬度 = d·tan(hfov/2),其中 hfov = 2·atan(tan(vfov/2)·0.5625)。在 4 米和 fov 40 時,只有 ±0.8 米,所以在深度中安排角色。
- 遮擋: 沒有欄杆或柱子橫跨面部;相機不在欄杆、房屋、屋頂或灌木叢內。
- 間隙: 沒有前景道具比 ~2 米更近;主角永遠不會藏在柱子後面。
- 文字和部件: 文字沒有鏡像;分離的部件卡片偏移正確。
- 擠出組: 0 = 蓋子,1 = 側面 + 頂部。
- 墨水: 存在於各處。如果沒有,用
HASH=#e(僅邊緣)和HASH=#nd(法線/深度)調試。墨水半徑約為 2.5 px(在 1080 下);天空計為遠深度,而不是卡片。 - 手機尺寸: 以 25% 查看聯繫表時,面部仍然可讀。
將聯繫表發送給用戶,每個鏡頭附帶一行摘要,然後開始完整渲染,無需等待。
4.7 聲音:./short.sh sound
- 首先鎖定畫面定時。任何定時變更都意味著重新運行聲音。
audio.py僅保存提示表。合成器存在於synth.py中:- 音樂:
march、drone、PROG_MINOR/PROG_MAJOR、pluck、brass、drum。 - 音效: whoosh、thunk、rumble、crash、scrape、ting、sting、creak、snap、splash、snore、leaves、water、cuckoo、pop、boing、footstep/steps、wind、crowd。
- 音樂:
- 音樂在轉折行停止(
march(..., end=TWIST)),然後drone持續到結束。 - 使用
crest_db=14保存 SFX 分軌。這會抑制瞬態,使 SFX 可以接近 50% 的峰值上限。 mix.py打印電平。確認音樂顯示相對於語音為 −6.0 dB(OK)且 SFX 等於或低於此電平(OK)。永遠不要手動調整;而是修復分軌。
4.8 渲染 + 完成
- 使用 Bash
run_in_background以WORKERS=2 ./short.sh render渲染。從 Monitor 循環中檢查./short.sh progress(完成、秒/幀、ETA)。 - 幀以原子方式寫入。中斷後,使用
RESUME=1 WORKERS=2 ./short.sh render。 - 在 4 核或更少的機器上使用 WORKERS=1。不要同時運行繁重的 Python。
- 然後運行
./short.sh finish "Title":- 它檢查幀是否完整且連續。
- 它應用一個測量的線性增益到 −14 LUFS 加上一個 −1 dBFS 限制器,並編碼 H.264 CRF 17 + AAC。
- QA 涵蓋大小、持續時間與語音相比、凍結/黑幀、響度和混音電平。它寫入
out/qa.txt和out/qa_sheet.jpg,並在任何 FAIL 時退出 1。
4.9 完成定義
- 持續時間 = 語音持續時間(±1 幀);1080x1920;30 fps。
- 場景內文字正確閱讀且未鏡像。
- 墨水存在於所有非天空表面。
- 角色始終閒置;道具和相機也有生命。
- 混音:音樂 = −6.0 dB(相對於語音),SFX ≤ -6.0 dB,峰值 ≤ 0.7× 語音峰值。
- QA 輸出存在且無 FAIL。
- 最終 MP4 可循環播放(最後一幀 → 第 0 幀)。
工具參考
kit/tools/ 中的腳本適用於潛在的更好基於 LLM 的工具創建。
每個短片目錄中的工具(由 setup.sh 複製):
short.sh:主要入口點(doctor、timing、cast、stills、sound、render、finish、all)。audio.py:提示表(僅合成器調用,無合成器邏輯)。synth.py:合成器(音樂和 SFX 生成器)。mix.py:將 3 個分軌(voi、mus、fx)混合為 2 聲道(立體聲混音)WAV,固定電平。web/:Three.js 渲染器(main.js、story.js、toon.js、motion.js、draw.js、paint.js、roman.js、toonbase.js、vendor/)。
對於新工具:代碼可以讀取 work/phrases.json 中的時間戳和 web/story.js 中的故事數據。將新工具放入 kit/tools/ 並在 short.sh 中註冊。
kit/example/soldier/ 參考
解構以展示管線如何連接:
voice.mp3(19.736 秒,16 kHz 單聲道)。script.txt:75 個詞,預計 20 秒。web/story.js:8 個鏡頭,610 幀(30.5 秒?不——語音是 19.736 秒,所以TOTAL = 592,8 個鏡頭,~74 幀每個)。- 鏡頭 0:MCU 士兵,疲倦。 鉤子。
- 鏡頭 1:廣角場景(戰壕、泥濘)。 設定。
- 鏡頭 2:插入——手,日記。 升級。
- 鏡頭 3:特寫表情。 升級。
- 鏡頭 4:廣角,時間跳躍(閃光)。 轉折點。
- 鏡頭 5:插入——獎章。 提示。
- 鏡頭 6:MCU,微笑。 轉折構建。
- 鏡頭 7:特寫,眼睛——揭示。 轉折(最後一幀是可循環的框架)。
audio.py:march(0-580)→ drone(580-592);SFX:雨、泥土、紙張、鈴聲、風。- 混音:voice −0.7 LUFS,music −6.7 dB 相對,SFX −8.2 dB 相對。限制器:−1.0 dBFS。
out/:short.mp4(1080x1920,30fps,19.736 秒),qa.txt(所有通過)。
檢查 kit/example/soldier/ 中的實際文件以獲取實現細節。