Communitygithub.com

skychentian/sketch-explainer-video

將一段中文口播文案製作成「簡筆畫手寫風」豎屏解說影片(米白點陣紙、黑色手寫字、黃色螢光筆、紅色 ✓✗?、線條圖標逐筆畫出,MiniMax 或豆包按原文配音再逐字對齊,底部手寫字幕,1080×1920 MP4)。

sketch-explainer-video 是什麼?

此技能能將口播文案轉化為簡筆畫手寫風格的豎屏解說影片,適合知識科普、筆記風短視頻等場景。它支援 MiniMax 或豆包 API 進行配音,並實現逐字對齊,讓每句話的畫面隨著語音進度一筆一畫動態呈現,包括手寫字、螢光筆標記、圖標逐筆畫出、✓✗ 彈出等效果。最終輸出 1080×1920 的 MP4 檔案。使用者需自行綁定 MiniMax 或豆包的 API Key,技能會引導綁定流程。它支援換音色、批次處理多條影片,以及用 `--audio` 跳過配音直接對齊。主要流程包含建立工程、撰寫分鏡、設計畫面動畫、腳本檢查與渲染。設計畫面時只能使用文案中的詞語,避免事實錯誤,並遵循風格克制、畫面滿版、跟著語音節奏的原則。此技能不適用於剪輯真人拍攝素材、數位人口播或 PPT 轉換。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/skychentian/sketch-explainer-video/tree/HEAD/skills/sketch-explainer-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

簡筆畫口播影片

成品長這樣:每句話唸到哪,畫面就在哪一筆一筆寫出來——字從左往右「寫」出、關鍵詞被螢光筆劃過、圖標逐筆畫出、✓✗ 彈出;每個畫面講一個意思,隨配音切換;底部一行手寫字幕。參考圖:assets/style-ref.png。

整個流程裡只有「設計畫面」需要你動腦,其餘全部是腳本:配音、辨識、逐字對齊、引擎、檢查、渲染。照步驟走,別跳過檢查。

前置條件(第一次用先確認)

  • 使用者已經綁定 MiniMax 或豆包 其中一把 Key。兩把都沒有時先停,把下面的申請步驟告訴對方,讓對方自己綁定。不要合成,不要索要 Key 原文
  • coli(本地語音辨識)、ffmpeg、node/npx、python3
  • macOS:自動使用系統自帶「手札體」;其他系統給 --font 某中文手寫字體.ttf
  • 首次執行會在 ~/.cache/sketch-explainer-video/venv 安裝 fonttools
  • 檢查和渲染固定用 [email protected]

綁定配音

線上只引導綁定這兩家,兩家都沒綁就停下來,把步驟交給對方自己做:

  1. MiniMax(預設。兩家都綁了時用這一家):打開 https://platform.minimax.cn ,進入「帳戶管理 → 介面金鑰」建立 API Key。國際站用 https://platform.minimax.io ,並設定 MINIMAX_API_HOST=https://api.minimax.io。然後執行 bash <skill>/scripts/bind_tts.sh minimax。
  2. 豆包語音:打開 https://console.volcengine.com/speech/new ,建立 API Key,並開通「豆包語音合成模型2.0」。然後執行 bash <skill>/scripts/bind_tts.sh doubao。

輸入時不顯示,Key 只留在本機,不要貼進對話。價格和音色見 references/tts.md。綁好後再建工程。已有 mp3 時用 --audio,不要重新合成。指定一家用 --provider minimax 或 --provider doubao。

流程

1. 建工程(配音 + 對齊一步到位)

<skill>/scripts/new_video.sh <工程目錄> <口播文案.txt> --title "影片標題"
  • 文案一字不改,存成 txt 傳進去。腳本按原文朗讀,再用本地辨識對齊。
  • 已有配音時不要重複產生:--audio 已有.mp3。
  • 結束時看輸出裡的 matched x/y:≥95% 正常(沒對上的多是同音字,不影響);明顯偏低表示配音和文案不是同一份。
  • 產物:sentences.txt(每句開始秒數)、assets/timing.js、index.html(引擎已就位,留有 <!--SCENES-->)。

音色(--speaker):MiniMax 預設溫柔學姐 Chinese (Mandarin)_Gentle_Senior,也可換 Chinese (Mandarin)_News_Anchor、Chinese (Mandarin)_Gentleman。豆包預設小何 2.0 zh_female_xiaohe_uranus_bigtts,也可換 Vivi 2.0 zh_female_vv_uranus_bigtts、雲舟 2.0 zh_male_m191_uranus_bigtts。不要傳 ListenHub 的音色 ID。

2. 切分鏡(寫 STORYBOARD.md)

讀 sentences.txt,把全片切成 8–13 個畫面,每個 6–16 秒:

  • 切點 = 某句開始時間 − 0.15 秒;第一個畫面從 0 開始;最後一個畫面結束於 index.html root 的 data-duration(= 配音結束 + 1 秒);相鄰畫面首尾嚴格相接。
  • 每個畫面一句話能說清「這幀講什麼」,配一個主視覺。先寫成表:畫面 | 起止秒 | 畫面內容 | 錨定短語。
  • 長句(>16 秒)可以在句中切,切點取那個字的時間 − 0.15。

3. 寫畫面

先讀 references/components.md(元件庫:標題組、章節膠囊、鏈條、對比、≠、清單、步驟、日曆、房間疊加、收尾、圖標),再挑一個最接近的完整範例讀一遍:

  • references/examples/event-overview.html —— 事件始末 / 分章節講事實
  • references/examples/relationship-chain.html —— 誰和誰什麼關係 / 供應鏈
  • references/examples/step-checklist.html —— 幾步法 / 實用清單

然後在 index.html 的 <!--SCENES--> 處插入所有 <section>。畫面要按這條口播自己設計:範例只用來學寫法,不要去翻本機其他影片工程複製它們的畫面——別的工程對應的是別的口播和時間點,照抄會讓錨點和節奏全錯,也等於沒做。不要改 <script> 引擎;需要新樣式就在 <style> 末尾追加。

動畫怎麼宣告(值是口播裡的短語,引擎在 data-from 之後找它,唸到那個字時開始動):

屬性效果放在
data-w從左往右手寫擦出塊元素,或帶 class="ib" 的 span
data-d逐筆畫出所有線條;data-dur 調每筆秒數<svg>
data-h螢光筆劃過class="hl" 的元素
data-p彈出(✓✗?≠、章節膠囊)帶 .ib 的 span
data-f / data-dim淡入 / 變淡任意塊

值的寫法:"短語" · "短語|-0.4"(提前 0.4 秒)· "@0.2"(畫面開始後 0.2 秒)。

畫面原則(以及為什麼)

  • 畫面文字只能來自口播文案,可以截短、可以把「沒有任何一份」畫成「0 份」,但不能加文案外的事實、數字、品牌判斷——這類影片常涉及真實品牌和爭議,畫面多一句話就可能出事實錯誤。
  • 逐個出現、跟著嘴走:元素錨在它對應的那幾個字上。一開場全擺出來的畫面,觀眾會先看完再走神。
  • 最後一個動畫要在切走前 ≥0.5 秒播完:否則螢光筆/✓ 剛出來就被下一幀切掉,等於沒有。錨在句尾的東西最容易踩坑,往前挪。
  • 內容只放 top 120–1480px:下面是字幕帶和抖音底部 UI。
  • 畫面要滿、要有圖:內容縱向鋪滿 150–1400px(主視覺放大到畫面寬度的 60–85%),每幀至少一個圖形(圖標 / 方框 / 對比 / 鏈條 / 示意圖),不要只有幾行小字擠在上半屏——手機上看,空一半的畫面顯得廉價、資訊也不夠。check.py 會攔下半屏空白的畫面。
  • 風格克制:黑線 + 黃螢光 + 少量紅;紅色只給 ✓✗?≠、圈、警示詞。不用 emoji、照片、logo、人像。
  • 字幕:超過 16 字的句子要在 assets/cap_breaks.js 裡給斷點 window.CAP_BREAKS = ["從這裡另起一行的短語", …],斷在詞與詞之間(冒號不是自動切分點,含冒號的長句尤其要加)。check.py 會把需要斷的句子列出來。

4. 檢查(反覆跑到全過)

<skill>/scripts/verify.sh

它依次做:字型子集 → check.py(錨點是否存在、句尾動畫是否被切、畫面是否銜接、字幕是否超長、有沒有壓進字幕帶)→ hyperframes lint/check → 截圖(每個畫面開始後 1.2 秒 + 結束前 0.4 秒)→ density.py 量每幀結束時內容鋪到多低(<1000px 算下半屏空,空幀多了會失敗)。

  • check.py 和 density.py 的 ✗ 必須全部修掉:前者按引擎真實計時算,後者是量截圖得出的,都不是建議。
  • 打開 snapshots/contact-sheet*.jpg 親眼逐張看:重疊、出框、字折行擠到別的字上、圖標認不出、畫面大片空白。腳本發現不了「看不懂」,只有你看得出來。改完再跑 verify。
  • lint 裡 nested_structure / track_too_dense 警告可忽略。

5. 渲染與交付

<skill>/scripts/render.sh      # → renders/video.mp4,約 2–4 分鐘

交付時說清:成片路徑與時長、畫面數、contact sheet 路徑、自檢修了什麼、畫面上哪些文字是你概括的(非原句)。

常見坑

現象原因 → 做法
引擎報 phrase not found / check 報短語找不到短語必須與文案逐字一致(含空格如 9 月中旬、全形標點);且要在 data-from 之後出現
元素沒有擦出效果data-w 放在了普通 inline span 上 → 加 class="ib"
大字折成兩行壓到下面縮小字級或加 white-space:nowrap,或拆成兩個塊
畫面一開場全出現了錨點短語在更早位置被匹配 → 換一個本畫面內唯一的短語
多條影片同時建工程可以並行,辨識步驟腳本自帶排隊鎖

批次做多條

見 references/batch.md:統一抓文案 → 並行產生配音 → 各自建工程 → 每條一個子任務寫畫面 → 統一驗收 → 交付。

相關技能