上下文 → 影片
將任意輸入內容轉換為包含旁白、幻燈片、字幕,以及可選頭像的 mp4 影片。
使用時機
動画化、解説動画作って、ブログを動画に、記事を動画化、explainer video、context to video- 想要將發布部落格、PR 說明、會議記錄、設計備忘錄、發行說明或學習內容製作成短影片
- 想要快速大量產出給 YouTube、內部研討會、Teams、X 等平台使用的素材
- 若為客戶導向,請將 TTS 更換為 Azure Speech 正式版(預設使用 edge-tts 免費端點)
輸入來源(任選一種)
| 輸入 | 取得方式 |
|---|---|
| 部落格/文章網址 | 使用 web_fetch 取得內文 |
| 貼上的文字 | 直接摘要 |
| PR / commit diff | 使用 gh pr view + gh pr diff |
| 會議記錄、設計備忘錄 | 讀取檔案 |
| 發行說明 | 網址或 Markdown |
| 自由提示詞 | 直接請 LLM 編排結構 |
→ 取得來源後的處理流程一致(由 LLM 產生 notes/script.json)。
技術棧(全部免費、本機執行)
| 角色 | 工具 |
|---|---|
| 腳本生成 | LLM(此技能的呼叫端) |
| 幻燈片 | Pillow(使用 BIZ UDGothic 等字型) |
| 旁白 | edge-tts(Edge 的神經網路語音,免費、非官方) |
| 影片合成 | ffmpeg(可使用 imageio-ffmpeg 附帶的二進位檔) |
| 字幕 | 自動生成 .srt 檔 |
| 頭像(選用) | SadTalker(建議使用 GPU)+ ffmpeg 橢圓遮罩 |
快速流程(不包含頭像)
pip install edge-tts imageio-ffmpeg pillow
# 1. 從輸入內容產生 script.json(由 LLM 執行)
# 2. 生成影片
python scripts\build_video.py --project D:\path\to\project
# → 輸出 output\final.mp4 + final.srt
詳細說明:references/script-schema.md / references/setup.md
頭像模式(角落說話頭像)
若有 GPU(VRAM 8GB+),可用 SadTalker 在右下角加入頭像。 初次設定需在獨立的虛擬環境(Python 3.10)中進行,約需 30-40 分鐘,之後每部影片約增加 20-30 分鐘。
# 現有影片 + 8 段音訊 → 頭像合成
python scripts\add_avatar.py --project D:\path\to\project --face D:\path\to\face.jpg
# 產生橢圓遮罩版本
python scripts\ellipse_overlay.py --project D:\path\to\project
# → 輸出 output\final_with_avatar.mp4 與 final_with_avatar_ellipse.mp4
設定、陷阱、角色選擇:references/avatar.md
輸出結構
<project>/
├── notes/script.json 腳本(由 LLM 產生)
├── slides/slide_XX.png 1920x1080
├── audio/audio_XX.mp3 每張幻燈片的旁白
├── avatar/ (選用)
│ ├── input/face.jpg 頭像來源照片
│ ├── SadTalker/ 倉庫 + 檢查點
│ ├── venv/ Python 3.10 + torch cu121
│ └── clips/audio_XX.mp4 每段旁白的頭像影片
└── output/
├── final.mp4 無頭像版本(幻燈片+旁白)
├── final.srt 字幕
├── final_with_avatar.mp4 (選用)矩形頭像版本
└── final_with_avatar_ellipse.mp4 (選用)圓形擦入頭像版本
預設值
- 解析度:1920x1080 30fps(16:9)
- 語音:
ja-JP-NanamiNeural(女性、沉穩)若要男性聲,則使用ja-JP-KeitaNeural - 幻燈片數量:封面 + 5-7 張內頁(總共 6-8 張)
- 配色:slate-900 / sky-400 / BIZ UDGothic
- 每張幻燈片 15-25 秒,總長度 2-4 分鐘
更改語音、配色、字型、長寬比:references/customization.md
生產環境使用
免費的 edge-tts 屬於非官方、無 SLA、商用定義模糊。若用於客戶發佈或持續營運,請考慮:
- 旁白 → 替換為 Azure Speech(Neural TTS)
- 含頭像的商用版本 → Azure TTS Avatar(Lisa 等、官方、$0.30/分鐘起)
詳細說明:references/production-upgrade.md
常見變體
- 9:16 短版(X/Reels):
W,H = 1080, 1920,將旁白壓縮至 60 秒 - 字幕內嵌:使用 ffmpeg
subtitles=final.srt濾鏡將字幕燒錄到影片中 (ffmpeg-advanced-filters.md) - 添加背景音樂:將另一個 mp3 以低音量混入 (ffmpeg-advanced-filters.md)
- 章節/課程化(教材用):將 script.json 按章節分割,加入共同的開頭/結尾
- 多語言版本:切換
voice並翻譯腳本 - 頻道固定角色生成:使用 SDXL 產生吉祥物並儲存種子 (avatar-generation-sdxl.md)
- VOICEVOX + 官方角色立繪:適用於類似「ずんだもん」的輕鬆解說頻道,使用 PSD 圖層差異達到正規唇形同步 (voiced-mascot.md)
- 圓形頭像擦入:使用 ffmpeg geq 濾鏡製作圓形遮罩 + 強調邊框 (ffmpeg-advanced-filters.md)
- YouTube 自動發佈:透過 API 排程公開 + 縮圖 (youtube-upload.md)
- 概念驗證 → 定期發佈頻道升級:重新設計目錄結構 (scale-up-production.md)
完成條件
-
<out>/output/final.mp4(或含頭像版本)可正常播放,音訊與影像同步無延遲 - 幻燈片內文 28pt 以上 / 標題 56pt 以上,清晰可讀
- 旁白正確反映了輸入內容的主要訊息
-
final.srt與旁白同步 - 未侵犯輸入來源的著作權(採用摘要 + 引用方式,而非全文朗讀)
- [ ](使用頭像時)未發生 GPU 記憶體溢出,口型動作無明顯延遲