Communitygithub.com

aktsmm/Agent-Skills

將任何內容(部落格網址、貼上的文章、PR diff、會議記錄、發行說明、原始提示詞)轉換為包含旁白、幻燈片、字幕,以及可選的說話頭像的 mp4 解說影片。使用免費的本機技術棧(Pillow + edge-tts + ffmpeg),並可選用 SadTalker 製作頭像。

Agent-Skills 是什麼?

此技能能將各種文字來源(如部落格文章、PR diff、會議記錄等)自動化地轉換為專業風格的解說影片(mp4 格式)。其工作流程包含:透過 LLM 生成旁白腳本、使用 Pillow 與自訂字型產生 16:9 幻燈片、以 edge-tts 生成語音旁白,並利用 ffmpeg 合成最終影片與 SRT 字幕檔。對於有 GPU(VRAM 8GB+)的用戶,可額外啟用 SadTalker 在影片角落加入說話頭像,提升互動性。支援的觸發關鍵字包含「動画化」、「解説動画作って」、「explainer video」、「context to video」等多種語言。此技能預設使用免費但非官方、無 SLA 的 edge-tts,若用於商業或生產環境,建議升級至 Azure Speech 服務。最終產出為使用者指定專案目錄下的 final.mp4 與 final.srt 檔案。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/aktsmm/Agent-Skills/tree/HEAD/context-to-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

上下文 → 影片

將任意輸入內容轉換為包含旁白、幻燈片、字幕,以及可選頭像的 mp4 影片。

使用時機

  • 動画化、解説動画作って、ブログを動画に、記事を動画化、explainer video、context to video
  • 想要將發布部落格、PR 說明、會議記錄、設計備忘錄、發行說明或學習內容製作成短影片
  • 想要快速大量產出給 YouTube、內部研討會、Teams、X 等平台使用的素材
  • 若為客戶導向,請將 TTS 更換為 Azure Speech 正式版(預設使用 edge-tts 免費端點)

輸入來源(任選一種)

輸入取得方式
部落格/文章網址使用 web_fetch 取得內文
貼上的文字直接摘要
PR / commit diff使用 gh pr view + gh pr diff
會議記錄、設計備忘錄讀取檔案
發行說明網址或 Markdown
自由提示詞直接請 LLM 編排結構

→ 取得來源後的處理流程一致(由 LLM 產生 notes/script.json)。

技術棧(全部免費、本機執行)

角色工具
腳本生成LLM(此技能的呼叫端)
幻燈片Pillow(使用 BIZ UDGothic 等字型)
旁白edge-tts(Edge 的神經網路語音,免費、非官方)
影片合成ffmpeg(可使用 imageio-ffmpeg 附帶的二進位檔)
字幕自動生成 .srt 檔
頭像(選用)SadTalker(建議使用 GPU)+ ffmpeg 橢圓遮罩

快速流程(不包含頭像)

pip install edge-tts imageio-ffmpeg pillow
# 1. 從輸入內容產生 script.json(由 LLM 執行)
# 2. 生成影片
python scripts\build_video.py --project D:\path\to\project
# → 輸出 output\final.mp4 + final.srt

詳細說明:references/script-schema.md / references/setup.md

頭像模式(角落說話頭像)

若有 GPU(VRAM 8GB+),可用 SadTalker 在右下角加入頭像。 初次設定需在獨立的虛擬環境(Python 3.10)中進行,約需 30-40 分鐘,之後每部影片約增加 20-30 分鐘。

# 現有影片 + 8 段音訊 → 頭像合成
python scripts\add_avatar.py --project D:\path\to\project --face D:\path\to\face.jpg
# 產生橢圓遮罩版本
python scripts\ellipse_overlay.py --project D:\path\to\project
# → 輸出 output\final_with_avatar.mp4 與 final_with_avatar_ellipse.mp4

設定、陷阱、角色選擇:references/avatar.md

輸出結構

<project>/
├── notes/script.json                  腳本(由 LLM 產生)
├── slides/slide_XX.png                1920x1080
├── audio/audio_XX.mp3                 每張幻燈片的旁白
├── avatar/                            (選用)
│   ├── input/face.jpg                 頭像來源照片
│   ├── SadTalker/                     倉庫 + 檢查點
│   ├── venv/                          Python 3.10 + torch cu121
│   └── clips/audio_XX.mp4             每段旁白的頭像影片
└── output/
    ├── final.mp4                      無頭像版本(幻燈片+旁白)
    ├── final.srt                      字幕
    ├── final_with_avatar.mp4          (選用)矩形頭像版本
    └── final_with_avatar_ellipse.mp4  (選用)圓形擦入頭像版本

預設值

  • 解析度:1920x1080 30fps(16:9)
  • 語音:ja-JP-NanamiNeural(女性、沉穩)若要男性聲,則使用 ja-JP-KeitaNeural
  • 幻燈片數量:封面 + 5-7 張內頁(總共 6-8 張)
  • 配色:slate-900 / sky-400 / BIZ UDGothic
  • 每張幻燈片 15-25 秒,總長度 2-4 分鐘

更改語音、配色、字型、長寬比:references/customization.md

生產環境使用

免費的 edge-tts 屬於非官方、無 SLA、商用定義模糊。若用於客戶發佈或持續營運,請考慮:

  • 旁白 → 替換為 Azure Speech(Neural TTS)
  • 含頭像的商用版本 → Azure TTS Avatar(Lisa 等、官方、$0.30/分鐘起)

詳細說明:references/production-upgrade.md

常見變體

  • 9:16 短版(X/Reels):W,H = 1080, 1920,將旁白壓縮至 60 秒
  • 字幕內嵌:使用 ffmpeg subtitles=final.srt 濾鏡將字幕燒錄到影片中 (ffmpeg-advanced-filters.md)
  • 添加背景音樂:將另一個 mp3 以低音量混入 (ffmpeg-advanced-filters.md)
  • 章節/課程化(教材用):將 script.json 按章節分割,加入共同的開頭/結尾
  • 多語言版本:切換 voice 並翻譯腳本
  • 頻道固定角色生成:使用 SDXL 產生吉祥物並儲存種子 (avatar-generation-sdxl.md)
  • VOICEVOX + 官方角色立繪:適用於類似「ずんだもん」的輕鬆解說頻道,使用 PSD 圖層差異達到正規唇形同步 (voiced-mascot.md)
  • 圓形頭像擦入:使用 ffmpeg geq 濾鏡製作圓形遮罩 + 強調邊框 (ffmpeg-advanced-filters.md)
  • YouTube 自動發佈:透過 API 排程公開 + 縮圖 (youtube-upload.md)
  • 概念驗證 → 定期發佈頻道升級:重新設計目錄結構 (scale-up-production.md)

完成條件

  • <out>/output/final.mp4(或含頭像版本)可正常播放,音訊與影像同步無延遲
  • 幻燈片內文 28pt 以上 / 標題 56pt 以上,清晰可讀
  • 旁白正確反映了輸入內容的主要訊息
  • final.srt 與旁白同步
  • 未侵犯輸入來源的著作權(採用摘要 + 引用方式,而非全文朗讀)
  • [ ](使用頭像時)未發生 GPU 記憶體溢出,口型動作無明顯延遲

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

相關技能