Communitygithub.com

aiappsgbb/awesome-gbb

自動為任何網頁應用程式製作品質精良的旁白影片展示。使用 Playwright 進行瀏覽器錄製、edge-tts 進行旁白生成,以及 ffmpeg 進行影片合成。適用於:建立展示影片、錄製示範、自動展示、影片示範、附旁白導覽、產品展示、含語音旁白的螢幕錄製、展示製作工具、製作展示影片、錄製導覽、建立附旁白的螢幕錄影、自動產生展示。

awesome-gbb 是什麼?

此技能名為「Auto Demo Producer」,可自動將任何網頁應用程式轉換為專業的旁白影片展示。其工作流程包含三個階段:首先,使用免費的 edge-tts 神經語音引擎為每個場景生成旁白音訊;接著,透過 Playwright 操作無頭 Chromium 瀏覽器並錄製螢幕畫面;最後,利用 ffmpeg 將影片與音訊合併成精美的 MP4 檔案。使用者提供目標 URL、展示腳本及品牌資訊後,技能會自動產生包含介紹與結尾投影片的完整影片。它特別擅長處理 AI 代理展示中常見的非同步問題,採用「每場景截圖跳剪」技術,在截圖之間跳過代理回應的等待時間,確保旁白與畫面內容完美同步。此技能支援多種語言與語音,並能在 Windows、macOS 與 Linux 平台上運作。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/aiappsgbb/awesome-gbb/tree/HEAD/skills/auto-demo-producer

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Auto Demo Producer

自動為任何網頁應用程式製作品質精良的旁白影片展示。

管線概覽

使用者情境 → 展示腳本 → 投影片 → TTS 旁白 → 瀏覽器錄製 → 最終 MP4

三個階段,全自動化:

  1. 旁白 — edge-tts(免費的 Microsoft Neural TTS)為每個場景產生音訊
  2. 錄製 — Playwright 驅動無頭 Chromium 並進行影片擷取
  3. 合成 — ffmpeg 將影片與音訊合併成精美的 MP4

啟用時機

  • 使用者要求「建立展示」、「錄製導覽」、「製作影片展示」
  • 使用者提供 URL 與要展示的內容描述
  • 使用者想要自動化的附旁白螢幕錄影

逐步工作流程

步驟 1:收集內容

詢問使用者:

  1. 目標 URL — 要展示的網頁應用程式(例如 https://myapp.azurewebsites.net)
  2. 展示內容 — 主要功能、使用者流程或情境
  3. 目標觀眾 — 誰會觀看?(高階主管、開發人員、客戶)
  4. 目標時長 — 展示應多長?(通常 1-5 分鐘)
  5. 語音偏好 — 語言與性別(預設:en-US-JennyNeural)
  6. 品牌資訊 — 產品名稱、副標題、組織、介紹/結尾投影片的重點色

步驟 2:建立展示腳本

使用以下格式產生 demo_script.md:

# 展示:{產品名稱}

## intro | 5
> slide intro
歡迎觀看產品名稱的展示。今天我們將逐步介紹主要功能。

## login | 8
> goto {base_url}
> fill Username [email protected]
> fill Password ****
> click button Sign In
在這裡我們使用示範帳號登入應用程式。

## dashboard | 10
> wait 2
> scroll down 300
儀表板顯示所有活躍項目的即時概覽。

## feature_one | 12
> click link Feature One
> wait 1
> scroll down 200
讓我們探索功能一,它讓您可以建立並管理工作流程。

## outro | 5
> slide outro
感謝您的觀看!如需更多資訊,請造訪 contoso.com。

腳本格式規則:

  • ## 場景ID | 最短持續時間(秒) — 場景標題
  • > 動作 參數... — Playwright 動作(請參閱下方動作參考)
  • 純文字行 = 旁白(由 TTS 語音朗讀)
  • 旁白決定實際場景持續時間(會填充以吻合音訊長度)

步驟 3:產生投影片

執行投影片產生器,建立介紹/結尾的 HTML 檔案:

python generate_slides.py `
    --title "產品名稱" `
    --subtitle "您的標語" `
    --org "Contoso" `
    --badge "由 Azure 提供技術支援" `
    --accent "#60a5fa" `
    --out-dir ./slides

步驟 4:安裝相依套件

pip install edge-tts playwright
playwright install chromium
# 確保 ffmpeg 可用:
# Windows:winget install Gyan.FFmpeg
# macOS:brew install ffmpeg
# Linux:sudo apt install ffmpeg

步驟 5:執行錄製程式

python record_demo.py `
    --script demo_script.md `
    --base-url "https://myapp.azurewebsites.net" `
    --voice en-US-JennyNeural `
    --slides-dir ./slides `
    --output demo_final.mp4

其他選項:

  • --resolution 1280x720 縮小檔案大小
  • --var project_id=abc123 在腳本中使用自訂變數
  • --var [email protected] 用於參數化流程

步驟 6:檢視與迭代

錄製完成後,檢視輸出影片。常見調整:

  • 太快? 增加場景標題中的 min_duration
  • 時間點不對? 在步驟之間新增 > wait N 動作
  • 缺少步驟? 在腳本中新增更多場景
  • 語音不對? 嘗試不同的 edge-tts 語音

動作參考

動作語法說明
goto> goto https://url.com導航至 URL
slide> slide intro從投影片目錄顯示 HTML 投影片
click> click link 連結文字依文字點擊連結
click> click button 按鈕文字依文字點擊按鈕
click> click text 任何文字依文字點擊任何元素
fill> fill 標籤 值填寫表單文字框
type> type #選擇器 值透過 CSS 選擇器輸入元素
hover> hover 元素文字將滑鼠懸停在元素上
select> select 標籤 選項選擇下拉選單選項
scroll> scroll down 300向下捲動指定像素
scroll> scroll up 200向上捲動指定像素
wait> wait 2暫停 N 秒
screenshot> screenshot 名稱.png儲存螢幕截圖

語音選擇

熱門 edge-tts 語音(全部免費,無需 API 金鑰):

語音語言風格
en-US-JennyNeural英語 (美國)溫暖、對話式
en-US-GuyNeural英語 (美國)專業、清晰
en-US-AriaNeural英語 (美國)自然、多功能
en-GB-SoniaNeural英語 (英國)優雅、專業
it-IT-IsabellaNeural義大利語自然、清晰
de-DE-KatjaNeural德語專業
fr-FR-DeniseNeural法語優雅
es-ES-ElviraNeural西班牙語清晰
ja-JP-NanamiNeural日語自然
zh-CN-XiaoxiaoNeural中文多功能

完整清單:edge-tts --list-voices

變數

在腳本中使用 {變數名稱}。內建變數:

  • {base_url} — 透過 --base-url 參數設定

自訂變數透過 --var key=value:

> goto {base_url}/projects/{project_id}
> fill Search {search_term}

輸出

此技能產出:

  • demo_final.mp4 — H.264 影片、AAC 音訊、網頁最佳化 (faststart)
  • 解析度:1920×1080(預設)或自訂
  • 品質:CRF 18(高品質)、AAC 192kbps

製作精彩展示的秘訣

  1. 先寫腳本 — 在撰寫動作之前先寫旁白。故事決定節奏。
  2. 短場景 — 每個場景 8-15 秒。保持精簡有力。
  3. 充裕的等待 — 在導航後新增 > wait 1-2,提供視覺喘息空間。
  4. 旁白與動作同步 — 描述螢幕上正在發生的內容。
  5. 介紹/結尾投影片 — 務必使用它們以達到專業效果。
  6. 逐步測試 — 先錄製一個場景來檢查時間,再新增更多場景。
  7. 品牌一致性 — 介紹/結尾投影片的顏色務必與 PoC 的品牌色板(來自 threadlight-design 跨領域模式 1)相符。對於紅色品牌的客戶,請勿使用預設的藍色/紫色漸層。將 PoC 的 demo-deck.html 中的 CSS 自訂屬性複製到投影片 HTML 檔案中。
  8. 字幕 — 從旁白文字產生 WebVTT 檔案。請勿使用外部 <track src="file.vtt"> — Edge 會封鎖 file:// 通訊協定的 CORS。請改為將 VTT 內嵌為 JS blob URL:var blob = new Blob([vttData], {type:'text/vtt'}); track.src = URL.createObjectURL(blob); 並動態附加 <track> 元素。時間戳記務必使用 HH:MM:SS.mmm 格式(非 MM:SS.mm — Edge 會拒絕)。
  9. 嵌入展示卡 — 如果 PoC 附帶 demo-deck.html,請將影片作為即時展示保留卡上的備用方案嵌入。設定 V 鍵切換:按 V 在 .is-cue 投影片上內嵌播放影片,再按 V 停止。新增可見的控制列(播放/暫停按鈕 + 可點擊的進度條 + 時間顯示),讓簡報者無需完全依賴鍵盤快捷鍵。在 ended 事件時自動停止。備用提示文字(「按 V 播放預先錄製的備用影片」)以低透明度顯示在提示文字下方。

錄製代理展示(經實戰驗證的模式)

本節內容來自 6 次在 Foundry 託管代理 PoC 上失敗的錄製嘗試。 下列模式是唯一能在代理回應時間不可預測(10-50 秒)時,可靠產出可觀看影片的方法。

問題

AI 代理展示無法即時錄製。代理需要 10-50 秒回應。如果您持續錄製瀏覽器並疊加預先產生的旁白音訊,語音在描述答案時,螢幕仍顯示「正在處理...」。沒有任何後製加速或音訊平移能可靠地修正這個問題 — 兩個時間軸根本無法同步。

解決方案:每場景截圖跳剪

切勿在影片中顯示「正在處理...」。從「輸入問題」直接跳剪到「呈現答案」。代理等待時間在截圖之間於鏡頭外發生。

每場景工作流程:

  1. 輸入提示 → 截取輸入狀態的螢幕截圖(旁白在此畫面介紹問題)
  2. 點擊「詢問」 → 輪詢直到回應完全呈現(鏡頭外 — 不錄製)
  3. 截取完成答案的螢幕截圖(旁白在此畫面描述回應)
  4. 建立片段:靜態圖片 + 相符的旁白音訊片段(精確時長匹配)
  5. 串接所有片段:介紹 → K1輸入 → K1完成 → K2輸入 → K2完成 → … → 結尾

智慧等待 — 出現 → 消失輪詢:

# 階段 1:等待載入指示器出現(確認 API 呼叫已開始)
for _ in range(30):
    if await page.evaluate("() => !!document.body.innerText.match(/正在處理/)"):
        break
    await page.wait_for_timeout(500)

# 階段 2:等待載入指示器消失(確認回應已呈現)
for _ in range(120):
    if not await page.evaluate("() => !!document.body.innerText.match(/正在處理/)"):
        break
    await page.wait_for_timeout(1000)
await page.wait_for_timeout(2000)  # 讓 DOM 穩定

將正規表達式(/正在處理/)調整為匹配工作區使用的任何載入指示器。雙階段模式可防止常見錯誤,即腳本在「正在處理...」出現之前就進行檢查並立即繼續。

從靜態圖片 + 音訊建立片段:

def make_segment(image_path, audio_path, output_path):
    audio_dur = ffprobe_duration(audio_path)
    subprocess.run([
        "ffmpeg", "-y",
        "-loop", "1", "-i", str(image_path),
        "-i", str(audio_path),
        "-c:v", "libx264", "-preset", "fast", "-crf", "18",
        "-c:a", "aac", "-b:a", "192k",
        "-t", str(audio_dur),
        "-pix_fmt", "yuv420p",
        "-movflags", "+faststart", str(output_path),
    ], check=True)

每個片段的持續時間等於其旁白音訊 — 旁白永遠描述螢幕上顯示的內容。

反模式(來自 6 次在 Foundry 託管代理 PoC 上失敗的錄製嘗試)

❌ 方法失敗原因
連續錄製 + 事後疊加音訊音訊和影片時間軸永遠對不齊 — 旁白談論引用時,螢幕顯示「正在處理...」
使用 setpts 加速「正在處理...」的影片部分看起來很粗糙;加速比例取決於不可預測的代理回應時間
腳本中使用固定的 > wait 35 計時器代理回應時間為 10-50 秒;固定計時器不是截斷答案就是浪費 30 秒顯示無內容
即時同時錄製影片和音訊Playwright 無法擷取系統音訊;無頭 Chromium 沒有音訊裝置
後製使用音訊平移偵測過於脆弱;「正在處理...」文字出現在 DOM 中,但視覺載入旋轉指示器因工作區而異

代理展示的語音選擇

對於英國觀眾的 PoC,請使用英國語音(en-GB-SoniaNeural)— 它以展示節奏自然朗讀,且符合專業語調。在受監管產業(金融服務、電信、醫療保健)的展示中,請避免使用美國口語化語音。

檔案位置

當作為全域 Copilot CLI 技能啟用時,腳本位於:

  • ~/.copilot/skills/auto-demo-producer/scripts/record_demo.py
  • ~/.copilot/skills/auto-demo-producer/scripts/generate_slides.py

在執行前,將它們複製到您的專案目錄,或直接參考。

先決條件

  • Python 3.10+ 搭配 pip
  • edge-tts — pip install edge-tts(免費的 Microsoft Neural TTS)
  • Playwright — pip install playwright && playwright install chromium
  • ffmpeg — 系統二進位檔案(請參閱上方安裝指令)

相關技能