Auto Demo Producer
自動為任何網頁應用程式製作品質精良的旁白影片展示。
管線概覽
使用者情境 → 展示腳本 → 投影片 → TTS 旁白 → 瀏覽器錄製 → 最終 MP4
三個階段,全自動化:
- 旁白 — edge-tts(免費的 Microsoft Neural TTS)為每個場景產生音訊
- 錄製 — Playwright 驅動無頭 Chromium 並進行影片擷取
- 合成 — ffmpeg 將影片與音訊合併成精美的 MP4
啟用時機
- 使用者要求「建立展示」、「錄製導覽」、「製作影片展示」
- 使用者提供 URL 與要展示的內容描述
- 使用者想要自動化的附旁白螢幕錄影
逐步工作流程
步驟 1:收集內容
詢問使用者:
- 目標 URL — 要展示的網頁應用程式(例如
https://myapp.azurewebsites.net) - 展示內容 — 主要功能、使用者流程或情境
- 目標觀眾 — 誰會觀看?(高階主管、開發人員、客戶)
- 目標時長 — 展示應多長?(通常 1-5 分鐘)
- 語音偏好 — 語言與性別(預設:
en-US-JennyNeural) - 品牌資訊 — 產品名稱、副標題、組織、介紹/結尾投影片的重點色
步驟 2:建立展示腳本
使用以下格式產生 demo_script.md:
# 展示:{產品名稱}
## intro | 5
> slide intro
歡迎觀看產品名稱的展示。今天我們將逐步介紹主要功能。
## login | 8
> goto {base_url}
> fill Username [email protected]
> fill Password ****
> click button Sign In
在這裡我們使用示範帳號登入應用程式。
## dashboard | 10
> wait 2
> scroll down 300
儀表板顯示所有活躍項目的即時概覽。
## feature_one | 12
> click link Feature One
> wait 1
> scroll down 200
讓我們探索功能一,它讓您可以建立並管理工作流程。
## outro | 5
> slide outro
感謝您的觀看!如需更多資訊,請造訪 contoso.com。
腳本格式規則:
## 場景ID | 最短持續時間(秒)— 場景標題> 動作 參數...— Playwright 動作(請參閱下方動作參考)- 純文字行 = 旁白(由 TTS 語音朗讀)
- 旁白決定實際場景持續時間(會填充以吻合音訊長度)
步驟 3:產生投影片
執行投影片產生器,建立介紹/結尾的 HTML 檔案:
python generate_slides.py `
--title "產品名稱" `
--subtitle "您的標語" `
--org "Contoso" `
--badge "由 Azure 提供技術支援" `
--accent "#60a5fa" `
--out-dir ./slides
步驟 4:安裝相依套件
pip install edge-tts playwright
playwright install chromium
# 確保 ffmpeg 可用:
# Windows:winget install Gyan.FFmpeg
# macOS:brew install ffmpeg
# Linux:sudo apt install ffmpeg
步驟 5:執行錄製程式
python record_demo.py `
--script demo_script.md `
--base-url "https://myapp.azurewebsites.net" `
--voice en-US-JennyNeural `
--slides-dir ./slides `
--output demo_final.mp4
其他選項:
--resolution 1280x720縮小檔案大小--var project_id=abc123在腳本中使用自訂變數--var [email protected]用於參數化流程
步驟 6:檢視與迭代
錄製完成後,檢視輸出影片。常見調整:
- 太快? 增加場景標題中的
min_duration - 時間點不對? 在步驟之間新增
> wait N動作 - 缺少步驟? 在腳本中新增更多場景
- 語音不對? 嘗試不同的 edge-tts 語音
動作參考
| 動作 | 語法 | 說明 |
|---|---|---|
goto | > goto https://url.com | 導航至 URL |
slide | > slide intro | 從投影片目錄顯示 HTML 投影片 |
click | > click link 連結文字 | 依文字點擊連結 |
click | > click button 按鈕文字 | 依文字點擊按鈕 |
click | > click text 任何文字 | 依文字點擊任何元素 |
fill | > fill 標籤 值 | 填寫表單文字框 |
type | > type #選擇器 值 | 透過 CSS 選擇器輸入元素 |
hover | > hover 元素文字 | 將滑鼠懸停在元素上 |
select | > select 標籤 選項 | 選擇下拉選單選項 |
scroll | > scroll down 300 | 向下捲動指定像素 |
scroll | > scroll up 200 | 向上捲動指定像素 |
wait | > wait 2 | 暫停 N 秒 |
screenshot | > screenshot 名稱.png | 儲存螢幕截圖 |
語音選擇
熱門 edge-tts 語音(全部免費,無需 API 金鑰):
| 語音 | 語言 | 風格 |
|---|---|---|
en-US-JennyNeural | 英語 (美國) | 溫暖、對話式 |
en-US-GuyNeural | 英語 (美國) | 專業、清晰 |
en-US-AriaNeural | 英語 (美國) | 自然、多功能 |
en-GB-SoniaNeural | 英語 (英國) | 優雅、專業 |
it-IT-IsabellaNeural | 義大利語 | 自然、清晰 |
de-DE-KatjaNeural | 德語 | 專業 |
fr-FR-DeniseNeural | 法語 | 優雅 |
es-ES-ElviraNeural | 西班牙語 | 清晰 |
ja-JP-NanamiNeural | 日語 | 自然 |
zh-CN-XiaoxiaoNeural | 中文 | 多功能 |
完整清單:edge-tts --list-voices
變數
在腳本中使用 {變數名稱}。內建變數:
{base_url}— 透過--base-url參數設定
自訂變數透過 --var key=value:
> goto {base_url}/projects/{project_id}
> fill Search {search_term}
輸出
此技能產出:
demo_final.mp4— H.264 影片、AAC 音訊、網頁最佳化 (faststart)- 解析度:1920×1080(預設)或自訂
- 品質:CRF 18(高品質)、AAC 192kbps
製作精彩展示的秘訣
- 先寫腳本 — 在撰寫動作之前先寫旁白。故事決定節奏。
- 短場景 — 每個場景 8-15 秒。保持精簡有力。
- 充裕的等待 — 在導航後新增
> wait 1-2,提供視覺喘息空間。 - 旁白與動作同步 — 描述螢幕上正在發生的內容。
- 介紹/結尾投影片 — 務必使用它們以達到專業效果。
- 逐步測試 — 先錄製一個場景來檢查時間,再新增更多場景。
- 品牌一致性 — 介紹/結尾投影片的顏色務必與 PoC 的品牌色板(來自
threadlight-design跨領域模式 1)相符。對於紅色品牌的客戶,請勿使用預設的藍色/紫色漸層。將 PoC 的demo-deck.html中的 CSS 自訂屬性複製到投影片 HTML 檔案中。 - 字幕 — 從旁白文字產生 WebVTT 檔案。請勿使用外部
<track src="file.vtt">— Edge 會封鎖file://通訊協定的 CORS。請改為將 VTT 內嵌為 JS blob URL:var blob = new Blob([vttData], {type:'text/vtt'}); track.src = URL.createObjectURL(blob);並動態附加<track>元素。時間戳記務必使用HH:MM:SS.mmm格式(非MM:SS.mm— Edge 會拒絕)。 - 嵌入展示卡 — 如果 PoC 附帶
demo-deck.html,請將影片作為即時展示保留卡上的備用方案嵌入。設定V鍵切換:按 V 在.is-cue投影片上內嵌播放影片,再按 V 停止。新增可見的控制列(播放/暫停按鈕 + 可點擊的進度條 + 時間顯示),讓簡報者無需完全依賴鍵盤快捷鍵。在ended事件時自動停止。備用提示文字(「按 V 播放預先錄製的備用影片」)以低透明度顯示在提示文字下方。
錄製代理展示(經實戰驗證的模式)
本節內容來自 6 次在 Foundry 託管代理 PoC 上失敗的錄製嘗試。 下列模式是唯一能在代理回應時間不可預測(10-50 秒)時,可靠產出可觀看影片的方法。
問題
AI 代理展示無法即時錄製。代理需要 10-50 秒回應。如果您持續錄製瀏覽器並疊加預先產生的旁白音訊,語音在描述答案時,螢幕仍顯示「正在處理...」。沒有任何後製加速或音訊平移能可靠地修正這個問題 — 兩個時間軸根本無法同步。
解決方案:每場景截圖跳剪
切勿在影片中顯示「正在處理...」。從「輸入問題」直接跳剪到「呈現答案」。代理等待時間在截圖之間於鏡頭外發生。
每場景工作流程:
- 輸入提示 → 截取輸入狀態的螢幕截圖(旁白在此畫面介紹問題)
- 點擊「詢問」 → 輪詢直到回應完全呈現(鏡頭外 — 不錄製)
- 截取完成答案的螢幕截圖(旁白在此畫面描述回應)
- 建立片段:靜態圖片 + 相符的旁白音訊片段(精確時長匹配)
- 串接所有片段:介紹 → K1輸入 → K1完成 → K2輸入 → K2完成 → … → 結尾
智慧等待 — 出現 → 消失輪詢:
# 階段 1:等待載入指示器出現(確認 API 呼叫已開始)
for _ in range(30):
if await page.evaluate("() => !!document.body.innerText.match(/正在處理/)"):
break
await page.wait_for_timeout(500)
# 階段 2:等待載入指示器消失(確認回應已呈現)
for _ in range(120):
if not await page.evaluate("() => !!document.body.innerText.match(/正在處理/)"):
break
await page.wait_for_timeout(1000)
await page.wait_for_timeout(2000) # 讓 DOM 穩定
將正規表達式(/正在處理/)調整為匹配工作區使用的任何載入指示器。雙階段模式可防止常見錯誤,即腳本在「正在處理...」出現之前就進行檢查並立即繼續。
從靜態圖片 + 音訊建立片段:
def make_segment(image_path, audio_path, output_path):
audio_dur = ffprobe_duration(audio_path)
subprocess.run([
"ffmpeg", "-y",
"-loop", "1", "-i", str(image_path),
"-i", str(audio_path),
"-c:v", "libx264", "-preset", "fast", "-crf", "18",
"-c:a", "aac", "-b:a", "192k",
"-t", str(audio_dur),
"-pix_fmt", "yuv420p",
"-movflags", "+faststart", str(output_path),
], check=True)
每個片段的持續時間等於其旁白音訊 — 旁白永遠描述螢幕上顯示的內容。
反模式(來自 6 次在 Foundry 託管代理 PoC 上失敗的錄製嘗試)
| ❌ 方法 | 失敗原因 |
|---|---|
| 連續錄製 + 事後疊加音訊 | 音訊和影片時間軸永遠對不齊 — 旁白談論引用時,螢幕顯示「正在處理...」 |
使用 setpts 加速「正在處理...」的影片部分 | 看起來很粗糙;加速比例取決於不可預測的代理回應時間 |
腳本中使用固定的 > wait 35 計時器 | 代理回應時間為 10-50 秒;固定計時器不是截斷答案就是浪費 30 秒顯示無內容 |
| 即時同時錄製影片和音訊 | Playwright 無法擷取系統音訊;無頭 Chromium 沒有音訊裝置 |
| 後製使用音訊平移偵測 | 過於脆弱;「正在處理...」文字出現在 DOM 中,但視覺載入旋轉指示器因工作區而異 |
代理展示的語音選擇
對於英國觀眾的 PoC,請使用英國語音(en-GB-SoniaNeural)— 它以展示節奏自然朗讀,且符合專業語調。在受監管產業(金融服務、電信、醫療保健)的展示中,請避免使用美國口語化語音。
檔案位置
當作為全域 Copilot CLI 技能啟用時,腳本位於:
~/.copilot/skills/auto-demo-producer/scripts/record_demo.py~/.copilot/skills/auto-demo-producer/scripts/generate_slides.py
在執行前,將它們複製到您的專案目錄,或直接參考。
先決條件
- Python 3.10+ 搭配
pip - edge-tts —
pip install edge-tts(免費的 Microsoft Neural TTS) - Playwright —
pip install playwright && playwright install chromium - ffmpeg — 系統二進位檔案(請參閱上方安裝指令)