自動化教學影片工作室 是做什麼的?
給定一個網站地址或軟體名稱,再給一份粗略的章節順序,本技能負責:
驅動真實操作 → 通知用戶錄製 → 導入採集素材 → 建立可檢索索引 → 逐句對位剪輯 → 動效與轉場 → 逐幀校驗 → 成片
分工:技能做什麼,用戶做什麼
| 誰來做 | 說明 | |
|---|---|---|
| 錄製畫面 | 用戶 | 用戶用 OBS / ShareX / 系統錄屏等外部工具錄,技能不錄屏。外部錄製保留原生解析度與清晰度,也能錄進系統聲音 |
| 真實操作 | 技能 | 技能用瀏覽器 CDP 或視窗自動化完成每一步,並記錄操作位置 |
| 剪輯、配音、動效、校驗 | 技能 | 全部自動化,帶閘門 |
| 素材入庫 | 用戶 | 操作結束後把錄好的影片給技能(路徑即可) |
技能不佔用用戶的硬體滑鼠:瀏覽器操作走 CDP 元素點擊,不移動真實指標。
七條鐵律
- 採集歸用戶,技能不錄屏。 技能只負責操作與後期。用戶錄完必須把檔案交給技能。
- 操作歸技能,錄製視窗歸用戶。 技能在用戶宣布「開始錄製」後才動手,操作結束立刻通知用戶停止錄製。
- 錄製期間螢幕上不能有控制台。 技能自己的每一條命令都必須無視窗執行,
並且開啟
guard把新彈出的控制台和浮層立刻藏掉——它們都會被錄進去。 - 只藏視窗,不關視窗。 用
SW_HIDE,用guard stop統一恢復。 - 每一鏡繫結一句口播。
plan.json裡每個 beat 宣告它服務於第幾句口播,章節總長必須等於該章口播總長。 - 念出來的數字必須從真實介面讀到。 頂點數、價格、版本號一律以介面為準。
- 遮擋審計是閘門,不是報告。 構建前逐幀 OCR 出片視窗,發現控制台 / 通知 / 啟動頁就拒絕出片。 BGM 要給人聲讓位,成片 −16 LUFS、真峰 ≤ −1.5 dBFS。
階段 0 · 立項
確認三件事,缺一不可:
- 目標:網站地址或桌面軟體的名稱、版本。
- 大綱:章節順序(用戶給粗略的就行,細節由技能補)。
- 錄製方案:用戶用什麼錄屏工具、錄哪塊顯示器、是否錄系統聲音、輸出格式與解析度。
同時確定採集範圍(錄整屏還是某個視窗)和是否分段錄製。 一段一功能的多次錄製最好維護;一次錄全流程也可以,靠索引定位。
階段 1 · 寫稿
build/script.md,每章一個 ## 標題,格式是 ## <章節ID> | <顯示標題>:
## ch00 | 開場
先看我做出來的東西。
這個手辦是從一張圖生成的。
## ch01 | 註冊與登入
官網是 hi3d.ai,瀏覽器打開就能用。
- 章節ID 只能是小寫字母、數字、底線、連字號(TTS 清單要求),必須與
plan.json的章節id完全一致。 同一章的多段自動編成ch01、ch01_1、ch01_2。 - 顯示標題 給章節卡用,可以是中文。
- 章節ID 之間不要互為前綴(
ch0與ch01會串),建議統一用chNN。 - 開頭先給成果(最有辨識度的畫面),再回到操作。
- 邊緣功能一句話帶過,篇幅留給「決定結果的那幾個參數」和「怎麼檢查做對了」。
- 提示詞、程式碼、配置用 ``` 圍欄程式碼塊儲存——程式碼塊不會被念出來,只作畫面。
- 每段口播都要有對應的真實畫面;暫時沒有畫面的段落,改寫成畫面能證明的話。
階段 2 · 配音
python scripts/studio.py voice --project <項目>
按 ## <章節ID> | <標題> 切章、空行斷句、程式碼塊和 > 備註跳過,產出 build/audio_map.json,每段帶實測時長。
關注輸出的 chars/s:低於 3.0 的段落是 TTS 異常(某次合成被拉長),改寫後重新生成,不要帶著它進剪輯。
階段 3 · 實作與外部錄製 ★
這是本技能的核心環節。
3.1 準備錄製環境
python scripts/studio.py windows # 找到目標視窗
python scripts/studio.py prep --project <項目> \
--keep-title "Chrome" --maximize-title "Chrome" # 藏掉無關視窗,目標視窗最大化
prep 永遠不會藏技能自己的終端(按祖先 PID 排除)。
3.2 啟動螢幕守衛 ★
這一步不能省。 技能在操作過程中會執行命令(ffmpeg、ffprobe、python 子程序), 每一個都可能跳出一個控制台視窗,正好落在用戶的採集屏上被錄進去。
python scripts/studio.py guard start --project <項目> \
--protect "DeepSeek Harness" --protect "Chrome"
守衛是一個獨立的後台程序,每 0.25 秒掃一遍視窗列表,把新出現的控制台類視窗
(ConsoleWindowClass、cmd、PowerShell、終端、xshell 等)和輸入法 / 通知浮層
立即 SW_HIDE 掉。它記住藏過哪些視窗,guard stop 時原樣恢復。
--protect保護正在演示的程序(按標題匹配,必須傳)。- 預設只藏技能自己程序樹裡的控制台視窗,不藏 GUI——用戶的對話介面保持可見。
- 需要連 GUI 一起藏時加
--hide-own-gui。 - 守衛的判據是「真實重疊」:只壓到採集區幾像素的視窗(在另一塊螢幕上的)不會被誤藏。
3.3 通知用戶開始
明確告訴用戶:請開始錄製,完成後回覆「已錄製」。 在用戶確認之前不要動手——否則這段準備動作會被錄進去。
3.4 執行真實操作
按章節順序操作,每一步:
- 瀏覽器:用 CDP 元素點擊,不移動真實滑鼠。
點擊前把座標記下來,後面標註要用:
python scripts/studio.py aim <項目> <x> <y> --note "匯出格式"。 - 桌面軟體:視窗啟動 + 鍵盤優先;確需點擊時用真實滑鼠,但要提醒用戶錄製期間不要動滑鼠。
- 需要確認狀態時,不必打斷用戶——自己抓一幀看一眼:
python scripts/studio.py shot --out <項目>/build/check.png
- 登入、授權、驗證碼:保持錄製,由用戶自己完成,技能只負責確認是否成功。 剪掉憑證、驗證碼、金鑰——可以在登入前和成功後分段錄製,再按依賴順序拼接。
- 技能自己的每一條命令都必須無視窗執行:
scripts/h.ps1以CreateNoWindow啟動子程序,技能內部的子程序一律帶CREATE_NO_WINDOW。
3.5 通知用戶停止
操作全部做完後立刻告訴用戶:操作結束,請停止錄製,並把影片檔案路徑給我。 等待用戶返回路徑。不要自行去找或刪除任何錄製檔案。
3.6 收尾
python scripts/studio.py guard stop --project <項目> # 停止守衛並恢復視窗
python scripts/studio.py guard status --project <項目> # 確認採集螢幕上沒有殘留的控制台
guard status 會列出採集區裡仍然可見的控制台類視窗——必須為空才算乾淨。
如果有殘留,說明有程序在反覆彈跳視窗,讓用戶重錄那一段。
階段 4 · 導入素材並建立索引
python scripts/studio.py import --project <項目> --file "D:\video\rec.mp4"
python scripts/studio.py index --project <項目> --clip rec.mp4 --step 2
index 按固定步長掃描整段錄影,逐幀 OCR 並記錄:
- 每一時刻螢幕上有什麼文字(用來查某一秒在做什麼);
- 視覺變化點(天然的切點);
- 污染區間(控制台 / 通知氣泡 / 啟動頁,要避開)。
產出 build/index_<名字>.txt(可直接檢索)和 .json(結構化)。
排鏡頭前先讀索引,不要憑印象猜時間碼。
階段 5 · 排鏡頭
build/plan.json:
{
"display": {"region": [0, 0, 1920, 1080]},
"voice": {"voice": "zh-CN-XiaoxiaoNeural", "rate": "+8%"},
"chapters": [
{
"id": "ch02", "num": "02", "title": "文生圖", "sub": "三段式提示詞,決定還原度",
"beats": [
{"seg": 0, "src": "rec.mp4", "in": 120, "out": 134},
{"seg": 1, "src": "rec.mp4", "in": 136, "out": 152, "zoom": 1.0}
],
"callouts": [
{"seg": 1, "offset": 1.0, "text": "提示詞三段\n角色 → 材質 → 構圖",
"x": 120, "y": 680, "pointer": "up"}
]
}
]
}
src是raw/裡的檔案名(由import導入的用戶錄影),in/out是秒。seg是這一鏡服務於第幾句口播,按章節內計,從 0 開始。zoom> 1 做推近(靜態裁切放大)。callouts用seg+offset定位標註出現的時刻,跟著口播走;x/y是標註位置(可用aim記下的操作座標)。- 章節
id必須等於script.md的章節ID,也必須等於audio_map.json的段前綴。 - 完整範例見
assets/plan.example.json。
排鏡頭的規矩:
- 一鏡服務一個操作重點,鏡頭長度由那句口播決定。
- 名稱出現前或同時到達相應控制項;關鍵反饋出現時留閱讀時間。
- 相鄰控制項盡量共用一次取景,不要頻繁跳。
- 合理壓縮真實等待,但保留「觸發動做 → 處理反饋」可辨認的時間。
- 缺畫面的段落,改寫成畫面能證明的話,或者補錄。
- 避開索引標出的污染區間。
階段 6 · 剪輯、校驗、交付
python scripts/studio.py build --project <項目>
python scripts/studio.py verify --video <項目>/final.mp4 --expect-duration <口播總長>
build 自動完成:逐句配時切鏡 → 章節標題卡 → 標註疊加 → 交叉溶解轉場樹 → BGM 側鏈壓低 → 響度歸一。
BGM:把音樂放到 build/bgm.wav(或 build/bgm_final.wav),構建器按人聲包絡算出壓低曲線後混入。
沒有這個檔案也能出片,只是沒有背景音樂。
審計不通過時:按 build/audit.txt 的時間碼換視窗或補錄,改 plan.json 重跑。
常見做法是把受污染的 in/out 整體挪到乾淨區間,或讓用戶補錄那一段。
交付前自查:
- 檔案能完整播放,畫面與聲音軌道完整,時長貼近口播總長。
- 逐幀 OCR 審計零問題。
- 以正常速度看和聽整片,重點回查:前 3–10 秒、每個功能切換、提交與成果、數字專名、等候段、結尾。
- 每個講解點都找得到對應游標落點;沒有大段靜態換圖、沒有無內容停頓、BGM 沒蓋人聲。
命令速查
studio init <項目> # 建項目骨架
studio windows # 列視窗,找操作目標
studio prep --project <項目> --maximize-title "Chrome"
studio guard start --project <項目> --protect "Chrome" # ★ 錄製期間保持採集螢幕乾淨
studio shot --out check.png # 抓一幀確認狀態
studio aim --project <項目> 1001 720 --note "匯出格式"
studio guard stop --project <項目> # 停止守衛並恢復視窗
studio guard status --project <項目> # 確認沒有殘留控制台
studio import --project <項目> --file rec.mp4
studio index --project <項目> --clip rec.mp4
studio voice --project <項目>
studio build --project <項目>
studio audit --project <項目>
studio verify --video final.mp4
studio status --project <項目>
參考
references/production.md— 錄屏、配音、剪輯、混音、驗收細則references/troubleshooting.md— 症狀 → 根因 → 修法assets/plan.example.json— 鏡頭計畫完整範例