影片
此技能為一薄層。繁重工作由程式(ffmpeg、Whisper)與 HeyGen 的官方 HyperFrames 技能執行;此檔案僅負責路由與含字幕短影片的規則。請僅閱讀任務所需的 HyperFrames 技能,而非全部。
首次執行:為此電腦進行設定
只能在 Claude Code(桌面應用程式、VS Code 或終端機)中運作:它需要電腦上安裝相關程式。
首先閱讀與此檔案同目錄下的 settings.md。 如果電腦資訊已記錄於該處,則跳過檢查,直接使用其中的命令(使用哪個 python、ffmpeg 路徑、模型、是否加 --cpu)。如果檔案為空白或某些記錄停止運作,請執行以下設定並將結果寫入該檔案。
設定 — 一次性:
| 項目 | 檢查方式 | 原因 |
|---|---|---|
| ffmpeg / ffprobe | ffmpeg -version | 從影片中提取音訊與幀 |
| Python 3.10+ 且安裝 faster-whisper 與 yt-dlp | python -c "import faster_whisper, yt_dlp"(在 Mac 上使用 python3) | 轉錄、從連結下載 |
| Node.js | node -v | HyperFrames |
| HyperFrames 技能 | hyperframes 技能是否在技能清單中 | 編輯、覆蓋、動畫 |
| NVIDIA GPU(選擇性) | nvidia-smi(名稱與記憶體) | 將轉錄速度提升數十倍 |
| 現有的 Whisper | pip list(faster-whisper、openai-whisper、whisperx)、模型資料夾、詢問使用者 | 避免安裝第二個 |
使用者自有的 Whisper。 如果使用者已有 faster-whisper 且已下載模型,請勿再安裝另一個:透過 --model <路徑> 將模型資料夾傳遞給腳本,或將 HF_HOME 指向他們快取目錄。如果他們使用的是不同的 Whisper(openai-whisper、whisper.cpp、whisperx),請詢問是否保留。若保留,則使用該工具進行轉錄,並將結果轉換為此腳本預期的格式(words:{"words":[{"text","start","end","type":"word"}]},flat:不含包裝的相同字詞清單)— 這是 HyperFrames 技能所預期的格式。
GPU 適用的模型(faster-whisper):
| 電腦類型 | 使用方式 |
|---|---|
| NVIDIA 6 GB 以上 | large-v3-turbo 於 GPU 上(預設)— 最佳品質 |
| NVIDIA 4 GB | large-v3-turbo 搭配 --compute int8_float16,或 --model medium |
| 無 NVIDIA(包括 Mac、AMD、配備整合式顯示卡的筆電) | --cpu,模型 small(快速)或 large-v3-turbo(更準確,但慢數倍) |
在使用者自己的影片上以短片段(ffmpeg -t 10)進行測試:如果 GPU 執行時因 CUDA 或記憶體錯誤而失敗,請安裝下方函式庫或改用較小模型。向使用者展示速度與品質數據,共同決定。對於僅含英文內容,在速度較慢的電腦上也可考慮使用 small.en / medium.en。
如果缺少某項元件,請向使用者列出其名稱與大小,且僅在獲得使用者同意後才安裝。在 Windows 上,若 C 槽空間不足,請詢問要使用哪個磁碟機。
- ffmpeg、Node、Python:Windows —
winget install Gyan.FFmpeg、winget install OpenJS.NodeJS.LTS、winget install Python.Python.3.12;Mac —brew install ffmpeg node python。 - 函式庫:
python -m pip install faster-whisper yt-dlp。若 Windows 有 NVIDIA GPU,則額外安裝:python -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*"。 - HyperFrames 技能:
npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes,Apache 2.0)。 - Whisper 模型(約 1.6 GB)會在首次轉錄時自動下載至 HuggingFace 快取。可透過
HF_HOME變數指定其他位置。 - 如果使用者想要:使用
HYPERFRAMES_NO_TELEMETRY=1與DO_NOT_TRACK=1關閉 HyperFrames 的遙測功能。
設定完成後,將所有資訊寫入 settings.md(遵循檔案中的範本):使用的 python 與 ffmpeg、GPU、所選模型與旗標、模型快取位置、測試速度。之後執行 A 與 B 部分命令時,都將使用這些旗標。
我們的轉錄腳本為與此檔案同目錄的 scripts/transcribe.py。它會自行嘗試使用 GPU,若無則回退至 CPU。旗標:--model(模型名稱或自訂模型路徑)、--compute、--cpu、--language。
未經詢問,請勿在渲染後向 HyperFrames 發送「反饋」報告。僅在使用者同意後才執行 npx hyperframes skills update。
A. 觀看並解析影片
- 取得檔案。 直接使用檔案路徑;絕不修改原始檔案。將連結下載至暫存資料夾:
python -m yt_dlp --no-playlist -o "<資料夾>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s likes | %(comment_count)s comments | %(description)s" "<資料夾>/info.txt" <連結>對於 YouTube,如果只需要文字內容,請先嘗試字幕:--write-auto-subs --sub-langs en --skip-download。Instagram 與私人頻道可能需要登入 — 此時請要求使用者自行下載檔案。 - 檢查檔案:
ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <影片>。 - 轉錄:
python scripts/transcribe.py <影片> --out <資料夾>/transcript.txt(含時間戳記的文字)。 - 接觸式索引圖(每張圖片 12 幀 — 節省 token):
垂直:
ffmpeg -v error -y -i <影片> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <資料夾>/sheet_%02d.jpg水平:使用scale=320:-2,tile=4x3的相同指令。對於超過 2 分鐘的影片,使用fps=1/5或1/10。將索引圖作為圖片讀取。 - 回答: 作者與相關數字(若有)、影片格式、轉錄文字(若長則提供摘要)、畫面內容,並分別說明對使用者有用的部分。如果影片內容誇大,請如實說明。
B. 使用 HyperFrames 製作影片
應使用的技能:
| 任務 | 技能 |
|---|---|
| 任何影片的起點;不確定該用哪個時 | hyperframes(主要進入點,會自行路由) |
| 為面對鏡頭說話的影片添加字幕:每行 1–3 個字、重點字著色、卡拉 OK 效果 | embedded-captions |
| 為 talking-head 影片添加圖形:卡片、圖示、「手機畫面」插入、分割畫面、子母畫面圓圈 | talking-head-recut |
| 不含語音的短動畫(最多約 30 秒):開場、數字、Logo、UI 模型、前後對比 | motion-graphics |
| 影片結構:圖層、每張卡片何時出現、影片插入 | hyperframes-core |
| 卡片滑入方式、貼紙、全螢幕字詞「撞擊」效果、動態字體 | hyperframes-animation |
| 鏡頭推拉、平滑縮放 | hyperframes-keyframes |
| 音樂、音效、圖示、處理插入 | media-use |
| 檢查、渲染為 MP4、去背(「從肩膀後方」插入) | hyperframes-cli |
| 現成特效(故障、五彩紙屑、圖表)、語音下的音樂音量、顏色與字體 | hyperframes-registry、hyperframes-audio、hyperframes-creative |
根據 HyperFrames 規則,應先閱讀 hyperframes 技能;對於簡單任務,其 SKILL.md 就足夠,無需參考其他技能。
使用我們的腳本準備轉錄文字(精確的字詞時間,使用 GPU),而非使用內建的 hyperframes transcribe:
- 對於
embedded-captions:python scripts/transcribe.py <影片> --out <工作資料夾>/transcript.json --format words— 該技能會自動拾取準備好的transcript.json; - 對於
talking-head-recut:相同指令搭配--format flat(扁平字詞陣列),跳過該技能自己的轉錄步驟。 使用前,請閱讀轉錄文字並修正辨識錯誤(人名、品牌、術語)。以一行的形式向使用者顯示修正清單。
專案: 詢問要使用哪個資料夾。資料夾內部結構:sources/(來源檔案的複本 — 絕不修改或刪除原始檔案)、HyperFrames 工作檔案、done/(存放最終的 MP4 檔)。
格式: Reels/Shorts/Stories/TikTok — 1080×1920,9:16,30 fps;YouTube — 1920×1080;動態貼文 — 1080×1350。
字幕與畫面文字
- 字體必須包含文字所需的所有字符(重音符號、如果影片為多語言則包含其他字母)— 在渲染前檢查。偏好使用專案資料夾中的本機
.woff2檔,其次是透過 Google Fonts 從網路取得。 - 每行 2–4 個字。不要在冠詞、介詞或連接詞(a、an、the、of、to、in、on、and、but)處斷行 — 將其移至下一個單字。
- 數字使用阿拉伯數字,使用彎曲引號與撇號,使用真正的破折號。
- 全部大寫僅用於簡短強調(1–3 個字),不應用於整個句子。
- 字幕不得遮蓋臉部或 Reels/TikTok 的底部 UI 區域(按鈕、字幕)— 保持在安全區域內。將鉤子放在畫面中央或略微偏下,而非頂部邊緣。
- 如果技能資料夾中的
brand.md已填寫(字體、顏色、強調方式)— 請使用它。如果為空白,請向使用者詢問一次其樣式偏好,並提議將答案儲存在該處。
在說「完成」之前
在長時間渲染前,先展示計畫(內容、位置、風格)。渲染完成後,從結果中裁剪出一張接觸式索引圖(A4)並親自檢查:文字是否可讀、是否超出邊緣、所有字符是否正確渲染、是否與語音同步。完成檢查後,再將 done/ 中的檔案路徑交給使用者。