Communitygithub.com

Galina-neiro/video-ru

影片工作:觀看並解析影片或 Reels(從檔案路徑或 YouTube/TikTok/Instagram/Vimeo 連結),轉錄語音、下載片段,並使用 HyperFrames 製作字幕、圖形覆蓋或短動畫。遇到任何影片或音訊任務時優先使用:「觀看此影片」、「這支 Reel 有什麼內容」、「轉錄」、「加上字幕」、「加上覆蓋」、「編輯我的 Reel」、「製作開場」。它會指示接下來該使用哪個 HyperFrames 技能,並準備好精確的字詞級轉錄(如果有 GPU 則在其上執行)。

video-ru 是什麼?

這是一個專門為 Claude Code 設計的影片處理技能,能處理從本機檔案或 YouTube、TikTok、Instagram、Vimeo 等平台連結取得的影片。它會自動下載影片、提取音訊,並使用 faster-whisper 進行高精度的字詞級語音轉錄(若 NVIDIA GPU 可用則大幅加速)。轉錄完成後,系統會根據任務需求(如為說話影片添加卡拉 OK 風格字幕、為 talking-head 影片加入圖形卡片、或製作短動畫動畫)引導使用者閱讀並使用適當的 HyperFrames 技能。此技能還會生成接觸式索引圖以節省 token,並在渲染前後檢查字體、安全區域與同步性。其運作仰賴本機安裝的 ffmpeg、ffprobe、Python 3.10+(含 faster-whisper 與 yt-dlp)以及 Node.js。

相容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Galina-neiro/video-ru/tree/HEAD/en

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片

此技能為一薄層。繁重工作由程式(ffmpeg、Whisper)與 HeyGen 的官方 HyperFrames 技能執行;此檔案僅負責路由與含字幕短影片的規則。請僅閱讀任務所需的 HyperFrames 技能,而非全部。

首次執行:為此電腦進行設定

只能在 Claude Code(桌面應用程式、VS Code 或終端機)中運作:它需要電腦上安裝相關程式。

首先閱讀與此檔案同目錄下的 settings.md。 如果電腦資訊已記錄於該處,則跳過檢查,直接使用其中的命令(使用哪個 python、ffmpeg 路徑、模型、是否加 --cpu)。如果檔案為空白或某些記錄停止運作,請執行以下設定並將結果寫入該檔案。

設定 — 一次性:

項目檢查方式原因
ffmpeg / ffprobeffmpeg -version從影片中提取音訊與幀
Python 3.10+ 且安裝 faster-whisper 與 yt-dlppython -c "import faster_whisper, yt_dlp"(在 Mac 上使用 python3)轉錄、從連結下載
Node.jsnode -vHyperFrames
HyperFrames 技能hyperframes 技能是否在技能清單中編輯、覆蓋、動畫
NVIDIA GPU(選擇性)nvidia-smi(名稱與記憶體)將轉錄速度提升數十倍
現有的 Whisperpip list(faster-whisper、openai-whisper、whisperx)、模型資料夾、詢問使用者避免安裝第二個

使用者自有的 Whisper。 如果使用者已有 faster-whisper 且已下載模型,請勿再安裝另一個:透過 --model <路徑> 將模型資料夾傳遞給腳本,或將 HF_HOME 指向他們快取目錄。如果他們使用的是不同的 Whisper(openai-whisper、whisper.cpp、whisperx),請詢問是否保留。若保留,則使用該工具進行轉錄,並將結果轉換為此腳本預期的格式(words:{"words":[{"text","start","end","type":"word"}]},flat:不含包裝的相同字詞清單)— 這是 HyperFrames 技能所預期的格式。

GPU 適用的模型(faster-whisper):

電腦類型使用方式
NVIDIA 6 GB 以上large-v3-turbo 於 GPU 上(預設)— 最佳品質
NVIDIA 4 GBlarge-v3-turbo 搭配 --compute int8_float16,或 --model medium
無 NVIDIA(包括 Mac、AMD、配備整合式顯示卡的筆電)--cpu,模型 small(快速)或 large-v3-turbo(更準確,但慢數倍)

在使用者自己的影片上以短片段(ffmpeg -t 10)進行測試:如果 GPU 執行時因 CUDA 或記憶體錯誤而失敗,請安裝下方函式庫或改用較小模型。向使用者展示速度與品質數據,共同決定。對於僅含英文內容,在速度較慢的電腦上也可考慮使用 small.en / medium.en。

如果缺少某項元件,請向使用者列出其名稱與大小,且僅在獲得使用者同意後才安裝。在 Windows 上,若 C 槽空間不足,請詢問要使用哪個磁碟機。

  • ffmpeg、Node、Python:Windows — winget install Gyan.FFmpeg、winget install OpenJS.NodeJS.LTS、winget install Python.Python.3.12;Mac — brew install ffmpeg node python。
  • 函式庫:python -m pip install faster-whisper yt-dlp。若 Windows 有 NVIDIA GPU,則額外安裝:python -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*"。
  • HyperFrames 技能:npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes,Apache 2.0)。
  • Whisper 模型(約 1.6 GB)會在首次轉錄時自動下載至 HuggingFace 快取。可透過 HF_HOME 變數指定其他位置。
  • 如果使用者想要:使用 HYPERFRAMES_NO_TELEMETRY=1 與 DO_NOT_TRACK=1 關閉 HyperFrames 的遙測功能。

設定完成後,將所有資訊寫入 settings.md(遵循檔案中的範本):使用的 python 與 ffmpeg、GPU、所選模型與旗標、模型快取位置、測試速度。之後執行 A 與 B 部分命令時,都將使用這些旗標。

我們的轉錄腳本為與此檔案同目錄的 scripts/transcribe.py。它會自行嘗試使用 GPU,若無則回退至 CPU。旗標:--model(模型名稱或自訂模型路徑)、--compute、--cpu、--language。

未經詢問,請勿在渲染後向 HyperFrames 發送「反饋」報告。僅在使用者同意後才執行 npx hyperframes skills update。

A. 觀看並解析影片

  1. 取得檔案。 直接使用檔案路徑;絕不修改原始檔案。將連結下載至暫存資料夾: python -m yt_dlp --no-playlist -o "<資料夾>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s likes | %(comment_count)s comments | %(description)s" "<資料夾>/info.txt" <連結> 對於 YouTube,如果只需要文字內容,請先嘗試字幕:--write-auto-subs --sub-langs en --skip-download。Instagram 與私人頻道可能需要登入 — 此時請要求使用者自行下載檔案。
  2. 檢查檔案: ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <影片>。
  3. 轉錄: python scripts/transcribe.py <影片> --out <資料夾>/transcript.txt(含時間戳記的文字)。
  4. 接觸式索引圖(每張圖片 12 幀 — 節省 token): 垂直:ffmpeg -v error -y -i <影片> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <資料夾>/sheet_%02d.jpg 水平:使用 scale=320:-2,tile=4x3 的相同指令。對於超過 2 分鐘的影片,使用 fps=1/5 或 1/10。將索引圖作為圖片讀取。
  5. 回答: 作者與相關數字(若有)、影片格式、轉錄文字(若長則提供摘要)、畫面內容,並分別說明對使用者有用的部分。如果影片內容誇大,請如實說明。

B. 使用 HyperFrames 製作影片

應使用的技能:

任務技能
任何影片的起點;不確定該用哪個時hyperframes(主要進入點,會自行路由)
為面對鏡頭說話的影片添加字幕:每行 1–3 個字、重點字著色、卡拉 OK 效果embedded-captions
為 talking-head 影片添加圖形:卡片、圖示、「手機畫面」插入、分割畫面、子母畫面圓圈talking-head-recut
不含語音的短動畫(最多約 30 秒):開場、數字、Logo、UI 模型、前後對比motion-graphics
影片結構:圖層、每張卡片何時出現、影片插入hyperframes-core
卡片滑入方式、貼紙、全螢幕字詞「撞擊」效果、動態字體hyperframes-animation
鏡頭推拉、平滑縮放hyperframes-keyframes
音樂、音效、圖示、處理插入media-use
檢查、渲染為 MP4、去背(「從肩膀後方」插入)hyperframes-cli
現成特效(故障、五彩紙屑、圖表)、語音下的音樂音量、顏色與字體hyperframes-registry、hyperframes-audio、hyperframes-creative

根據 HyperFrames 規則,應先閱讀 hyperframes 技能;對於簡單任務,其 SKILL.md 就足夠,無需參考其他技能。

使用我們的腳本準備轉錄文字(精確的字詞時間,使用 GPU),而非使用內建的 hyperframes transcribe:

  • 對於 embedded-captions:python scripts/transcribe.py <影片> --out <工作資料夾>/transcript.json --format words — 該技能會自動拾取準備好的 transcript.json;
  • 對於 talking-head-recut:相同指令搭配 --format flat(扁平字詞陣列),跳過該技能自己的轉錄步驟。 使用前,請閱讀轉錄文字並修正辨識錯誤(人名、品牌、術語)。以一行的形式向使用者顯示修正清單。

專案: 詢問要使用哪個資料夾。資料夾內部結構:sources/(來源檔案的複本 — 絕不修改或刪除原始檔案)、HyperFrames 工作檔案、done/(存放最終的 MP4 檔)。

格式: Reels/Shorts/Stories/TikTok — 1080×1920,9:16,30 fps;YouTube — 1920×1080;動態貼文 — 1080×1350。

字幕與畫面文字

  • 字體必須包含文字所需的所有字符(重音符號、如果影片為多語言則包含其他字母)— 在渲染前檢查。偏好使用專案資料夾中的本機 .woff2 檔,其次是透過 Google Fonts 從網路取得。
  • 每行 2–4 個字。不要在冠詞、介詞或連接詞(a、an、the、of、to、in、on、and、but)處斷行 — 將其移至下一個單字。
  • 數字使用阿拉伯數字,使用彎曲引號與撇號,使用真正的破折號。
  • 全部大寫僅用於簡短強調(1–3 個字),不應用於整個句子。
  • 字幕不得遮蓋臉部或 Reels/TikTok 的底部 UI 區域(按鈕、字幕)— 保持在安全區域內。將鉤子放在畫面中央或略微偏下,而非頂部邊緣。
  • 如果技能資料夾中的 brand.md 已填寫(字體、顏色、強調方式)— 請使用它。如果為空白,請向使用者詢問一次其樣式偏好,並提議將答案儲存在該處。

在說「完成」之前

在長時間渲染前,先展示計畫(內容、位置、風格)。渲染完成後,從結果中裁剪出一張接觸式索引圖(A4)並親自檢查:文字是否可讀、是否超出邊緣、所有字符是否正確渲染、是否與語音同步。完成檢查後,再將 done/ 中的檔案路徑交給使用者。

相關技能