Communitygithub.com

影片理解

建立可重複使用的媒體元資料、逐字轉錄、客觀語音分析,以及基於證據的語意理解,供下游剪輯技能使用。

影片理解 是什麼?

「影片理解」技能專為AI驅動的影片編輯管線設計,作為一個協調層來建立共用的媒體證據庫。它透過標準化工作流程處理原始媒體:初始化專案、探測媒體元資料、以16kHz單聲道抽取音訊,並藉由 faster-whisper 進行逐字轉錄。隨後,它會針對語速、停頓與說話者密度執行客觀分析,並將事實摘要、時間範圍、信心度與轉錄證據寫入結構化的 understanding.json 檔案,完全避免主觀的剪輯或特效決定。此技能與 /video-cut、/video-to-shorts、/video-add-captions 等下游技能配合良好,確保它們在一致的驗證證據基礎上運作。它支援透過 ffmpeg/ffprobe 與 Python 的本地部署,其輸出遵循嚴格的時間軸與專案綱要協定,適用於需要精確、可稽核影片分析的專業後製工作流程。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/WhiteTowerAI/cut-as-code/tree/main/skills/video-understand

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片理解 是做什麼的?

建立一次共享的證據層。將觀察結果保留在原始時間,並將編輯決策留給下游技能處理。

此技能是 /video-cut、/video-to-shorts、/video-add-captions、/video-add-content-cards 以及 /video-add-graphic-motion 的前置條件。請先執行此技能,讓下游技能使用相同的驗證證據與時間軸。

相依項目

需要 ffmpeg/ffprobe、Python 以及用於轉錄的 faster-whisper。在處理媒體前請先檢查它們是否已安裝。

工作流程

  1. 從原始來源初始化專案:

    python scripts/init_project.py path/to/source.mp4 path/to/my-video-project
    

    這會建立 input/、review/00-video-understanding/、final/、最小化的機器專用 work/ 目錄樹、一個識別時間軸、project.json、媒體中繼資料以及 START-HERE.md。它不會為未選取的編輯操作建立資料夾。

  2. 僅在來源需要明確更新中繼資料時才再次探測:

    python scripts/probe.py input/original-video.mp4 work/understand/media.json
    
  3. 提取 16 kHz 單聲道音訊並進行轉錄:

    ffmpeg -y -i input/original-video.mp4 -ac 1 -ar 16000 work/cache/audio16k.wav
    python scripts/transcribe.py work/cache/audio16k.wav work/understand/transcript medium `
      --lang auto --cache-dir work/cache/faster-whisper
    

    如遇未知或混合語言的語音,請使用 --lang auto。切勿從使用者提示的語言推斷口說語言。僅在音訊本身或明確的使用者中繼資料確立語言時,才傳遞固定的語言,例如 --lang zh。將模型下載保留在專案本機的 work/cache/faster-whisper/ 快取中。Faster-whisper 可能偶爾會發出一個開始與結束時間值相同的點時間詞;共享的時間軸對應器會將其保留為 1 毫秒的間隔,以免字幕與衍生項目無聲地遺失文字。

  4. 產生客觀指標與語意候選:

    python scripts/analyze.py work/understand/transcript.json work/understand/analysis.json
    
  5. 讀取來源、轉錄稿以及分析結果。撰寫 work/understand/understanding.json,內容包含事實摘要、來源時間範圍、信心度以及轉錄證據。不要指定剪輯、卡片或外觀。

  6. 在供下游使用前進行驗證:

    python scripts/validate.py understanding work/understand/understanding.json work/understand/transcript.json
    
  7. 僅在 review/00-video-understanding/ 下建立這些有用的審查成品:video-summary.md、transcript.srt 和 contact-sheet.jpg。驗證中繼資料、時間戳記、證據參考以及可見影格。不要用 PNG 或臨時檔案名稱取代協定名稱。

  8. 只有在審查成品與語意證據驗證通過後,才將理解操作的 check.status 標記為 pass。操作生命週期的 status 與檢查結果是分開的;切勿將 verified 寫入 check.status。

合約

所有持久的機器檔案都位於 work/understand/ 中。請將 work/cache/ 視為可丟棄的。

Individual skills in this repo

This repo contains 8 individual skills — each has its own dedicated page.

相關技能