Communitygithub.com

lilinji/GeneTind-Life-Skills

處理影片檔案,包含音訊抽取、格式轉換(mp4、webm)以及 Whisper 語音轉文字。當使用者提及影片轉檔、音訊抽取、語音轉錄、mp4、webm、ffmpeg 或 whisper 轉錄時使用。

GeneTind-Life-Skills 是什麼?

此技能提供全面的影片處理功能,包括音訊抽取、格式轉換以及語音轉文字,是開發者與 AI Agent 使用者的理想工具。它整合了 FFmpeg 和 OpenAI 的 Whisper 模型,能處理常見的影片與音訊工作流程。支援 macOS、Ubuntu/Debian 等環境,並可與 Claude Code、Cursor 等平台搭配使用。主要功能包括從影片中抽取音訊(支援 wav、mp3、aac、flac 格式)、將影片轉換為 MP4 或 WebM 格式(後者針對網頁播放最佳化)、以及使用 Whisper 進行語音轉錄(支援多種模型大小與語言)。所有操作透過單一 CLI 腳本執行,具備完善的錯誤處理與臨時檔案清理機制。對於需要批次處理、字幕生成或高品質轉錄的使用者來說,這項技能能大幅簡化影片後製流程。

相容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/lilinji/GeneTind-Life-Skills/tree/HEAD/skills/Video-Processor

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片處理器

使用說明

此技能提供影片處理功能,包含使用 FFmpeg 與 OpenAI Whisper 模型進行音訊抽取、格式轉換以及語音轉錄。

先決條件

必要工具(需安裝於您的環境中):

  • FFmpeg:多媒體框架,用於影片/音訊處理

    # macOS
    brew install ffmpeg
    
    # Ubuntu/Debian
    apt-get install ffmpeg
    
    # 驗證安裝
    ffmpeg -version
    
  • OpenAI Whisper:語音轉文字轉錄模型

    # 透過 pip 安裝
    pip install -U openai-whisper
    
    # 驗證安裝
    whisper --help
    

Python 套件(透過 PEP 723 包含在腳本中):

  • click(CLI 框架)
  • ffmpeg-python(FFmpeg 的 Python 包裝器)

工作流程

所有影片處理任務請使用 scripts/video_processor.py 腳本。該腳本提供簡單的 CLI,包含以下指令:

1. 從影片抽取音訊

從影片檔案中抽取音軌:

uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav

選項:

  • --format:輸出音訊格式(預設:wav)。支援:wav、mp3、aac、flac
  • 輸出結果適用於轉錄或獨立音訊使用

2. 將影片轉換為 MP4

將任何影片檔案轉換為 MP4 格式:

uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4

選項:

  • --codec:影片編碼器(預設:libx264)。常見選項:libx264、libx265、h264
  • --preset:編碼速度/品質預設(預設:medium)。選項:ultrafast、fast、medium、slow、veryslow

3. 將影片轉換為 WebM

將任何影片檔案轉換為 WebM 格式(針對網頁最佳化):

uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm

選項:

  • --codec:影片編碼器(預設:libvpx-vp9)。選項:libvpx、libvpx-vp9
  • WebM 針對網頁播放與串流最佳化

4. 使用 Whisper 轉錄音訊

使用 OpenAI Whisper 模型將音訊或影片檔案轉錄為文字:

# 轉錄影片檔案(音訊會自動抽取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt

# 直接轉錄音訊檔案
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt

選項:

  • --model:Whisper 模型大小(預設:base)。選項:
    • tiny:最快,準確度最低(約 1GB RAM)
    • base:快速,準確度佳(約 1GB RAM)[預設值]
    • small:平衡(約 2GB RAM)
    • medium:高準確度(約 5GB RAM)
    • large:最佳準確度,最慢(約 10GB RAM)
  • --language:語言代碼(預設:自動偵測)。範例:en、es、fr、de、zh
  • --format:輸出格式(預設:txt)。選項:txt、srt、vtt、json

轉錄工作流程:

  1. 如果輸入是影片,FFmpeg 會將音訊抽取至臨時 WAV 檔案
  2. Whisper 處理該音訊檔案
  3. 轉錄結果以要求的格式儲存
  4. 臨時檔案會自動清理

5. 組合工作流程範例

端到端處理一個影片:

# 1. 抽取音訊供分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav

# 2. 轉錄為 SRT 字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small

# 3. 轉換為網頁格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm

關鍵技術細節

FFmpeg 與 Whisper 整合:

  • FFmpeg 本身不進行轉錄,它負責將音訊準備好供外部轉錄使用
  • 工作流程為:抽取音訊(FFmpeg)→ 轉錄(Whisper)→ 可選:重新與影片整合
  • FFmpeg 可將音訊直接串流至 Whisper 進行即時處理(進階使用案例)

轉錄用的音訊格式:

  • Whisper 在 WAV 或 MP3 格式下效果最佳
  • 取樣率:16kHz 為最佳(腳本會自動處理轉換)
  • 腳本會以 Whisper 的最佳設定來抽取音訊

輸出格式:

  • txt:純文字轉錄稿
  • srt:SubRip 字幕格式(含時間戳記)
  • vtt:WebVTT 字幕格式(網頁標準)
  • json:詳細 JSON 格式,含逐字時間戳記

錯誤處理

腳本包含完整的錯誤處理:

  • 驗證輸入檔案是否存在
  • 檢查 FFmpeg 與 Whisper 是否已安裝
  • 針對缺少的依賴項目提供清晰的錯誤訊息
  • 在發生錯誤時處理臨時檔案的清理

效能建議

  • 使用 tiny 或 base 模型製作快速草稿
  • 使用 small 或 medium 進行正式轉錄
  • 僅在需要最高準確度時使用 large
  • 對於長影片,建議先抽取音訊,再分段轉錄
  • 使用 VP9 進行 WebM 轉換耗時較長,但產生的檔案較小

範例

範例 1:快速將影片轉換為 MP4

使用者請求:

我有一支舊攝影機拍的 AVI 檔案,可以幫我轉成 MP4 嗎?

您應:

  1. 使用預設設定的 to-mp4 指令:
    uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4
    
  2. 確認轉換成功完成
  3. 告知使用者輸出檔案的位置

範例 2:抽取音訊並轉錄

使用者請求:

我錄了一段講座影片,需要逐字稿。可以幫我抽取音訊並轉錄嗎?

您應:

  1. 先抽取音訊:
    uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
    
  2. 然後使用 base 模型(速度與準確度均衡)進行轉錄:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base
    
  3. 將 transcript.txt 檔案提供給使用者

範例 3:建立含字幕的網頁最佳化影片

使用者請求:

我需要把這部影片放到網站上,還要加上字幕。可以幫忙嗎?

您應:

  1. 轉換為 WebM 以進行網頁最佳化:
    uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm
    
  2. 產生 SRT 字幕檔案:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small
    
  3. 告知使用者現在擁有:
    • presentation.webm(網頁最佳化影片)
    • subtitles.srt(可嵌入的字幕檔案)

範例 4:指定語言的高品質轉錄

使用者請求:

我有一段西班牙文訪談影片,需要一份準確的逐字稿供出版用。

您應:

  1. 使用較大的模型並指定語言以獲得最佳準確度:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es
    
  2. 可選:建立 SRT 供審閱:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es
    
  3. 與使用者一起審閱逐字稿並進行必要的修正

範例 5:批次處理多個影片

使用者請求:

我有一個訓練影片資料夾,需要全部轉成 WebM 並轉錄。

您應:

  1. 列出目錄中的所有影片檔案:
    ls training_videos/*.mp4
    
  2. 對每個影片檔案執行轉換與轉錄:
    # 對每個影片:video1.mp4、video2.mp4 等
    uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base
    
    # 對每個檔案重複執行
    
  3. 確認所有轉換與轉錄完成
  4. 提供輸出檔案的摘要

總結

video-processor 技能為常見的影片處理任務提供了統一的介面:

  • 音訊抽取:以多種格式抽取音軌
  • 格式轉換:轉換為 MP4(通用)或 WebM(網頁最佳化)
  • 轉錄:語音轉文字,支援多種輸出格式
  • 彈性:CLI 參數可用於選擇模型、語言與輸出格式

所有操作皆透過單一、文件完善的腳本執行,具備合理的預設值與完整的錯誤處理。

相關技能