影片處理器
使用說明
此技能提供影片處理工具,包括音訊擷取、格式轉換以及使用 FFmpeg 和 OpenAI Whisper 模型進行語音轉文字。
先決條件
必要工具(必須安裝在您的環境中):
-
FFmpeg:用於影片/音訊處理的多媒體框架
# macOS brew install ffmpeg # Ubuntu/Debian apt-get install ffmpeg # 驗證安裝 ffmpeg -version -
OpenAI Whisper:語音轉文字模型
# 透過 pip 安裝 pip install -U openai-whisper # 驗證安裝 whisper --help
Python 套件(透過 PEP 723 包含在指令碼中):
- click(CLI 框架)
- ffmpeg-python(FFmpeg 的 Python 包裝函式)
工作流程
所有影片處理任務皆使用 scripts/video_processor.py 指令碼。該指令碼提供具有以下指令的簡單 CLI:
1. 從影片中擷取音訊
從影片檔案中擷取音軌:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav
選項:
--format:輸出音訊格式(預設:wav)。支援:wav、mp3、aac、flac- 輸出適用於轉錄或獨立音訊使用
2. 將影片轉換為 MP4
將任何影片檔案轉換為 MP4 格式:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4
選項:
--codec:影片編解碼器(預設:libx264)。常見選項:libx264、libx265、h264--preset:編碼速度/品質預設(預設:medium)。選項:ultrafast、fast、medium、slow、veryslow
3. 將影片轉換為 WebM
將任何影片檔案轉換為 WebM 格式(網頁最佳化):
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm
選項:
--codec:影片編解碼器(預設:libvpx-vp9)。選項:libvpx、libvpx-vp9- WebM 專為網頁播放和串流進行了最佳化
4. 使用 Whisper 轉錄音訊
使用 OpenAI 的 Whisper 模型將音訊或影片檔案轉錄為文字:
# 轉錄影片檔案(音訊將自動擷取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt
# 直接轉錄音訊檔案
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt
選項:
--model:Whisper 模型大小(預設:base)。選項:tiny:最快,準確度最低(約 1GB RAM)base:快速,準確度良好(約 1GB RAM)[預設]small:均衡(約 2GB RAM)medium:高準確度(約 5GB RAM)large:最佳準確度,最慢(約 10GB RAM)
--language:語言代碼(預設:自動偵測)。範例:en、es、fr、de、zh--format:輸出格式(預設:txt)。選項:txt、srt、vtt、json
轉錄工作流程:
- 如果輸入是影片,FFmpeg 會將音訊擷取到暫存 WAV 檔案
- Whisper 處理該音訊檔案
- 轉錄結果以要求的格式儲存
- 暫存檔案會自動清理
5. 組合工作流程範例
從頭到尾處理一部影片:
# 1. 擷取音訊以供分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
# 2. 轉錄為 SRT 字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small
# 3. 轉換為網頁格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm
關鍵技術細節
FFmpeg 與 Whisper 整合:
- FFmpeg 本身不進行轉錄 - 它會準備音訊以供外部轉錄使用
- 工作流程為:擷取音訊(FFmpeg)→ 轉錄(Whisper)→ 可選:重新與影片整合
- FFmpeg 可以將音訊直接傳送給 Whisper 以實現即時處理(進階使用案例)
用於轉錄的音訊格式:
- Whisper 在 WAV 或 MP3 格式下效果最佳
- 取樣率:16kHz 是最佳選擇(指令碼會自動處理轉換)
- 指令碼會以 Whisper 的最佳設定擷取音訊
輸出格式:
- txt:純文字轉錄稿
- srt:SubRip 字幕格式(包含時間戳記)
- vtt:WebVTT 字幕格式(網頁標準)
- json:包含逐字時間戳記的詳細 JSON
錯誤處理
該指令碼包含全面的錯誤處理:
- 驗證輸入檔案是否存在
- 檢查 FFmpeg 和 Whisper 是否已安裝
- 針對缺少依賴項提供清晰的錯誤訊息
- 在發生錯誤時處理暫存檔案的清理
效能建議
- 使用
tiny或base模型以快速取得草稿 - 使用
small或medium模型進行正式轉錄 - 僅在需要最高準確度時使用
large模型 - 對於較長的影片,請考慮先擷取音訊,然後分段轉錄
- 使用 VP9 轉換 WebM 需要較長時間,但會產生較小的檔案
範例
範例 1:快速轉換影片為 MP4
使用者請求:
我有一部舊相機的 AVI 檔案。可以把它轉換成 MP4 嗎?
您應該:
- 使用 to-mp4 指令搭配預設設定:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4 - 確認轉換成功完成
- 通知使用者輸出檔案的位置
範例 2:擷取音訊並轉錄
使用者請求:
我錄製了一堂講座影片,需要一份文字稿。可以幫我擷取音訊並轉錄嗎?
您應該:
- 先擷取音訊:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav - 然後使用 base 模型(速度和準確度之間的良好平衡)進行轉錄:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base - 將 transcript.txt 檔案提供給使用者
範例 3:建立附帶字幕的網頁最佳化影片
使用者請求:
我需要把這部影片放到我的網站上,並附帶字幕。可以幫忙嗎?
您應該:
- 轉換為 WebM 以進行網頁最佳化:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm - 產生 SRT 字幕檔案:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small - 告知使用者現在他們擁有:
- presentation.webm(網頁最佳化影片)
- subtitles.srt(用於嵌入的字幕檔案)
範例 4:指定語言的高品質轉錄
使用者請求:
我有一部西班牙語訪談影片,需要一份準確的文字稿以供出版。
您應該:
- 使用較大的模型並指定語言以獲得最佳準確度:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es - 可選地建立 SRT 以供審閱:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es - 與使用者一起審閱文字稿並進行任何必要的更正
範例 5:批次處理多部影片
使用者請求:
我有一個資料夾的培訓影片,都需要轉換成 WebM 並進行轉錄。
您應該:
- 列出目錄中的所有影片檔案:
ls training_videos/*.mp4 - 對每個影片檔案執行轉換和轉錄:
# 對於每個影片:video1.mp4、video2.mp4 等 uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base # 對每個檔案重複執行 - 確認所有轉換和轉錄完成
- 提供輸出檔案的摘要
摘要
video-processor 技能為常見的影片處理任務提供了統一的介面:
- 音訊擷取:以各種格式擷取音軌
- 格式轉換:轉換為 MP4(通用)或 WebM(網頁最佳化)
- 轉錄:語音轉文字,支援多種輸出格式
- 靈活性:CLI 參數可用於選擇模型、語言和輸出格式
所有操作皆透過一個單一、文件完善且具有合理預設值和全面錯誤處理的指令碼來處理。