影片處理器
使用說明
此技能提供影片處理功能,包含使用 FFmpeg 與 OpenAI Whisper 模型進行音訊抽取、格式轉換以及語音轉錄。
先決條件
必要工具(需安裝於您的環境中):
-
FFmpeg:多媒體框架,用於影片/音訊處理
# macOS brew install ffmpeg # Ubuntu/Debian apt-get install ffmpeg # 驗證安裝 ffmpeg -version -
OpenAI Whisper:語音轉文字轉錄模型
# 透過 pip 安裝 pip install -U openai-whisper # 驗證安裝 whisper --help
Python 套件(透過 PEP 723 包含在腳本中):
- click(CLI 框架)
- ffmpeg-python(FFmpeg 的 Python 包裝器)
工作流程
所有影片處理任務請使用 scripts/video_processor.py 腳本。該腳本提供簡單的 CLI,包含以下指令:
1. 從影片抽取音訊
從影片檔案中抽取音軌:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav
選項:
--format:輸出音訊格式(預設:wav)。支援:wav、mp3、aac、flac- 輸出結果適用於轉錄或獨立音訊使用
2. 將影片轉換為 MP4
將任何影片檔案轉換為 MP4 格式:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4
選項:
--codec:影片編碼器(預設:libx264)。常見選項:libx264、libx265、h264--preset:編碼速度/品質預設(預設:medium)。選項:ultrafast、fast、medium、slow、veryslow
3. 將影片轉換為 WebM
將任何影片檔案轉換為 WebM 格式(針對網頁最佳化):
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm
選項:
--codec:影片編碼器(預設:libvpx-vp9)。選項:libvpx、libvpx-vp9- WebM 針對網頁播放與串流最佳化
4. 使用 Whisper 轉錄音訊
使用 OpenAI Whisper 模型將音訊或影片檔案轉錄為文字:
# 轉錄影片檔案(音訊會自動抽取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt
# 直接轉錄音訊檔案
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt
選項:
--model:Whisper 模型大小(預設:base)。選項:tiny:最快,準確度最低(約 1GB RAM)base:快速,準確度佳(約 1GB RAM)[預設值]small:平衡(約 2GB RAM)medium:高準確度(約 5GB RAM)large:最佳準確度,最慢(約 10GB RAM)
--language:語言代碼(預設:自動偵測)。範例:en、es、fr、de、zh--format:輸出格式(預設:txt)。選項:txt、srt、vtt、json
轉錄工作流程:
- 如果輸入是影片,FFmpeg 會將音訊抽取至臨時 WAV 檔案
- Whisper 處理該音訊檔案
- 轉錄結果以要求的格式儲存
- 臨時檔案會自動清理
5. 組合工作流程範例
端到端處理一個影片:
# 1. 抽取音訊供分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
# 2. 轉錄為 SRT 字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small
# 3. 轉換為網頁格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm
關鍵技術細節
FFmpeg 與 Whisper 整合:
- FFmpeg 本身不進行轉錄,它負責將音訊準備好供外部轉錄使用
- 工作流程為:抽取音訊(FFmpeg)→ 轉錄(Whisper)→ 可選:重新與影片整合
- FFmpeg 可將音訊直接串流至 Whisper 進行即時處理(進階使用案例)
轉錄用的音訊格式:
- Whisper 在 WAV 或 MP3 格式下效果最佳
- 取樣率:16kHz 為最佳(腳本會自動處理轉換)
- 腳本會以 Whisper 的最佳設定來抽取音訊
輸出格式:
- txt:純文字轉錄稿
- srt:SubRip 字幕格式(含時間戳記)
- vtt:WebVTT 字幕格式(網頁標準)
- json:詳細 JSON 格式,含逐字時間戳記
錯誤處理
腳本包含完整的錯誤處理:
- 驗證輸入檔案是否存在
- 檢查 FFmpeg 與 Whisper 是否已安裝
- 針對缺少的依賴項目提供清晰的錯誤訊息
- 在發生錯誤時處理臨時檔案的清理
效能建議
- 使用
tiny或base模型製作快速草稿 - 使用
small或medium進行正式轉錄 - 僅在需要最高準確度時使用
large - 對於長影片,建議先抽取音訊,再分段轉錄
- 使用 VP9 進行 WebM 轉換耗時較長,但產生的檔案較小
範例
範例 1:快速將影片轉換為 MP4
使用者請求:
我有一支舊攝影機拍的 AVI 檔案,可以幫我轉成 MP4 嗎?
您應:
- 使用預設設定的 to-mp4 指令:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4 - 確認轉換成功完成
- 告知使用者輸出檔案的位置
範例 2:抽取音訊並轉錄
使用者請求:
我錄了一段講座影片,需要逐字稿。可以幫我抽取音訊並轉錄嗎?
您應:
- 先抽取音訊:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav - 然後使用 base 模型(速度與準確度均衡)進行轉錄:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base - 將 transcript.txt 檔案提供給使用者
範例 3:建立含字幕的網頁最佳化影片
使用者請求:
我需要把這部影片放到網站上,還要加上字幕。可以幫忙嗎?
您應:
- 轉換為 WebM 以進行網頁最佳化:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm - 產生 SRT 字幕檔案:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small - 告知使用者現在擁有:
- presentation.webm(網頁最佳化影片)
- subtitles.srt(可嵌入的字幕檔案)
範例 4:指定語言的高品質轉錄
使用者請求:
我有一段西班牙文訪談影片,需要一份準確的逐字稿供出版用。
您應:
- 使用較大的模型並指定語言以獲得最佳準確度:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es - 可選:建立 SRT 供審閱:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es - 與使用者一起審閱逐字稿並進行必要的修正
範例 5:批次處理多個影片
使用者請求:
我有一個訓練影片資料夾,需要全部轉成 WebM 並轉錄。
您應:
- 列出目錄中的所有影片檔案:
ls training_videos/*.mp4 - 對每個影片檔案執行轉換與轉錄:
# 對每個影片:video1.mp4、video2.mp4 等 uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base # 對每個檔案重複執行 - 確認所有轉換與轉錄完成
- 提供輸出檔案的摘要
總結
video-processor 技能為常見的影片處理任務提供了統一的介面:
- 音訊抽取:以多種格式抽取音軌
- 格式轉換:轉換為 MP4(通用)或 WebM(網頁最佳化)
- 轉錄:語音轉文字,支援多種輸出格式
- 彈性:CLI 參數可用於選擇模型、語言與輸出格式
所有操作皆透過單一、文件完善的腳本執行,具備合理的預設值與完整的錯誤處理。