视频处理器
说明
该技能提供视频处理工具,包括使用 FFmpeg 和 OpenAI Whisper 模型进行音频提取、格式转换和音频转录。
前提条件
必需工具(必须安装在你的环境中):
-
FFmpeg:用于视频/音频处理的多媒体框架
# macOS brew install ffmpeg # Ubuntu/Debian apt-get install ffmpeg # 验证安装 ffmpeg -version -
OpenAI Whisper:语音转文本转录模型
# 通过 pip 安装 pip install -U openai-whisper # 验证安装 whisper --help
Python 包(通过 PEP 723 包含在脚本中):
- click(CLI 框架)
- ffmpeg-python(FFmpeg 的 Python 包装器)
工作流程
使用 scripts/video_processor.py 脚本处理所有视频处理任务。该脚本提供一个简单的 CLI,包含以下命令:
1. 从视频中提取音频
从视频文件中提取音频轨道:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav
选项:
--format:输出音频格式(默认:wav)。支持:wav、mp3、aac、flac- 输出适用于转录或独立音频使用
2. 将视频转换为 MP4
将任何视频文件转换为 MP4 格式:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4
选项:
--codec:视频编解码器(默认:libx264)。常用选项:libx264、libx265、h264--preset:编码速度/质量预设(默认:medium)。选项:ultrafast、fast、medium、slow、veryslow
3. 将视频转换为 WebM
将任何视频文件转换为 WebM 格式(针对网络优化):
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm
选项:
--codec:视频编解码器(默认:libvpx-vp9)。选项:libvpx、libvpx-vp9- WebM 针对网络播放和流媒体进行了优化
4. 使用 Whisper 转录音频
使用 OpenAI Whisper 模型将音频或视频文件转录为文本:
# 转录视频文件(音频将自动提取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt
# 直接转录音频文件
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt
选项:
--model:Whisper 模型大小(默认:base)。选项:tiny:最快,准确度最低(约 1GB 内存)base:快速,良好准确度(约 1GB 内存)[默认]small:平衡(约 2GB 内存)medium:高准确度(约 5GB 内存)large:最佳准确度,最慢(约 10GB 内存)
--language:语言代码(默认:自动检测)。示例:en、es、fr、de、zh--format:输出格式(默认:txt)。选项:txt、srt、vtt、json
转录工作流程:
- 如果输入是视频,FFmpeg 将音频提取到临时 WAV 文件
- Whisper 处理音频文件
- 转录结果按请求的格式保存
- 临时文件自动清理
5. 组合工作流程示例
端到端处理一个视频:
# 1. 提取音频用于分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
# 2. 转录为 SRT 字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small
# 3. 转换为网络格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm
关键技术细节
FFmpeg 和 Whisper 集成:
- FFmpeg 本身不进行音频转录——它只是为外部转录准备音频
- 工作流程是:提取音频(FFmpeg)→ 转录(Whisper)→ 可选:重新集成到视频
- FFmpeg 可以将音频直接管道传输到 Whisper 进行实时处理(高级用例)
用于转录的音频格式:
- Whisper 最适合 WAV 或 MP3 格式
- 采样率:16kHz 是最佳的(脚本会自动处理转换)
- 脚本以 Whisper 的最佳设置提取音频
输出格式:
- txt:纯文本转录
- srt:SubRip 字幕格式(包含时间戳)
- vtt:WebVTT 字幕格式(网络标准)
- json:包含逐词时间戳的详细 JSON
错误处理
脚本包含全面的错误处理:
- 验证输入文件是否存在
- 检查 FFmpeg 和 Whisper 是否已安装
- 针对缺失依赖项提供清晰的错误信息
- 出错时处理临时文件清理
性能技巧
- 对于快速草稿使用
tiny或base模型 - 对于生产级转录使用
small或medium - 仅在需要最大准确度时使用
large - 对于长视频,考虑先提取音频,然后分段转录
- VP9 格式的 WebM 转换耗时更长,但生成的文件更小
示例
示例 1:快速将视频转换为 MP4
用户请求:
我有一台旧相机拍的 AVI 文件。你能把它转换成 MP4 吗?
你可以:
- 使用默认设置的 to-mp4 命令:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4 - 确认转换成功完成
- 通知用户输出文件的位置
示例 2:提取音频并转录
用户请求:
我录了一节讲座视频,需要一份文字稿。你能提取音频并进行转录吗?
你可以:
- 首先提取音频:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav - 然后使用 base 模型(速度和准确度之间取得良好平衡)进行转录:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base - 将 transcript.txt 文件分享给用户
示例 3:创建带字幕的 Web 优化视频
用户请求:
我需要把这个视频放到我的网站上,还要带字幕。你能帮忙吗?
你可以:
- 转换为 WebM 以优化网络播放:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm - 生成 SRT 字幕文件:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small - 告知用户现在有了:
- presentation.webm(网络优化视频)
- subtitles.srt(用于嵌入的字幕文件)
示例 4:指定语言的高质量转录
用户请求:
我有一份西班牙语访谈视频,需要一个准确的文字稿用于发布。
你可以:
- 使用更大的模型并指定语言以获得最佳准确度:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es - 可选择创建 SRT 用于审阅:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es - 与用户一起审阅文字稿并进行必要的修改
示例 5:批量处理多个视频
用户请求:
我有一组培训视频,都需要转换成 WebM 并进行转录。
你可以:
- 列出目录中的所有视频文件:
ls training_videos/*.mp4 - 对每个视频文件运行转换和转录:
# 对于每个视频:video1.mp4、video2.mp4 等 uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base # 对每个文件重复 - 确认所有转换和转录完成
- 提供输出文件的摘要
总结
视频处理器技能为常见的视频处理任务提供了统一的接口:
- 音频提取:以多种格式提取音频轨道
- 格式转换:转换为 MP4(通用)或 WebM(网络优化)
- 转录:语音转文本,支持多种输出格式
- 灵活:CLI 参数支持模型选择、语言和输出格式
所有操作都通过一个单一、文档完善的脚本完成,具有合理的默认设置和全面的错误处理。