视频处理器
说明
本技能提供视频处理实用工具,包括使用FFmpeg和OpenAI的Whisper模型进行音频提取、格式转换和音频转录。
前提条件
必需工具(必须在您的环境中安装):
-
FFmpeg:用于视频/音频处理的多媒体框架
# macOS brew install ffmpeg # Ubuntu/Debian apt-get install ffmpeg # 验证安装 ffmpeg -version -
OpenAI Whisper:语音转文字转录模型
# 通过pip安装 pip install -U openai-whisper # 验证安装 whisper --help
Python 包(通过PEP 723包含在脚本中):
- click(CLI框架)
- ffmpeg-python(FFmpeg的Python封装)
工作流程
所有视频处理任务均使用 scripts/video_processor.py 脚本。该脚本提供简单的CLI,支持以下命令:
1. 从视频中提取音频
从视频文件中提取音轨:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav
选项:
--format:输出音频格式(默认:wav)。支持:wav、mp3、aac、flac- 输出适合转录或独立音频使用
2. 将视频转换为MP4
将任何视频文件转换为MP4格式:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4
选项:
--codec:视频编解码器(默认:libx264)。常用选项:libx264、libx265、h264--preset:编码速度/质量预设(默认:medium)。选项:ultrafast、fast、medium、slow、veryslow
3. 将视频转换为WebM
将任何视频文件转换为WebM格式(针对Web优化):
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm
选项:
--codec:视频编解码器(默认:libvpx-vp9)。选项:libvpx、libvpx-vp9- WebM专为网络播放和流媒体优化
4. 使用Whisper进行音频转录
使用OpenAI的Whisper模型将音频或视频文件转录为文本:
# 转录视频文件(音频将自动提取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt
# 直接转录音频文件
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt
选项:
--model:Whisper模型大小(默认:base)。选项:tiny:最快,最低准确度(约1GB RAM)base:快速,准确度良好(约1GB RAM)【默认】small:平衡(约2GB RAM)medium:高准确度(约5GB RAM)large:最佳准确度,最慢(约10GB RAM)
--language:语言代码(默认:自动检测)。示例:en、es、fr、de、zh--format:输出格式(默认:txt)。选项:txt、srt、vtt、json
转录工作流程:
- 如果输入是视频,FFmpeg将音频提取到临时WAV文件
- Whisper处理音频文件
- 转录结果按请求的格式保存
- 临时文件自动清理
5. 组合工作流程示例
端到端处理视频:
# 1. 提取音频用于分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
# 2. 转录为SRT字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small
# 3. 转换为网络格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm
关键技术细节
FFmpeg与Whisper集成:
- FFmpeg本身不进行音频转录——它负责为外部转录准备音频
- 工作流程为:提取音频(FFmpeg)→转录(Whisper)→可选:重新整合到视频中
- FFmpeg可以将音频直接管道输出到Whisper进行实时处理(高级用例)
转录音频格式:
- Whisper在WAV或MP3格式下表现最佳
- 采样率:16kHz是最优选择(脚本自动处理转换)
- 脚本以Whisper的最优设置提取音频
输出格式:
- txt:纯文本转录
- srt:SubRip字幕格式(包含时间戳)
- vtt:WebVTT字幕格式(Web标准)
- json:包含逐词时间戳的详细JSON
错误处理
脚本包含全面的错误处理:
- 验证输入文件是否存在
- 检查FFmpeg和Whisper是否已安装
- 针对缺失依赖项提供清晰的错误信息
- 在出错时处理临时文件清理
性能提示
- 使用
tiny或base模型快速草稿 - 使用
small或medium模型进行生产级转录 - 仅在需要最高准确度时使用
large模型 - 对于长视频,可考虑先提取音频,然后分段转录
- 使用VP9进行WebM转换耗时较长,但生成的文件更小
示例
示例1:快速视频转MP4
用户请求:
我有一部老相机拍的AVI文件,你能把它转换成MP4吗?
您应:
- 使用默认设置的to-mp4命令:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4 - 确认转换成功完成
- 告知用户输出文件位置
示例2:提取音频并转录
用户请求:
我录了一个讲座视频,需要一份转录文本。你能提取音频并转录吗?
您应:
- 先提取音频:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav - 然后使用base模型转录(速度/准确度良好平衡):
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base - 将transcript.txt文件分享给用户
示例3:创建带字幕的Web优化视频
用户请求:
我需要把这个视频放到我的网站上并带上字幕。你能帮忙吗?
您应:
- 转换为WebM以优化网络播放:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm - 生成SRT字幕文件:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small - 告知用户他们现在拥有:
- presentation.webm(Web优化视频)
- subtitles.srt(可嵌入的字幕文件)
示例4:指定语言的高质量转录
用户请求:
我有一个西班牙语采访视频,需要一份准确的转录文本用于发表。
您应:
- 使用更大的模型并指定语言以获得最佳准确度:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es - 可选:生成SRT供审阅:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es - 与用户一起审阅转录文本并进行必要的更正
示例5:批量处理多个视频
用户请求:
我有一个文件夹的训练视频,都需要转换为WebM并进行转录。
您应:
- 列出目录中的所有视频文件:
ls training_videos/*.mp4 - 对每个视频文件运行转换和转录:
# 对每个视频:video1.mp4, video2.mp4 等 uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base # 对每个文件重复 - 确认所有转换和转录已完成
- 提供输出文件摘要
总结
video-processor技能为常见视频处理任务提供了统一接口:
- 音频提取:以多种格式提取音轨
- 格式转换:转换为MP4(通用)或WebM(Web优化)
- 转录:语音转文字,支持多种输出格式
- 灵活:CLI参数支持模型选择、语言和输出格式
所有操作通过一个文档完善的脚本完成,并带有合理的默认值和全面的错误处理。