Communitygithub.com

lilinji/GeneTind-Life-Skills

处理视频文件,支持音频提取、格式转换(mp4、webm)以及Whisper语音转文字。当用户提及视频转换、音频提取、字幕生成、mp4、webm、ffmpeg或Whisper转录时使用。

GeneTind-Life-Skills 是什么?

视频处理器是一项全面的AI技能,专为开发者设计,用于在CLI环境中高效执行常见视频处理任务。它整合了FFmpeg的多媒体处理能力和OpenAI Whisper的语音识别模型,支持音频提取、视频格式转换(MP4和WebM)以及音频转录。用户只需调用一个脚本(`scripts/video_processor.py`)并配合简单的CLI命令,即可完成从视频中提取音频、转换编码格式、生成多种格式的字幕文件(txt、srt、vtt、json)等工作。该技能特别适合需要批量处理视频内容、为视频网站制作优化版文件、或快速获取视频转录文本的场景。它支持macOS、Ubuntu/Debian等主流开发环境,并提供了从tiny到large的Whisper模型选择,以平衡速度与精度。脚本内置了全面的错误处理和临时文件清理机制,确保操作稳定可靠。

兼容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/lilinji/GeneTind-Life-Skills/tree/HEAD/skills/Video-Processor

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

视频处理器

说明

本技能提供视频处理实用工具,包括使用FFmpeg和OpenAI的Whisper模型进行音频提取、格式转换和音频转录。

前提条件

必需工具(必须在您的环境中安装):

  • FFmpeg:用于视频/音频处理的多媒体框架

    # macOS
    brew install ffmpeg
    
    # Ubuntu/Debian
    apt-get install ffmpeg
    
    # 验证安装
    ffmpeg -version
    
  • OpenAI Whisper:语音转文字转录模型

    # 通过pip安装
    pip install -U openai-whisper
    
    # 验证安装
    whisper --help
    

Python 包(通过PEP 723包含在脚本中):

  • click(CLI框架)
  • ffmpeg-python(FFmpeg的Python封装)

工作流程

所有视频处理任务均使用 scripts/video_processor.py 脚本。该脚本提供简单的CLI,支持以下命令:

1. 从视频中提取音频

从视频文件中提取音轨:

uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav

选项:

  • --format:输出音频格式(默认:wav)。支持:wav、mp3、aac、flac
  • 输出适合转录或独立音频使用

2. 将视频转换为MP4

将任何视频文件转换为MP4格式:

uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4

选项:

  • --codec:视频编解码器(默认:libx264)。常用选项:libx264、libx265、h264
  • --preset:编码速度/质量预设(默认:medium)。选项:ultrafast、fast、medium、slow、veryslow

3. 将视频转换为WebM

将任何视频文件转换为WebM格式(针对Web优化):

uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm

选项:

  • --codec:视频编解码器(默认:libvpx-vp9)。选项:libvpx、libvpx-vp9
  • WebM专为网络播放和流媒体优化

4. 使用Whisper进行音频转录

使用OpenAI的Whisper模型将音频或视频文件转录为文本:

# 转录视频文件(音频将自动提取)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt

# 直接转录音频文件
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt

选项:

  • --model:Whisper模型大小(默认:base)。选项:
    • tiny:最快,最低准确度(约1GB RAM)
    • base:快速,准确度良好(约1GB RAM)【默认】
    • small:平衡(约2GB RAM)
    • medium:高准确度(约5GB RAM)
    • large:最佳准确度,最慢(约10GB RAM)
  • --language:语言代码(默认:自动检测)。示例:en、es、fr、de、zh
  • --format:输出格式(默认:txt)。选项:txt、srt、vtt、json

转录工作流程:

  1. 如果输入是视频,FFmpeg将音频提取到临时WAV文件
  2. Whisper处理音频文件
  3. 转录结果按请求的格式保存
  4. 临时文件自动清理

5. 组合工作流程示例

端到端处理视频:

# 1. 提取音频用于分析
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav

# 2. 转录为SRT字幕
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small

# 3. 转换为网络格式
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm

关键技术细节

FFmpeg与Whisper集成:

  • FFmpeg本身不进行音频转录——它负责为外部转录准备音频
  • 工作流程为:提取音频(FFmpeg)→转录(Whisper)→可选:重新整合到视频中
  • FFmpeg可以将音频直接管道输出到Whisper进行实时处理(高级用例)

转录音频格式:

  • Whisper在WAV或MP3格式下表现最佳
  • 采样率:16kHz是最优选择(脚本自动处理转换)
  • 脚本以Whisper的最优设置提取音频

输出格式:

  • txt:纯文本转录
  • srt:SubRip字幕格式(包含时间戳)
  • vtt:WebVTT字幕格式(Web标准)
  • json:包含逐词时间戳的详细JSON

错误处理

脚本包含全面的错误处理:

  • 验证输入文件是否存在
  • 检查FFmpeg和Whisper是否已安装
  • 针对缺失依赖项提供清晰的错误信息
  • 在出错时处理临时文件清理

性能提示

  • 使用 tiny 或 base 模型快速草稿
  • 使用 small 或 medium 模型进行生产级转录
  • 仅在需要最高准确度时使用 large 模型
  • 对于长视频,可考虑先提取音频,然后分段转录
  • 使用VP9进行WebM转换耗时较长,但生成的文件更小

示例

示例1:快速视频转MP4

用户请求:

我有一部老相机拍的AVI文件,你能把它转换成MP4吗?

您应:

  1. 使用默认设置的to-mp4命令:
    uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4
    
  2. 确认转换成功完成
  3. 告知用户输出文件位置

示例2:提取音频并转录

用户请求:

我录了一个讲座视频,需要一份转录文本。你能提取音频并转录吗?

您应:

  1. 先提取音频:
    uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
    
  2. 然后使用base模型转录(速度/准确度良好平衡):
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base
    
  3. 将transcript.txt文件分享给用户

示例3:创建带字幕的Web优化视频

用户请求:

我需要把这个视频放到我的网站上并带上字幕。你能帮忙吗?

您应:

  1. 转换为WebM以优化网络播放:
    uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm
    
  2. 生成SRT字幕文件:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small
    
  3. 告知用户他们现在拥有:
    • presentation.webm(Web优化视频)
    • subtitles.srt(可嵌入的字幕文件)

示例4:指定语言的高质量转录

用户请求:

我有一个西班牙语采访视频,需要一份准确的转录文本用于发表。

您应:

  1. 使用更大的模型并指定语言以获得最佳准确度:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es
    
  2. 可选:生成SRT供审阅:
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es
    
  3. 与用户一起审阅转录文本并进行必要的更正

示例5:批量处理多个视频

用户请求:

我有一个文件夹的训练视频,都需要转换为WebM并进行转录。

您应:

  1. 列出目录中的所有视频文件:
    ls training_videos/*.mp4
    
  2. 对每个视频文件运行转换和转录:
    # 对每个视频:video1.mp4, video2.mp4 等
    uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm
    uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base
    
    # 对每个文件重复
    
  3. 确认所有转换和转录已完成
  4. 提供输出文件摘要

总结

video-processor技能为常见视频处理任务提供了统一接口:

  • 音频提取:以多种格式提取音轨
  • 格式转换:转换为MP4(通用)或WebM(Web优化)
  • 转录:语音转文字,支持多种输出格式
  • 灵活:CLI参数支持模型选择、语言和输出格式

所有操作通过一个文档完善的脚本完成,并带有合理的默认值和全面的错误处理。

相关技能