multilingual-video-dubbing-skill 是做什么的?
多语言视频配音代理技能——适用于短视频和长视频本地化的翻译+语音合成(TTS)配音流程。
概述
该技能为AI代理提供了一个完整的视频配音自动化管道,包括:
- 音频提取:从视频文件中分离音轨。
- 语音识别(ASR):识别源语言内容。
- 翻译:使用大语言模型(LLM)将文本翻译为目标语言。
- 语音合成(TTS):生成目标语言的配音音频。
- 视频合成:将新配音与原始画面合并。
适用平台
支持在以下AI代理平台上运行:
- Claude Code
- Cursor
- Codex
- 其他兼容的智能体环境
使用前提
- 安装
ffmpeg(用于音视频处理) - 配置必要的API密钥(通过环境变量):
TRANSLATION_API_KEY(翻译服务密钥)TTS_API_KEY(语音合成服务密钥)
- Python 3.8+ 环境
快速开始
# 示例:对 input.mp4 进行中文配音
python dub.py --input input.mp4 --source-lang en --target-lang zh
参数说明:
--input:输入视频文件路径--source-lang:源语言代码(如en)--target-lang:目标语言代码(如zh)--output:可选,输出文件路径
工作原理
- 使用
ffmpeg提取音频。 - 调用ASR引擎(如Whisper)转写为文本。
- 通过翻译API获得目标语言文本。
- 调用TTS服务生成配音音频。
- 将配音与原始视频画面合成最终文件。
注意事项
- 长视频可能需要分段处理以避免超时。
- 确保有足够的磁盘空间存放临时文件。
- API调用可能产生费用,请留意各服务定价。
贡献
欢迎提交Issue或Pull Request改进该技能。
许可
MIT License