Communitygithub.com

Noah-Wu0/multilingual-video-dubbing-skill

多语言视频配音代理技能——适用于短视频和长视频本地化的翻译+语音合成(TTS)配音流程。

multilingual-video-dubbing-skill 是什么?

该技能(Noah-Wu0/multilingual-video-dubbing-skill)是一个面向AI代理(如Claude Code、Cursor、Codex等)的多语言视频配音工具。它提供了一套完整的翻译与TTS合成流水线,能够自动将视频内容从源语言翻译为目标语言,并生成自然的语音配音,实现视频本地化。该技能支持短/长视频,主要通过解析视频音频、调用翻译模型(如LLM)以及TTS引擎来完成工作。它适用于需要跨语言传播的视频内容,如教程、宣传片、社交媒体片段等。在技术实现上,该技能依赖环境变量(如API密钥)配置翻译和语音服务,用户可通过CLI命令或集成到代理工作流中调用。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add Noah-Wu0/multilingual-video-dubbing-skill

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

multilingual-video-dubbing-skill 是做什么的?

多语言视频配音代理技能——适用于短视频和长视频本地化的翻译+语音合成(TTS)配音流程。

概述

该技能为AI代理提供了一个完整的视频配音自动化管道,包括:

  • 音频提取:从视频文件中分离音轨。
  • 语音识别(ASR):识别源语言内容。
  • 翻译:使用大语言模型(LLM)将文本翻译为目标语言。
  • 语音合成(TTS):生成目标语言的配音音频。
  • 视频合成:将新配音与原始画面合并。

适用平台

支持在以下AI代理平台上运行:

  • Claude Code
  • Cursor
  • Codex
  • 其他兼容的智能体环境

使用前提

  • 安装 ffmpeg(用于音视频处理)
  • 配置必要的API密钥(通过环境变量):
    • TRANSLATION_API_KEY(翻译服务密钥)
    • TTS_API_KEY(语音合成服务密钥)
  • Python 3.8+ 环境

快速开始

# 示例:对 input.mp4 进行中文配音
python dub.py --input input.mp4 --source-lang en --target-lang zh

参数说明:

  • --input:输入视频文件路径
  • --source-lang:源语言代码(如 en)
  • --target-lang:目标语言代码(如 zh)
  • --output:可选,输出文件路径

工作原理

  1. 使用 ffmpeg 提取音频。
  2. 调用ASR引擎(如Whisper)转写为文本。
  3. 通过翻译API获得目标语言文本。
  4. 调用TTS服务生成配音音频。
  5. 将配音与原始视频画面合成最终文件。

注意事项

  • 长视频可能需要分段处理以避免超时。
  • 确保有足够的磁盘空间存放临时文件。
  • API调用可能产生费用,请留意各服务定价。

贡献

欢迎提交Issue或Pull Request改进该技能。

许可

MIT License

相关技能