calesthio/OpenMontage

视频翻译（HeyGen）

将已有视频翻译并配音成多种语言，同时保留口型同步和自然的语音模式。提供视频 URL 或 HeyGen 视频 ID — 无需先在 HeyGen 上创建视频。

身份验证

所有请求都需要 X-Api-Key 标头。请设置 HEYGEN_API_KEY 环境变量。

curl -X POST "https://api.heygen.com/v2/video_translate" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"video_url": "https://example.com/video.mp4", "output_language": "es-ES"}'

默认工作流

1. 提供视频 URL 或 HeyGen 视频 ID
2. 调用 POST /v2/video_translate 并指定目标语言
3. 轮询 GET /v2/video_translate/{translate_id} 直到状态为 completed
4. 从返回的 URL 下载翻译后的视频

创建翻译任务

请求字段

字段	类型	必填	描述
video_url	字符串	是*	要翻译的视频的 URL（*或 video_id）
video_id	字符串	是*	HeyGen 视频 ID（*或 video_url）
output_language	字符串	是	目标语言代码（例如 "es-ES"）
title	字符串		翻译后视频的名称
translate_audio_only	布尔值		仅音频，无口型同步（更快）
speaker_num	数字		视频中的说话者数量
callback_id	字符串		用于 Webhook 跟踪的自定义 ID
callback_url	字符串		完成通知的 URL

必须提供 video_url 或 video_id 中的一项。

curl

curl -X POST "https://api.heygen.com/v2/video_translate" \
  -H "X-Api-Key: $HEYGEN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "video_url": "https://example.com/original-video.mp4",
    "output_language": "es-ES",
    "title": "西班牙语版本"
  }'

TypeScript

interface VideoTranslateRequest {
  video_url?: string;
  video_id?: string;
  output_language: string;
  title?: string;
  translate_audio_only?: boolean;
  speaker_num?: number;
  callback_id?: string;
  callback_url?: string;
}

interface VideoTranslateResponse {
  error: null | string;
  data: {
    video_translate_id: string;
  };
}

async function translateVideo(config: VideoTranslateRequest): Promise<string> {
  const response = await fetch("https://api.heygen.com/v2/video_translate", {
    method: "POST",
    headers: {
      "X-Api-Key": process.env.HEYGEN_API_KEY!,
      "Content-Type": "application/json",
    },
    body: JSON.stringify(config),
  });

  const json: VideoTranslateResponse = await response.json();

  if (json.error) {
    throw new Error(json.error);
  }

  return json.data.video_translate_id;
}

Python

import requests
import os

def translate_video(config: dict) -> str:
    response = requests.post(
        "https://api.heygen.com/v2/video_translate",
        headers={
            "X-Api-Key": os.environ["HEYGEN_API_KEY"],
            "Content-Type": "application/json"
        },
        json=config
    )

    data = response.json()
    if data.get("error"):
        raise Exception(data["error"])

    return data["data"]["video_translate_id"]

支持的语言

语言	代码	备注
英语（美国）	en-US	默认源语言
西班牙语（西班牙）	es-ES	欧洲西班牙语
西班牙语（墨西哥）	es-MX	拉丁美洲
法语	fr-FR	标准法语
德语	de-DE	标准德语
意大利语	it-IT	标准意大利语
葡萄牙语（巴西）	pt-BR	巴西葡萄牙语
日语	ja-JP	标准日语
韩语	ko-KR	标准韩语
中文（普通话）	zh-CN	简体中文
印地语	hi-IN	标准印地语
阿拉伯语	ar-SA	现代标准阿拉伯语

翻译选项

基本翻译（带口型同步）

const config = {
  video_url: "https://example.com/original.mp4",
  output_language: "es-ES",
  title: "西班牙语翻译",
};

仅音频翻译（更快，无口型同步）

const config = {
  video_url: "https://example.com/original.mp4",
  output_language: "es-ES",
  translate_audio_only: true,
};

多说话者视频

const config = {
  video_url: "https://example.com/interview.mp4",
  output_language: "fr-FR",
  speaker_num: 2,
};

高级选项（v4 API）

如需更精确地控制翻译：

interface VideoTranslateV4Request {
  input_video_id?: string;
  google_url?: string;
  output_languages: string[];        // 一次调用支持多种语言
  name: string;
  srt_key?: string;                  // 自定义 SRT 字幕
  instruction?: string;
  vocabulary?: string[];             // 需要原样保留的术语
  brand_voice_id?: string;
  speaker_num?: number;
  keep_the_same_format?: boolean;
  input_language?: string;
  enable_video_stretching?: boolean;
  disable_music_track?: boolean;
  enable_speech_enhancement?: boolean;
  srt_role?: "input" | "output";
  translate_audio_only?: boolean;
}

多语言输出

const config = {
  input_video_id: "original_video_id",
  output_languages: ["es-ES", "fr-FR", "de-DE"],
  name: "多语言翻译",
};

自定义词汇（保留特定术语）

const config = {
  video_url: "https://example.com/product-demo.mp4",
  output_language: "ja-JP",
  vocabulary: ["SuperWidget", "Pro Max", "TechCorp"],
};

自定义 SRT 字幕

const config = {
  video_url: "https://example.com/video.mp4",
  output_language: "es-ES",
  srt_key: "path/to/custom-subtitles.srt",
  srt_role: "input",
};

检查翻译状态

curl

curl -X GET "https://api.heygen.com/v2/video_translate/{translate_id}" \
  -H "X-Api-Key: $HEYGEN_API_KEY"

TypeScript

interface TranslateStatusResponse {
  error: null | string;
  data: {
    id: string;
    status: "pending" | "processing" | "completed" | "failed";
    video_url?: string;
    message?: string;
  };
}

async function getTranslateStatus(translateId: string): Promise<TranslateStatusResponse["data"]> {
  const response = await fetch(
    `https://api.heygen.com/v2/video_translate/${translateId}`,
    { headers: { "X-Api-Key": process.env.HEYGEN_API_KEY! } }
  );

  const json: TranslateStatusResponse = await response.json();

  if (json.error) {
    throw new Error(json.error);
  }

  return json.data;
}

轮询等待完成

翻译比标准视频生成耗时更长 — 请预留最多 30 分钟。

async function waitForTranslation(
  translateId: string,
  maxWaitMs = 1800000,
  pollIntervalMs = 30000
): Promise<string> {
  const startTime = Date.now();

  while (Date.now() - startTime < maxWaitMs) {
    const status = await getTranslateStatus(translateId);

    switch (status.status) {
      case "completed":
        return status.video_url!;
      case "failed":
        throw new Error(status.message || "翻译失败");
      default:
        console.log(`状态: ${status.status}...`);
        await new Promise((r) => setTimeout(r, pollIntervalMs));
    }
  }

  throw new Error("翻译超时");
}

完整工作流

async function translateAndDownload(
  videoUrl: string,
  targetLanguage: string
): Promise<string> {
  console.log(`开始翻译至 ${targetLanguage}...`);
  const translateId = await translateVideo({
    video_url: videoUrl,
    output_language: targetLanguage,
  });
  console.log(`翻译 ID: ${translateId}`);

  console.log("正在处理翻译...");
  const translatedVideoUrl = await waitForTranslation(translateId);
  console.log(`翻译完成: ${translatedVideoUrl}`);

  return translatedVideoUrl;
}

const spanishVideo = await translateAndDownload(
  "https://example.com/my-video.mp4",
  "es-ES"
);

批量翻译

并行翻译为多种语言：

async function translateToMultipleLanguages(
  sourceVideoUrl: string,
  targetLanguages: string[]
): Promise<Record<string, string>> {
  const results: Record<string, string> = {};

  const translatePromises = targetLanguages.map(async (lang) => {
    const translateId = await translateVideo({
      video_url: sourceVideoUrl,
      output_language: lang,
    });
    return { lang, translateId };
  });

  const translationJobs = await Promise.all(translatePromises);

  for (const job of translationJobs) {
    try {
      const videoUrl = await waitForTranslation(job.translateId);
      results[job.lang] = videoUrl;
    } catch (error) {
      results[job.lang] = `error: ${error.message}`;
    }
  }

  return results;
}

const translations = await translateToMultipleLanguages(
  "https://example.com/original.mp4",
  ["es-ES", "fr-FR", "de-DE", "ja-JP"]
);

特性

• 口型同步 — 自动调整说话者的唇部动作以匹配翻译后的音频
• 语音克隆 — 翻译后的音频匹配原说话者的声音特征
• 音乐轨道控制 — 可选移除背景音乐，通过 disable_music_track: true
• 语音增强 — 使用 enable_speech_enhancement: true 提高音频质量

最佳实践

1. 源视频质量很重要 — 使用高质量源视频以获得更好效果
2. 清晰的音频 — 语音清晰的视频翻译效果更好
3. 单个说话者 — 单说话者内容效果最佳
4. 适中的语速 — 语速过快可能影响质量
5. 先测试 — 在翻译长视频前先用短片测试
6. 预留额外时间 — 翻译比视频生成耗时更长（最长 30 分钟）

错误处理

常见错误及处理方法：

async function safeTranslate(
  videoUrl: string,
  targetLanguage: string
): Promise<{ success: boolean; result?: string; error?: string }> {
  try {
    const url = await translateAndDownload(videoUrl, targetLanguage);
    return { success: true, result: url };
  } catch (error) {
    if (error.message.includes("quota")) {
      return { success: false, error: "积分不足" };
    }
    if (error.message.includes("duration")) {
      return { success: false, error: "视频过长" };
    }
    if (error.message.includes("format")) {
      return { success: false, error: "不支持的视频格式" };
    }
    return { success: false, error: error.message };
  }
}