Communitygithub.com

0xsline/openchatcut

文字轉語音(TTS)、旁白放置/同步、與自訂音效(SFX)產生器。當使用者需要從文字產生語音,想要為現有影片/時間軸新增/取代/對齊旁白或配音,希望在視覺重定時編輯後保持現有配音同步,需要試聽/選擇聲音,或明確要求產生一個音效庫中沒有的自訂音效時使用。

openchatcut 是什麼?

此技能提供一個全面的語音與音效產生器,專門用於 AI 代理人的影片編輯與內容創作工作流程。它整合了多個 Text-to-Speech(TTS)提供商,包括 Doubao、ElevenLabs、MiniMax、OpenAI、Gemini、Cartesia 等,支援從文字產生高品質的旁白和配音。此工具的一大特色是其強大的影片同步功能:當存在視覺目標或時間軸上已有旁白時,會自動參考 video-sync.md 文件,確保配音的時機和含義與視覺內容一致,甚至在重新剪輯後也能保持同步。此外,它還區分了使用內建音效庫進行普通編輯,以及使用文字提示生成高度特定的自訂音效。憑藉對語速、情感、表現提示的細粒度控制以及詳細的試聽工作流程,此技能非常適合需要為產品演示、解說影片、幻燈片動畫等專業品質配音的開發者和內容創作者。

相容平台~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/0xsline/openchatcut/tree/HEAD/src/agent/skills/voice

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

語音與音效產生器

產生旁白(TTS)與音效。若使用 TTS,請在呼叫 submit_voice 之前選擇一個具體的提供商和聲音。

使用時機

  • 從文字產生旁白/敘述
  • 為影片建立文字轉語音音訊
  • 為現有影片、時間軸、螢幕錄影、幻燈片動畫、產品示範、B-roll 剪輯、MG 解說影片或其他視覺序列新增、取代或重做旁白/配音
  • 在修剪、加速、減速、移動、重新排序或取代其描述的視覺內容後,保持現有旁白/配音對齊
  • 在使用者尚未選擇具體聲音時,提供並讓其試聽 TTS 語音選項
  • 僅在先檢查音效庫後,從文字描述產生自訂音效

TTS(文字轉語音)

若目前要求有現有視覺目標,且使用者希望為該目標加入旁白、配音、對白或取代語音,請在撰寫新旁白、使用現有旁白文字產生 TTS 或放置音訊前,先閱讀 references/video-sync.md。即使使用者未明確說出「同步」或「配合畫面」,也應這麼做;視覺目標的存在意味著旁白的時機和含義可能需要跟隨螢幕上的內容。僅在沒有視覺目標或使用者只想要從文字產生的音訊資產時,才使用一般的獨立 TTS 路徑。

當時間軸已有旁白/配音,且使用者要求更改視覺內容同時保持該配音對齊時,也請閱讀 references/video-sync.md。即使不需要新的 TTS,這也是一項同步維護任務。

使用 submit_voice 建立 TTS 音訊資產。目前的 MCP 工具合約如下:

  • provider 為必填。已配置的選項可能包括 doubao、elevenlabs、minimax、inworld、fishaudio、speechify、openai、gemini、mistral 或 cartesia。所有提供商皆為選擇加入制;僅使用功能提示中顯示為已配置的提供商。
  • voiceId 為必填、具體且與提供商相關。唯一的例外是刻意進行 MiniMax 的 timbreWeights 混合,此時 voiceId 必須為空。請勿混合目錄。
  • references/voices.md 中的精選目錄僅涵蓋 Doubao、ElevenLabs 和 MiniMax。其他提供商在 OpenChatCut 中沒有捆綁的預設或範例目錄。請要求使用者提供具體的語音 ID 或其提供商帳戶中的 ID;切勿憑空發明預設或 /voice-samples/... URL。
  • AI SDK 支援的字段是提供商特定的:OpenAI 支援 modelId、speed、outputFormat 和 instructions;Gemini 支援 modelId、outputFormat 和 instructions;Mistral 支援 modelId 和 outputFormat;Cartesia 支援 modelId、speed、languageCode 和 outputFormat。請省略不支援或未要求的字段。
  • Inworld、Fish Audio 和 Speechify 僅接受 voiceId 加上可選的 modelId。請勿將表達性、速度、語言或輸出控制傳遞給這些提供商。
  • submit_voice 僅建立音訊資產。時間軸上的放置、取代、修剪和對齊將在之後使用時間軸工具進行。
  • 對於較長的旁白,多次呼叫 submit_voice 會很有用:在自然停頓處、句子組或劇本節點邊界處分割,當工作流程受益於分別計時或放置的語音片段時。
  • Doubao 支援 speedRatio、loudnessRatio、pitch、emotion、emotionScale、performancePrompt 和 explicitDialect,但並非每個語音都支援所有表達性控制。使用前請檢查 references/voices.md。
  • ElevenLabs 保留其官方語音設定、語言、種子、輸出、正規化、發音詞典、連續性、日誌記錄和延遲控制。MiniMax 保留其在 references/minimax-tts.md 中記錄的專用控制。

目前精選聲音的 Doubao 控制支援:

  • vivi、xiaohe、yunzhou、xiaotian、naiqimengwa、yingtaowanzi、wenroumama、zhixingnv、dayi、jitangnv、liuchang、ruyayichen、morgan、qingcang、huiben、popo、yuanboxiaoshu、baqiqingshu 和 tangseng 支援明確的 emotion / emotionScale、performancePrompt 和 ASMR 風格的提示方向。
  • shuanglangshaonian 支援 performancePrompt 和 COT/QA 風格的指令遵循,但不支援明確的 emotion / emotionScale 或 ASMR 風格的控制。
  • explicitDialect 僅由 vivi 支援,可設定為 dongbei、shaanxi 或 sichuan。

目前精選聲音的 ElevenLabs 控制支援:

  • amelia、brittney、hope、jessica、arabella、jane、maria、mark、frederick、peter、james、jon、sully、david 和 alex 都支援相同的要求層級控制;模型特定的支援仍由 ElevenLabs 驗證。
  • 這些控制並非特定表演風格的每個語音保證。使用預設標籤/範例來選擇自然合適的語音,然後使用這些控制進行適度的交付變更。
  • 對於 ElevenLabs 的 eleven_v3,當使用者要求表達性的交付(例如情緒、語氣、非語言線索、口音提示或局部節奏)時,可以使用內聯音訊標籤。官方範例符合這些有用的 TTS 類別:情緒/語氣標籤如 [happy]、[sad]、[angry]、[excited]、[curious]、[sarcastic]、[crying]、[annoyed]、[appalled]、[thoughtful]、[surprised] 和 [mischievously];語音表達和非語言線索標籤如 [whispers]、[laughs]、[sighs]、[exhales]、[inhales deeply]、[clears throat]、[snorts]、[swallows]、[wheezing] 和 [coughs];節奏/暫停/局部速度標籤如 [slowly]、[pause]、[short pause]、[long pause]、[rushed] 和 [drawn out];以及口音/特殊表演標籤如 [strong X accent],例如 [strong French accent],加上 [sings]、[singing]、[woo] 和 [pirate voice]。官方範例並非詳盡無遺;當使用者明確要求該交付方式且標籤描述了聲音應如何聽起來(而非視覺動作)時,可以嘗試類似的聽覺標籤。將標籤直接寫在 text 中,靠近它們應影響的短語。將標籤視為局部指導,而非段落範圍的控制。
  • 對於 eleven_v3 中的暫停和節奏,在需要時使用標點符號、文字結構、較短的生成片段或局部音訊標籤(如 [short pause] 和 [slowly])。
// 英語 / 多語言 (通過 ElevenLabs)
submit_voice({
  provider: "elevenlabs",
  text: "Hello world",
  voiceId: "peter",
});

// 中文 (通過 Doubao)
submit_voice({
  provider: "doubao",
  text: "你好世界",
  voiceId: "liuchang",
});

// 附加速度調整 (僅 Doubao)
submit_voice({
  provider: "doubao",
  text: "這是一段稍快的中文旁白。",
  voiceId: "liuchang",
  speedRatio: 1.5,
});

// 附帶表達性 Doubao 控制
submit_voice({
  provider: "doubao",
  text: "這次事故提醒我們,安全永遠不能僥倖。",
  voiceId: "liuchang",
  emotion: "sad",
  emotionScale: 3,
  performancePrompt: "痛心但克制,語速稍慢,像新聞專題旁白",
  pitch: -1,
  speedRatio: 0.92,
});

// 附帶 ElevenLabs 交付控制
submit_voice({
  provider: "elevenlabs",
  text: "The launch changed how teams plan their daily work.",
  voiceId: "peter",
  speed: 0.95,
  stability: 0.4,
  similarityBoost: 0.8,
  outputFormat: "wav_44100",
});

// MiniMax TTS (配置時) — 請參閱 references/minimax-tts.md
submit_voice({
  provider: "minimax",
  text: "歡迎使用影片編輯助手。",
  voiceId: "female-yujie",
  speed: 1,
  name: "VO · welcome",
});

// Cartesia 形狀在使用者確認確切帳戶語音 ID 之後。
// confirmedCartesiaVoiceId 代表該提供的值,非預設。
submit_voice({
  provider: "cartesia",
  text: "A concise product introduction.",
  voiceId: confirmedCartesiaVoiceId,
  modelId: "sonic-3",
  speed: 1,
  languageCode: "en",
  outputFormat: "mp3",
});

產生前的語音試聽

當使用者需要 TTS 但尚未選擇具體聲音時,首先區分具有 OpenChatCut 精選選項的提供商與需要帳戶特定語音 ID 的提供商。

對於 Doubao、ElevenLabs 或 MiniMax,在推薦、呈現或提交選項之前,請先閱讀 references/voices.md。將其用作精選預設 ID、提供商選擇、顯示標籤、標籤和捆綁範例 URL 的唯一來源。請勿根據記憶、翻譯名稱或廣泛的使用者描述來建立語音選項。

對於 Inworld、Fish Audio、Speechify、OpenAI、Gemini、Mistral 或 Cartesia,請勿提供發明的試聽清單或範例 URL。向使用者索取該已配置提供商的具體語音 ID。廣泛的描述(如「溫暖的女聲」)並非有效的 voiceId。

首先確定兩種不同的語言:

  • 使用者對話語言:使用者與您交談時使用的語言。將其用於周圍的回覆、form-visual label、visual-option name 和 summary。
  • 目標旁白語言:正在合成的文字的語言。僅將其用於選擇提供商和語音目錄。

試聽小工具的提交按鈕在此版本中固定為預設標籤(接受 submitLabel 但不渲染);將問題標籤和選項標籤保留在使用者對話語言中,而非目標旁白語言。例如:英文使用者看到 submit_label="Submit",中文使用者看到 submit_label="提交",西班牙文使用者看到 submit_label="Enviar"。

「help me generate ... voice over in Chinese」是一個要求提供中文旁白的英文對話,因此試聽小工具內容保留英文,而語音候選來自 Doubao。

對於精選提供商:

  1. 根據目標旁白語言/提供商和明確要求(如性別、年齡範圍、語氣和用例)過濾 references/voices.md。
  2. 如果沒有預設符合所有明確要求,則表示沒有完全匹配,並提供最接近的支援預設,同時附上明確的警告。
  3. 選擇 2-4 個匹配的精選預設。
  4. 載入 widget-forms,然後使用語音選項和真實的捆綁音訊範例呼叫 ask_followup_questions。
  5. 等待使用者選擇。
  6. 使用所選的預設 ID 作為 voiceId 呼叫 submit_voice。

對於沒有 OpenChatCut 精選目錄的提供商,請改用自由文字形式要求具體的提供商語音 ID。請勿新增 media 或合成 /voice-samples/... 路徑。在呼叫 submit_voice 之前,等待使用者提供/確認確切的 ID。

對於每個精選試聽選項,保持 value、顯示標籤、media 和 summary 與 references/voices.md 中的同一預設行相關聯。僅使用其中記錄的範例 URL。保持 value 為預設 ID,media 為其匹配的範例 URL。以使用者的對話語言編寫 name 和 summary。目標旁白語言僅決定提供商/語音目錄。提交後,從同一個候選清單中將顯示名稱映射回預設 ID。

要求提供中文旁白的英文請求:

<widget submit_label="Submit">
  <form-visual
    id="voiceId"
    label="For Chinese voiceover, I recommend a few voices to try:"
    required="true"
  >
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="Female / young / friendly, general"
    />
    <visual-option
      value="xiaohe"
      name="Xiaohe"
      media="/voice-samples/doubao-xiaohe.mp3"
      aspect-ratio="16:5"
      summary="Female / young / soft, clear"
    />
    <visual-option
      value="yunzhou"
      name="Yunzhou"
      media="/voice-samples/doubao-yunzhou.mp3"
      aspect-ratio="16:5"
      summary="Male / young / neutral, business"
    />
  </form-visual>
</widget>

要求提供中文旁白的中文請求:

<widget submit_label="提交">
  <form-visual
    id="voiceId"
    label="我推薦這幾個中文旁白音色,先試聽一下:"
    required="true"
  >
    <visual-option
      value="morgan"
      name="Morgan"
      media="/voice-samples/doubao-morgan.mp3"
      aspect-ratio="16:5"
      summary="男 / 中年 / 低沉知識解說"
    />
    <visual-option
      value="zhixingnv"
      name="知性女聲"
      media="/voice-samples/doubao-zhixingnv.mp3"
      aspect-ratio="16:5"
      summary="女 / 中年 / 冷靜知識講解"
    />
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="女 / 年輕 / 親切通用口播"
    />
  </form-visual>
</widget>

音效

對於一般的編輯音效 (SFX),請不要先進行生成。在生成之前,請先使用內建的音效庫:

  1. 使用 category:"sound-effects" 和查詢(如 "whoosh"、"camera shutter"、"notification"、"censor beep" 或 "record scratch")呼叫 browse_library。
  2. 檢查返回的 library:sound:<id>。
  3. 使用 edit_item 放置它,使用 fromFrame 作為聲音的錨點/編輯關鍵時刻影格:
browse_library({
  category: "sound-effects",
  query: "short whoosh transition",
});

edit_item({
  adds: [
    {
      type: "audio",
      assetId: "library:sound:whoosh-short",
      fromFrame: 120,
      trackId: "A1",
    },
  ],
});

僅在以下情況才使用 submit_sound 從文字描述產生音效:

  • 使用者明確要求產生/原創/自訂音效。
  • 要求的聲音對於現有音效庫來說太具體。
  • browse_library({ category:"sound-effects", query }) 未返回合適的匹配。
// 在音效庫沒有合適匹配後的自訂/產生音效
submit_sound({ prompt: "A dog barking in the distance" });

// 附帶自訂持續時間 (0.5-22 秒)
submit_sound({
  prompt: "Thunder and heavy rain",
  durationSeconds: 15,
});

// 高度提示遵循
submit_sound({
  prompt: "Sci-fi laser gun firing",
  promptInfluence: 0.8,
});

獲得更好結果的提示:

  • 具體說明:使用「一隻狗大聲吠叫」而非僅「狗叫」。

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

0xsline/openchatcut

Connect an MCP-capable coding agent to OpenChatCut and edit local video projects. Use when the user asks to install, connect, or set up OpenChatCut; inspect or edit an OpenChatCut project; work with its timeline, transcript, captions, media, generation, motion graphics, audio, color, or export tools; or recover from an OpenChatCut MCP error.

0xsline/openchatcut

Use when acquiring or importing media into a OpenChatCut project asset library for video editing or creation, including local/attached videos, user-provided paths, public media URLs, web video/audio/image assets, upload fallback decisions, and deciding between import_media, download_media, or manual user action.

0xsline/openchatcut

Use when a OpenChatCut video editing or creation workflow needs export, render, download, share, final delivery, subtitle-file export, render choice, local-only asset handling, or export fallback explanation.

0xsline/openchatcut

AI image generation via Fal.ai, gpt-image-2, nano-banana, MiniMax image-01, and xAI Grok Imagine. Use when the user wants to generate or create an image / picture / still.

0xsline/openchatcut

Use when a OpenChatCut tool call fails or returns an unexpected shape.

0xsline/openchatcut

Music generation via Mureka, MiniMax, Atlas Cloud, and Sonilo. Use for instrumentals, songs, soundtracks, track/stem generation, covers, or video-conditioned scoring of the finished cut through `submit_music`.

0xsline/openchatcut

OpenChatCut product knowledge — UI layout, editor features, and how generation providers are configured. Use when the user asks about the product interface, how to use a feature, where to find something, or needs GUI guidance for something the agent cannot do directly. Also use as fallback when a task fails and the user needs to complete it manually in the UI. NOT for live project-state queries ("where are my folders?", "what's on my timeline?", "where is clip X?") — those are answered by `read_project`, not by this skill.

0xsline/openchatcut

AI shader generator for WebGL video effects, transitions, masks, and color grading (LUT / 调色 / 电影感 / film look). Use when the user wants a video effect (滤镜 / 特效), a transition (转场 / crossfade / wipe / cube / 3d), a mask (蒙版 / 遮罩 / reveal), a zoom / push-in (推近 / 推镜头), or a color grade — try the built-in effects (zoom, builtin LUTs) before generating a new shader.

0xsline/openchatcut

Use when checking whether agent edits are reflected in the OpenChatCut project and editor.

0xsline/openchatcut

AI video generation via Fal.ai, Seedance 2.0, Kling, MiniMax Hailuo, xAI Grok Imagine, and OFox. Use when the user wants to generate a video clip — text-to-video, image-to-video, first/last-frame transitions, reference-guided generation, multi-shot, or generatively editing / extending an existing clip.

0xsline/openchatcut

Use when the agent should ask the user for structured input with an in-chat form, including single-select, multi-select, text fields, style pickers, or voice audition choices.

相關技能