語音與音效產生器
產生旁白(TTS)與音效。若使用 TTS,請在呼叫 submit_voice 之前選擇一個具體的提供商和聲音。
使用時機
- 從文字產生旁白/敘述
- 為影片建立文字轉語音音訊
- 為現有影片、時間軸、螢幕錄影、幻燈片動畫、產品示範、B-roll 剪輯、MG 解說影片或其他視覺序列新增、取代或重做旁白/配音
- 在修剪、加速、減速、移動、重新排序或取代其描述的視覺內容後,保持現有旁白/配音對齊
- 在使用者尚未選擇具體聲音時,提供並讓其試聽 TTS 語音選項
- 僅在先檢查音效庫後,從文字描述產生自訂音效
TTS(文字轉語音)
若目前要求有現有視覺目標,且使用者希望為該目標加入旁白、配音、對白或取代語音,請在撰寫新旁白、使用現有旁白文字產生 TTS 或放置音訊前,先閱讀 references/video-sync.md。即使使用者未明確說出「同步」或「配合畫面」,也應這麼做;視覺目標的存在意味著旁白的時機和含義可能需要跟隨螢幕上的內容。僅在沒有視覺目標或使用者只想要從文字產生的音訊資產時,才使用一般的獨立 TTS 路徑。
當時間軸已有旁白/配音,且使用者要求更改視覺內容同時保持該配音對齊時,也請閱讀 references/video-sync.md。即使不需要新的 TTS,這也是一項同步維護任務。
使用 submit_voice 建立 TTS 音訊資產。目前的 MCP 工具合約如下:
provider為必填。已配置的選項可能包括doubao、elevenlabs、minimax、inworld、fishaudio、speechify、openai、gemini、mistral或cartesia。所有提供商皆為選擇加入制;僅使用功能提示中顯示為已配置的提供商。voiceId為必填、具體且與提供商相關。唯一的例外是刻意進行 MiniMax 的timbreWeights混合,此時voiceId必須為空。請勿混合目錄。- references/voices.md 中的精選目錄僅涵蓋 Doubao、ElevenLabs 和 MiniMax。其他提供商在 OpenChatCut 中沒有捆綁的預設或範例目錄。請要求使用者提供具體的語音 ID 或其提供商帳戶中的 ID;切勿憑空發明預設或
/voice-samples/...URL。 - AI SDK 支援的字段是提供商特定的:OpenAI 支援
modelId、speed、outputFormat和instructions;Gemini 支援modelId、outputFormat和instructions;Mistral 支援modelId和outputFormat;Cartesia 支援modelId、speed、languageCode和outputFormat。請省略不支援或未要求的字段。 - Inworld、Fish Audio 和 Speechify 僅接受
voiceId加上可選的modelId。請勿將表達性、速度、語言或輸出控制傳遞給這些提供商。 submit_voice僅建立音訊資產。時間軸上的放置、取代、修剪和對齊將在之後使用時間軸工具進行。- 對於較長的旁白,多次呼叫
submit_voice會很有用:在自然停頓處、句子組或劇本節點邊界處分割,當工作流程受益於分別計時或放置的語音片段時。 - Doubao 支援
speedRatio、loudnessRatio、pitch、emotion、emotionScale、performancePrompt和explicitDialect,但並非每個語音都支援所有表達性控制。使用前請檢查 references/voices.md。 - ElevenLabs 保留其官方語音設定、語言、種子、輸出、正規化、發音詞典、連續性、日誌記錄和延遲控制。MiniMax 保留其在 references/minimax-tts.md 中記錄的專用控制。
目前精選聲音的 Doubao 控制支援:
vivi、xiaohe、yunzhou、xiaotian、naiqimengwa、yingtaowanzi、wenroumama、zhixingnv、dayi、jitangnv、liuchang、ruyayichen、morgan、qingcang、huiben、popo、yuanboxiaoshu、baqiqingshu和tangseng支援明確的emotion/emotionScale、performancePrompt和 ASMR 風格的提示方向。shuanglangshaonian支援performancePrompt和 COT/QA 風格的指令遵循,但不支援明確的emotion/emotionScale或 ASMR 風格的控制。explicitDialect僅由vivi支援,可設定為dongbei、shaanxi或sichuan。
目前精選聲音的 ElevenLabs 控制支援:
amelia、brittney、hope、jessica、arabella、jane、maria、mark、frederick、peter、james、jon、sully、david和alex都支援相同的要求層級控制;模型特定的支援仍由 ElevenLabs 驗證。- 這些控制並非特定表演風格的每個語音保證。使用預設標籤/範例來選擇自然合適的語音,然後使用這些控制進行適度的交付變更。
- 對於 ElevenLabs 的
eleven_v3,當使用者要求表達性的交付(例如情緒、語氣、非語言線索、口音提示或局部節奏)時,可以使用內聯音訊標籤。官方範例符合這些有用的 TTS 類別:情緒/語氣標籤如[happy]、[sad]、[angry]、[excited]、[curious]、[sarcastic]、[crying]、[annoyed]、[appalled]、[thoughtful]、[surprised]和[mischievously];語音表達和非語言線索標籤如[whispers]、[laughs]、[sighs]、[exhales]、[inhales deeply]、[clears throat]、[snorts]、[swallows]、[wheezing]和[coughs];節奏/暫停/局部速度標籤如[slowly]、[pause]、[short pause]、[long pause]、[rushed]和[drawn out];以及口音/特殊表演標籤如[strong X accent],例如[strong French accent],加上[sings]、[singing]、[woo]和[pirate voice]。官方範例並非詳盡無遺;當使用者明確要求該交付方式且標籤描述了聲音應如何聽起來(而非視覺動作)時,可以嘗試類似的聽覺標籤。將標籤直接寫在text中,靠近它們應影響的短語。將標籤視為局部指導,而非段落範圍的控制。 - 對於
eleven_v3中的暫停和節奏,在需要時使用標點符號、文字結構、較短的生成片段或局部音訊標籤(如[short pause]和[slowly])。
// 英語 / 多語言 (通過 ElevenLabs)
submit_voice({
provider: "elevenlabs",
text: "Hello world",
voiceId: "peter",
});
// 中文 (通過 Doubao)
submit_voice({
provider: "doubao",
text: "你好世界",
voiceId: "liuchang",
});
// 附加速度調整 (僅 Doubao)
submit_voice({
provider: "doubao",
text: "這是一段稍快的中文旁白。",
voiceId: "liuchang",
speedRatio: 1.5,
});
// 附帶表達性 Doubao 控制
submit_voice({
provider: "doubao",
text: "這次事故提醒我們,安全永遠不能僥倖。",
voiceId: "liuchang",
emotion: "sad",
emotionScale: 3,
performancePrompt: "痛心但克制,語速稍慢,像新聞專題旁白",
pitch: -1,
speedRatio: 0.92,
});
// 附帶 ElevenLabs 交付控制
submit_voice({
provider: "elevenlabs",
text: "The launch changed how teams plan their daily work.",
voiceId: "peter",
speed: 0.95,
stability: 0.4,
similarityBoost: 0.8,
outputFormat: "wav_44100",
});
// MiniMax TTS (配置時) — 請參閱 references/minimax-tts.md
submit_voice({
provider: "minimax",
text: "歡迎使用影片編輯助手。",
voiceId: "female-yujie",
speed: 1,
name: "VO · welcome",
});
// Cartesia 形狀在使用者確認確切帳戶語音 ID 之後。
// confirmedCartesiaVoiceId 代表該提供的值,非預設。
submit_voice({
provider: "cartesia",
text: "A concise product introduction.",
voiceId: confirmedCartesiaVoiceId,
modelId: "sonic-3",
speed: 1,
languageCode: "en",
outputFormat: "mp3",
});
產生前的語音試聽
當使用者需要 TTS 但尚未選擇具體聲音時,首先區分具有 OpenChatCut 精選選項的提供商與需要帳戶特定語音 ID 的提供商。
對於 Doubao、ElevenLabs 或 MiniMax,在推薦、呈現或提交選項之前,請先閱讀 references/voices.md。將其用作精選預設 ID、提供商選擇、顯示標籤、標籤和捆綁範例 URL 的唯一來源。請勿根據記憶、翻譯名稱或廣泛的使用者描述來建立語音選項。
對於 Inworld、Fish Audio、Speechify、OpenAI、Gemini、Mistral 或 Cartesia,請勿提供發明的試聽清單或範例 URL。向使用者索取該已配置提供商的具體語音 ID。廣泛的描述(如「溫暖的女聲」)並非有效的 voiceId。
首先確定兩種不同的語言:
- 使用者對話語言:使用者與您交談時使用的語言。將其用於周圍的回覆、
form-visual label、visual-option name和summary。 - 目標旁白語言:正在合成的文字的語言。僅將其用於選擇提供商和語音目錄。
試聽小工具的提交按鈕在此版本中固定為預設標籤(接受 submitLabel 但不渲染);將問題標籤和選項標籤保留在使用者對話語言中,而非目標旁白語言。例如:英文使用者看到 submit_label="Submit",中文使用者看到 submit_label="提交",西班牙文使用者看到 submit_label="Enviar"。
「help me generate ... voice over in Chinese」是一個要求提供中文旁白的英文對話,因此試聽小工具內容保留英文,而語音候選來自 Doubao。
對於精選提供商:
- 根據目標旁白語言/提供商和明確要求(如性別、年齡範圍、語氣和用例)過濾
references/voices.md。 - 如果沒有預設符合所有明確要求,則表示沒有完全匹配,並提供最接近的支援預設,同時附上明確的警告。
- 選擇 2-4 個匹配的精選預設。
- 載入
widget-forms,然後使用語音選項和真實的捆綁音訊範例呼叫ask_followup_questions。 - 等待使用者選擇。
- 使用所選的預設 ID 作為
voiceId呼叫submit_voice。
對於沒有 OpenChatCut 精選目錄的提供商,請改用自由文字形式要求具體的提供商語音 ID。請勿新增 media 或合成 /voice-samples/... 路徑。在呼叫 submit_voice 之前,等待使用者提供/確認確切的 ID。
對於每個精選試聽選項,保持 value、顯示標籤、media 和 summary 與 references/voices.md 中的同一預設行相關聯。僅使用其中記錄的範例 URL。保持 value 為預設 ID,media 為其匹配的範例 URL。以使用者的對話語言編寫 name 和 summary。目標旁白語言僅決定提供商/語音目錄。提交後,從同一個候選清單中將顯示名稱映射回預設 ID。
要求提供中文旁白的英文請求:
<widget submit_label="Submit">
<form-visual
id="voiceId"
label="For Chinese voiceover, I recommend a few voices to try:"
required="true"
>
<visual-option
value="vivi"
name="Vivi"
media="/voice-samples/doubao-vivi.mp3"
aspect-ratio="16:5"
summary="Female / young / friendly, general"
/>
<visual-option
value="xiaohe"
name="Xiaohe"
media="/voice-samples/doubao-xiaohe.mp3"
aspect-ratio="16:5"
summary="Female / young / soft, clear"
/>
<visual-option
value="yunzhou"
name="Yunzhou"
media="/voice-samples/doubao-yunzhou.mp3"
aspect-ratio="16:5"
summary="Male / young / neutral, business"
/>
</form-visual>
</widget>
要求提供中文旁白的中文請求:
<widget submit_label="提交">
<form-visual
id="voiceId"
label="我推薦這幾個中文旁白音色,先試聽一下:"
required="true"
>
<visual-option
value="morgan"
name="Morgan"
media="/voice-samples/doubao-morgan.mp3"
aspect-ratio="16:5"
summary="男 / 中年 / 低沉知識解說"
/>
<visual-option
value="zhixingnv"
name="知性女聲"
media="/voice-samples/doubao-zhixingnv.mp3"
aspect-ratio="16:5"
summary="女 / 中年 / 冷靜知識講解"
/>
<visual-option
value="vivi"
name="Vivi"
media="/voice-samples/doubao-vivi.mp3"
aspect-ratio="16:5"
summary="女 / 年輕 / 親切通用口播"
/>
</form-visual>
</widget>
音效
對於一般的編輯音效 (SFX),請不要先進行生成。在生成之前,請先使用內建的音效庫:
- 使用
category:"sound-effects"和查詢(如"whoosh"、"camera shutter"、"notification"、"censor beep"或"record scratch")呼叫browse_library。 - 檢查返回的
library:sound:<id>。 - 使用
edit_item放置它,使用fromFrame作為聲音的錨點/編輯關鍵時刻影格:
browse_library({
category: "sound-effects",
query: "short whoosh transition",
});
edit_item({
adds: [
{
type: "audio",
assetId: "library:sound:whoosh-short",
fromFrame: 120,
trackId: "A1",
},
],
});
僅在以下情況才使用 submit_sound 從文字描述產生音效:
- 使用者明確要求產生/原創/自訂音效。
- 要求的聲音對於現有音效庫來說太具體。
browse_library({ category:"sound-effects", query })未返回合適的匹配。
// 在音效庫沒有合適匹配後的自訂/產生音效
submit_sound({ prompt: "A dog barking in the distance" });
// 附帶自訂持續時間 (0.5-22 秒)
submit_sound({
prompt: "Thunder and heavy rain",
durationSeconds: 15,
});
// 高度提示遵循
submit_sound({
prompt: "Sci-fi laser gun firing",
promptInfluence: 0.8,
});
獲得更好結果的提示:
- 具體說明:使用「一隻狗大聲吠叫」而非僅「狗叫」。