Communitygithub.com

Doubao TTS

Erzeugen Sie Mandarin- und mehrsprachige Erzählungen mit Volcengine Doubao Speech 2.0. Verwenden Sie dies bei der Erstellung chinesischer Sprachaufnahmen, wenn der Benutzer Doubao/Volcengine/火山引擎/豆包 TTS bevorzugt oder wenn die Erzählung Untertitel mit Zeitstempeln auf Zeichenebene benötigt.

Was ist Doubao TTS?

Diese Fähigkeit ermöglicht es KI-Agenten, hochwertige Sprachsynthese mit Volcengine Doubao Speech 2.0 durchzuführen, speziell optimiert für Mandarin-Erzählungen. Sie unterstützt sowohl synchrone als auch asynchrone Endpunkte, wobei letzterer für lange Videoerzählungen detaillierte Wort-für-Wort-Zeitstempel-Metadaten für Untertitel liefert. Die Fähigkeit bietet eine flexible Parametersteuerung, einschließlich Sprach-ID, Sprachgeschwindigkeit und Abtastrate, und ist in die OpenMontage-Toolkette integriert. Sie ist besonders nützlich für Entwickler, die chinesische Voiceovers mit präziser Untertitelung erstellen und dabei die natürliche Sprachrhythmik beibehalten möchten.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Zuhair-01/claude-skills-and-systems/tree/HEAD/skills/doubao-tts

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Doubao TTS?

Erfordert DOUBAO_SPEECH_API_KEY in .env. Setzen Sie DOUBAO_SPEECH_VOICE_TYPE für die Standardstimme oder übergeben Sie voice_id an das Tool.

Aktuelle API

Verwenden Sie den API-Key-Fluss der neuen Konsole:

X-Api-Key: ${DOUBAO_SPEECH_API_KEY}
X-Api-Resource-Id: seed-tts-2.0

Verwenden Sie nicht X-Api-App-Id und X-Api-Access-Key mit einem API-Key der neuen Konsole. Wenn die API load grant: requested grant not found zurückgibt, ist wahrscheinlich der Schlüsseltyp oder der Authentifizierungs-Header falsch.

Für lange Videoerzählungen bevorzugen Sie den asynchronen Endpunkt:

POST https://openspeech.bytedance.com/api/v3/tts/submit
POST https://openspeech.bytedance.com/api/v3/tts/query

Dies gibt audio_url sowie Zeitmetadaten von sentences[].words[] zurück, die zum Erstellen von Untertiteln verwendet werden können.

OpenMontage-Verwendung

Generieren mit dem TTS-Auswähler:

from tools.audio.tts_selector import TTSSelector

result = TTSSelector().execute({
    "preferred_provider": "doubao",
    "text": "如果 AI 真的会改变未来,普通人到底该怎么参与?",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/narration.mp3",
    "speech_rate": 0,
    "enable_timestamp": True,
})

Oder rufen Sie den Anbieter direkt auf:

from tools.audio.doubao_tts import DoubaoTTS

result = DoubaoTTS().execute({
    "text": "短样本试听文本。",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/doubao_sample.mp3",
})

Der Anbieter schreibt:

  • output_path: heruntergeladene Audiodatei
  • metadata_path: vollständige Abfrageantwort als JSON, standardmäßig <output_path>.json

Empfohlener Arbeitsablauf

  1. Generieren Sie vor einer vollständigen kostenpflichtigen Erzählung ein 10-15 Sekunden langes Hörbeispiel.
  2. Bitten Sie den Benutzer, Natürlichkeit, Akzent und Geschwindigkeit der Stimme zu genehmigen.
  3. Generieren Sie die vollständige Erzählung erst nach der Genehmigung.
  4. Behalten Sie das Abfrage-JSON. Es ist die maßgebliche Quelle für das Untertitel-Timing.
  5. Erstellen Sie Untertitel aus sentences[].words[], nicht aus der geschätzten Textlänge.
  6. Gruppieren Sie Untertitel nach chinesischen semantischen Phrasen, bevor Sie Zeitstempel anwenden. Teilen Sie nicht nur nach einer festen Zeichenanzahl; dies kann Phrasen wie "在不押单个公司的情况下" oder "可能会被慢慢稀释" zerstören und das Verständnis beeinträchtigen.
  7. Lassen Sie die Videodauer dem genehmigten Sprachrhythmus folgen, es sei denn, der Benutzer fordert ausdrücklich eine Übereinstimmung mit einer vorherigen Laufzeit.

Parameter

  • voice_id: Doubao speaker / Stimmtyp. Standardmäßig DOUBAO_SPEECH_VOICE_TYPE.
  • resource_id: Verwenden Sie seed-tts-2.0 für Doubao Speech 2.0-Stimmen.
  • speech_rate: 0 ist normal, 100 ist 2x, -50 ist 0.5x.
  • sample_rate: Standard 24000.
  • enable_timestamp: Standard true.
  • return_usage: Standard true, fordert Nutzungsmetadaten an, wenn verfügbar.

Übergeben Sie additions.explicit_language nicht standardmäßig. Einige Endpunkt-/Schlüsselkombinationen lehnen zh-cn mit unsupported additions explicit language zh-cn ab.

Für ruhige Mandarin-Erklärvideos beginnen Sie mit speech_rate: 0. Wenn das Ergebnis für das genehmigte Format zu lang ist, erstellen Sie ein kurzes Vergleichsbeispiel mit speech_rate: 25 oder 50, bevor Sie die gesamte Erzählung neu generieren. Beschleunigen Sie nicht nur, um die Dauer eines vorherigen Anbieters zu erreichen, wenn der Benutzer Doubaos natürliches Tempo bevorzugt.

Fehlerbehebung

  • load grant: requested grant not found: falscher Schlüsseltyp oder falscher Authentifizierungs-Header. Verwenden Sie X-Api-Key für API-Schlüssel der neuen Konsole.
  • speaker permission denied: Stimmen-ID ist falsch oder nicht für die ausgewählte Ressource autorisiert.
  • quota exceeded: Kontingent, Lebenszeitzeichen oder Parallelität überschritten.
  • Fehlende Zeitstempel: Überprüfen Sie enable_timestamp: true, behalten Sie das Abfrage-JSON und bestätigen Sie, dass der ausgewählte Endpunkt sentences zurückgegeben hat.

Sicherheit

Geben Sie den API-Schlüssel niemals in Logs, Metadaten, Patches oder Projektartefakten aus oder schreiben Sie ihn dorthin. .env.example sollte nur leere Variablennamen enthalten.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Zuhair-01/claude-skills-and-systems

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Zuhair-01/claude-skills-and-systems

Edit existing videos using AI — remix style, upscale, remove background, and add audio via fal.ai's hosted video models.

Zuhair-01/claude-skills-and-systems

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Zuhair-01/claude-skills-and-systems

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

Zuhair-01/claude-skills-and-systems

Read-only queue dashboard for workspace-aware ship. (gstack)

Zuhair-01/claude-skills-and-systems

Generate HeyGen presenter videos via the v3 Video Agent pipeline — handles Frame Check (aspect ratio correction), prompt engineering, avatar resolution, and voice selection. Required for any HeyGen video generation. Replaces deprecated endpoints with v3. Use when: (1) generating any HeyGen video (via API or otherwise), (2) sending a personalized video message (outreach, update, announcement, pitch, knowledge), (3) creating a HeyGen presenter-led explainer, tutorial, or product demo with a human face, (4) "make a video of me saying...", "send a video to my leads", "record an update for my team", "create a video pitch", "make a loom-style message", "I want to appear in this video", "generate a HeyGen video", "make a talking head video". Accepts avatar_id from heygen-avatar for identity-first HeyGen videos, or uses a stock presenter. Returns video share URL + HeyGen session URL for iteration. Chain signal: when the user wants to create/design an avatar AND make a video in the same request, run heygen-avatar f...

Zuhair-01/claude-skills-and-systems

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

Zuhair-01/claude-skills-and-systems

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Zuhair-01/claude-skills-and-systems

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Verwandte Skills