Communitygithub.com

Doubao TTS

Genera narración en mandarín y multilingüe con Volcengine Doubao Speech 2.0. Úsalo para crear voces en off en chino, cuando el usuario prefiera Doubao/Volcengine/火山引擎/豆包 TTS, o cuando la narración necesite metadatos de tiempo a nivel de carácter para subtítulos.

¿Qué es Doubao TTS?

Esta habilidad proporciona integración con la API de Volcengine Doubao Speech 2.0, un servicio de síntesis de voz de alta calidad optimizado para mandarín y otros idiomas. Está diseñada para agentes de IA que necesitan generar narraciones realistas, especialmente en chino, con soporte para metadatos de sincronización de palabras que permiten generar subtítulos precisos. Soporta tanto generación síncrona como asíncrona, siendo esta última ideal para narraciones largas en vídeo. La habilidad incluye un flujo de trabajo recomendado que sugiere generar primero una muestra corta para aprobación del usuario antes de proceder con la narración completa, y proporciona pautas detalladas para agrupar subtítulos por frases semánticas en lugar de por conteo fijo de caracteres. Es compatible con las plataformas OpenMontage y se puede usar a través de un selector de TTS o llamando directamente al proveedor DoubaoTTS.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Zuhair-01/claude-skills-and-systems/tree/HEAD/skills/doubao-tts

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace Doubao TTS?

Requiere DOUBAO_SPEECH_API_KEY en .env. Define DOUBAO_SPEECH_VOICE_TYPE para la voz predeterminada, o pasa voice_id a la herramienta.

API Actual

Usa el flujo de clave API de la nueva consola:

X-Api-Key: ${DOUBAO_SPEECH_API_KEY}
X-Api-Resource-Id: seed-tts-2.0

No uses X-Api-App-Id ni X-Api-Access-Key con una clave API de la nueva consola. Si la API devuelve load grant: requested grant not found, probablemente el tipo de clave o el encabezado de autenticación sean incorrectos.

Para narraciones largas en vídeo, prefiere el endpoint asíncrono:

POST https://openspeech.bytedance.com/api/v3/tts/submit
POST https://openspeech.bytedance.com/api/v3/tts/query

Esto devuelve audio_url más metadatos de tiempo sentences[].words[] que se pueden usar para construir subtítulos.

Uso en OpenMontage

Genera con el selector de TTS:

from tools.audio.tts_selector import TTSSelector

result = TTSSelector().execute({
    "preferred_provider": "doubao",
    "text": "如果 AI 真的会改变未来,普通人到底该怎么参与?",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/narration.mp3",
    "speech_rate": 0,
    "enable_timestamp": True,
})

O llama directamente al proveedor:

from tools.audio.doubao_tts import DoubaoTTS

result = DoubaoTTS().execute({
    "text": "短样本试听文本。",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/doubao_sample.mp3",
})

El proveedor escribe:

  • output_path: archivo de audio descargado
  • metadata_path: respuesta JSON completa de la consulta, por defecto <output_path>.json

Flujo de Trabajo Recomendado

  1. Genera una muestra de 10 a 15 segundos antes de una narración completa de pago.
  2. Pide al usuario que apruebe la naturalidad de la voz, el acento y la velocidad.
  3. Genera la narración completa solo después de la aprobación.
  4. Conserva el JSON de la consulta. Es la fuente de verdad para la sincronización de subtítulos.
  5. Construye los subtítulos a partir de sentences[].words[], no de la longitud estimada del texto.
  6. Agrupa los subtítulos por frases semánticas en chino antes de aplicar las marcas de tiempo. No dividas solo por un número fijo de caracteres; puede romper frases como "在不押单个公司的情况下" o "可能会被慢慢稀释" y perjudicar la comprensión.
  7. Deja que la duración del vídeo siga el ritmo de voz aprobado, a menos que el usuario pida explícitamente que coincida con una duración anterior.

Parámetros

  • voice_id: tipo de voz / speaker de Doubao. Por defecto es DOUBAO_SPEECH_VOICE_TYPE.
  • resource_id: usa seed-tts-2.0 para voces de Doubao Speech 2.0.
  • speech_rate: 0 es normal, 100 es 2x, -50 es 0.5x.
  • sample_rate: por defecto 24000.
  • enable_timestamp: por defecto true.
  • return_usage: por defecto true, solicita metadatos de uso cuando estén disponibles.

No pases additions.explicit_language por defecto. Algunas combinaciones de endpoint/clave rechazan zh-cn con unsupported additions explicit language zh-cn.

Para explicadores tranquilos en mandarín, comienza con speech_rate: 0. Si el resultado es demasiado largo para el formato aprobado, haz una muestra de comparación corta con speech_rate: 25 o 50 antes de regenerar la narración completa. No aceleres solo para igualar la duración de un proveedor anterior si el usuario prefiere el ritmo natural de Doubao.

Solución de Problemas

  • load grant: requested grant not found: tipo de clave incorrecto o encabezado de autenticación incorrecto. Usa X-Api-Key para claves API de la nueva consola.
  • speaker permission denied: el id de voz es incorrecto o no está autorizado para el recurso seleccionado.
  • quota exceeded: se superó la cuota, los caracteres de por vida o la concurrencia.
  • Faltan marcas de tiempo: verifica enable_timestamp: true, conserva el JSON de la consulta y confirma que el endpoint seleccionado devolvió sentences.

Seguridad

Nunca imprimas ni escribas la clave API en registros, metadatos, parches o artefactos del proyecto. .env.example debe contener solo nombres de variables vacíos.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Zuhair-01/claude-skills-and-systems

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Zuhair-01/claude-skills-and-systems

Edit existing videos using AI — remix style, upscale, remove background, and add audio via fal.ai's hosted video models.

Zuhair-01/claude-skills-and-systems

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Zuhair-01/claude-skills-and-systems

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

Zuhair-01/claude-skills-and-systems

Read-only queue dashboard for workspace-aware ship. (gstack)

Zuhair-01/claude-skills-and-systems

Generate HeyGen presenter videos via the v3 Video Agent pipeline — handles Frame Check (aspect ratio correction), prompt engineering, avatar resolution, and voice selection. Required for any HeyGen video generation. Replaces deprecated endpoints with v3. Use when: (1) generating any HeyGen video (via API or otherwise), (2) sending a personalized video message (outreach, update, announcement, pitch, knowledge), (3) creating a HeyGen presenter-led explainer, tutorial, or product demo with a human face, (4) "make a video of me saying...", "send a video to my leads", "record an update for my team", "create a video pitch", "make a loom-style message", "I want to appear in this video", "generate a HeyGen video", "make a talking head video". Accepts avatar_id from heygen-avatar for identity-first HeyGen videos, or uses a stock presenter. Returns video share URL + HeyGen session URL for iteration. Chain signal: when the user wants to create/design an avatar AND make a video in the same request, run heygen-avatar f...

Zuhair-01/claude-skills-and-systems

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

Zuhair-01/claude-skills-and-systems

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Zuhair-01/claude-skills-and-systems

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Skills relacionados