Communitygithub.com

Doubao TTS

Générez des narrations en mandarin et multilingues avec Volcengine Doubao Speech 2.0. Utilisez-le pour créer des voix off en chinois, lorsque l'utilisateur préfère Doubao/Volcengine/火山引擎/豆包 TTS, ou lorsque la narration nécessite des métadonnées temporelles au niveau des caractères pour les sous-titres.

Qu'est-ce que Doubao TTS ?

Cette compétence permet aux agents IA de générer des narrations vocales naturelles en utilisant Volcengine Doubao Speech 2.0, un service TTS (Text-to-Speech) puissant. Idéale pour les projets vidéo, les voix off en mandarin, ou toute application nécessitant des sous-titres synchronisés au niveau du mot ou du caractère. Elle prend en charge les environnements de développement Python et les frameworks comme OpenMontage. Le système offre deux modes : un mode synchrone pour des échantillons rapides et un mode asynchrone pour les narrations longues, fournissant des métadonnées temporelles précises via les champs `sentences[].words[]`. La compétence gère automatiquement les voix (avec une voix par défaut configurable), le débit de parole, et l'extraction des sous-titres. Elle inclut également des mécanismes de dépannage pour les erreurs courantes comme les problèmes de clé API ou de permissions.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Zuhair-01/claude-skills-and-systems/tree/HEAD/skills/doubao-tts

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait Doubao TTS ?

Nécessite DOUBAO_SPEECH_API_KEY dans .env. Définissez DOUBAO_SPEECH_VOICE_TYPE pour la voix par défaut, ou passez voice_id à l'outil.

API actuelle

Utilisez le flux de clé API de la nouvelle console :

X-Api-Key: ${DOUBAO_SPEECH_API_KEY}
X-Api-Resource-Id: seed-tts-2.0

N'utilisez pas X-Api-App-Id et X-Api-Access-Key avec une clé API de la nouvelle console. Si l'API renvoie load grant: requested grant not found, le type de clé ou l'en-tête d'authentification est probablement erroné.

Pour les narrations vidéo longues, préférez le point de terminaison asynchrone :

POST https://openspeech.bytedance.com/api/v3/tts/submit
POST https://openspeech.bytedance.com/api/v3/tts/query

Celui-ci renvoie audio_url plus les métadonnées temporelles sentences[].words[] qui peuvent être utilisées pour construire des sous-titres.

Utilisation avec OpenMontage

Générez avec le sélecteur TTS :

from tools.audio.tts_selector import TTSSelector

result = TTSSelector().execute({
    "preferred_provider": "doubao",
    "text": "如果 AI 真的会改变未来,普通人到底该怎么参与?",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/narration.mp3",
    "speech_rate": 0,
    "enable_timestamp": True,
})

Ou appelez directement le fournisseur :

from tools.audio.doubao_tts import DoubaoTTS

result = DoubaoTTS().execute({
    "text": "短样本试听文本。",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/doubao_sample.mp3",
})

Le fournisseur écrit :

  • output_path : fichier audio téléchargé
  • metadata_path : réponse JSON complète de la requête, par défaut <output_path>.json

Flux de travail recommandé

  1. Générez un échantillon de 10 à 15 secondes avant une narration payante complète.
  2. Demandez à l'utilisateur d'approuver le naturel de la voix, l'accent et la vitesse.
  3. Générez la narration complète uniquement après approbation.
  4. Conservez le JSON de la requête. C'est la source de vérité pour le timing des sous-titres.
  5. Construisez les légendes à partir de sentences[].words[], pas à partir de la longueur estimée du texte.
  6. Regroupez les légendes par phrases sémantiques en chinois avant d'appliquer les horodatages. Ne divisez pas uniquement par un nombre fixe de caractères ; cela peut briser des phrases comme "在不押单个公司的情况下" ou "可能会被慢慢稀释" et nuire à la compréhension.
  7. Laissez la durée de la vidéo suivre le rythme vocal approuvé, sauf si l'utilisateur demande explicitement de correspondre à une durée antérieure.

Paramètres

  • voice_id : speaker / type de voix Doubao. Par défaut DOUBAO_SPEECH_VOICE_TYPE.
  • resource_id : utilisez seed-tts-2.0 pour les voix Doubao Speech 2.0.
  • speech_rate : 0 est normal, 100 est 2x, -50 est 0.5x.
  • sample_rate : par défaut 24000.
  • enable_timestamp : par défaut true.
  • return_usage : par défaut true, demande les métadonnées d'utilisation lorsqu'elles sont disponibles.

Ne passez pas additions.explicit_language par défaut. Certains points de terminaison/combinaisons de clés rejettent zh-cn avec unsupported additions explicit language zh-cn.

Pour les explications calmes en mandarin, commencez par speech_rate: 0. Si le résultat est trop long pour le format approuvé, faites un court échantillon de comparaison avec speech_rate: 25 ou 50 avant de régénérer la narration complète. N'accélérez pas uniquement pour correspondre à la durée d'un fournisseur précédent si l'utilisateur préfère le rythme naturel de Doubao.

Dépannage

  • load grant: requested grant not found : mauvais type de clé ou mauvais en-tête d'authentification. Utilisez X-Api-Key pour les clés API de la nouvelle console.
  • speaker permission denied : l'identifiant de la voix est incorrect ou non autorisé pour la ressource sélectionnée.
  • quota exceeded : quota, nombre de caractères à vie ou concurrence dépassés.
  • Horodatages manquants : vérifiez enable_timestamp: true, conservez le JSON de la requête et confirmez que le point de terminaison sélectionné a renvoyé sentences.

Sécurité

N'imprimez ni n'écrivez jamais la clé API dans les journaux, les métadonnées, les correctifs ou les artefacts du projet. .env.example doit contenir uniquement des noms de variables vides.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Zuhair-01/claude-skills-and-systems

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Zuhair-01/claude-skills-and-systems

Edit existing videos using AI — remix style, upscale, remove background, and add audio via fal.ai's hosted video models.

Zuhair-01/claude-skills-and-systems

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Zuhair-01/claude-skills-and-systems

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

Zuhair-01/claude-skills-and-systems

Read-only queue dashboard for workspace-aware ship. (gstack)

Zuhair-01/claude-skills-and-systems

Generate HeyGen presenter videos via the v3 Video Agent pipeline — handles Frame Check (aspect ratio correction), prompt engineering, avatar resolution, and voice selection. Required for any HeyGen video generation. Replaces deprecated endpoints with v3. Use when: (1) generating any HeyGen video (via API or otherwise), (2) sending a personalized video message (outreach, update, announcement, pitch, knowledge), (3) creating a HeyGen presenter-led explainer, tutorial, or product demo with a human face, (4) "make a video of me saying...", "send a video to my leads", "record an update for my team", "create a video pitch", "make a loom-style message", "I want to appear in this video", "generate a HeyGen video", "make a talking head video". Accepts avatar_id from heygen-avatar for identity-first HeyGen videos, or uses a stock presenter. Returns video share URL + HeyGen session URL for iteration. Chain signal: when the user wants to create/design an avatar AND make a video in the same request, run heygen-avatar f...

Zuhair-01/claude-skills-and-systems

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

Zuhair-01/claude-skills-and-systems

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Zuhair-01/claude-skills-and-systems

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Skills associés