Communitygithub.com

Doubao TTS (Zuhair-01/claude-skills-and-systems)

Gere narração em Mandarim e multilíngue com o Volcengine Doubao Speech 2.0. Use ao criar dublagens em chinês, quando o usuário preferir TTS Doubao/Volcengine/火山引擎/豆包, ou quando a narração precisar de metadados de timestamp no nível de caractere para legendas.

O que é claude-skills-and-systems)?

Esta skill capacita agentes de IA (como Claude Code) a gerar narração de alta qualidade usando a API Doubao Speech 2.0 da Volcengine, com foco em Mandarim e suporte multilíngue. Ela é útil quando o usuário deseja dublagens naturais em chinês ou precisa de legendas sincronizadas no nível de caractere, graças aos metadados de timestamp retornados pela API. A skill suporta chamadas síncronas (para amostras curtas) e assíncronas (para narrações longas em vídeo), e pode ser usada através do seletor de TTS ou diretamente pelo provedor DoubaoTTS. Ela lida com autenticação via chave de console nova (X-Api-Key) e oferece controle sobre voz, velocidade, sample rate e timestamps, além de incluir fluxos de recomendação (como gerar amostra antes da narração completa e construir legendas a partir dos metadados) e instruções de solução de problemas para erros comuns.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Zuhair-01/claude-skills-and-systems/tree/HEAD/skills/doubao-tts

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Doubao TTS

Requer DOUBAO_SPEECH_API_KEY no .env. Defina DOUBAO_SPEECH_VOICE_TYPE para a voz padrão, ou passe voice_id para a ferramenta.

API Atual

Use o fluxo de chave de API do novo console:

X-Api-Key: ${DOUBAO_SPEECH_API_KEY}
X-Api-Resource-Id: seed-tts-2.0

Não use X-Api-App-Id e X-Api-Access-Key com uma chave de API do novo console. Se a API retornar load grant: requested grant not found, o tipo de chave ou o cabeçalho de autenticação provavelmente estão errados.

Para narração de vídeo longa, prefira o endpoint assíncrono:

POST https://openspeech.bytedance.com/api/v3/tts/submit
POST https://openspeech.bytedance.com/api/v3/tts/query

Isso retorna audio_url mais metadados de tempo sentences[].words[] que podem ser usados para construir legendas.

Uso no OpenMontage

Gere com o seletor de TTS:

from tools.audio.tts_selector import TTSSelector

result = TTSSelector().execute({
    "preferred_provider": "doubao",
    "text": "如果 AI 真的会改变未来,普通人到底该怎么参与?",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/narration.mp3",
    "speech_rate": 0,
    "enable_timestamp": True,
})

Ou chame o provedor diretamente:

from tools.audio.doubao_tts import DoubaoTTS

result = DoubaoTTS().execute({
    "text": "短样本试听文本。",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/doubao_sample.mp3",
})

O provedor escreve:

  • output_path: arquivo de áudio baixado
  • metadata_path: resposta JSON completa da consulta, padrão <output_path>.json

Fluxo de Trabalho Recomendado

  1. Gere uma amostra de 10 a 15 segundos antes de uma narração paga completa.
  2. Peça ao usuário para aprovar a naturalidade da voz, sotaque e velocidade.
  3. Gere a narração completa somente após a aprovação.
  4. Mantenha o JSON da consulta. Ele é a fonte da verdade para o tempo das legendas.
  5. Construa legendas a partir de sentences[].words[], não do comprimento estimado do texto.
  6. Agrupe legendas por frases semânticas chinesas antes de aplicar os timestamps. Não divida apenas por contagem fixa de caracteres; isso pode quebrar frases como "在不押单个公司的情况下" ou "可能会被慢慢稀释" e prejudicar a compreensão.
  7. Deixe a duração do vídeo seguir o ritmo de voz aprovado, a menos que o usuário peça explicitamente para corresponder a um tempo de execução anterior.

Parâmetros

  • voice_id: Tipo de speaker / voz da Doubao. Padrão é DOUBAO_SPEECH_VOICE_TYPE.
  • resource_id: use seed-tts-2.0 para vozes Doubao Speech 2.0.
  • speech_rate: 0 é normal, 100 é 2x, -50 é 0.5x.
  • sample_rate: padrão 24000.
  • enable_timestamp: padrão true.
  • return_usage: padrão true, solicita metadados de uso quando disponíveis.

Não passe additions.explicit_language por padrão. Alguns endpoints/chaves rejeitam zh-cn com unsupported additions explicit language zh-cn.

Para vídeos explicativos calmos em Mandarim, comece com speech_rate: 0. Se o resultado for muito longo para o formato aprovado, faça uma amostra curta de comparação com speech_rate: 25 ou 50 antes de regenerar a narração completa. Não acelere apenas para igualar a duração de um provedor anterior se o usuário preferir o ritmo natural da Doubao.

Solução de Problemas

  • load grant: requested grant not found: tipo de chave errado ou cabeçalho de autenticação errado. Use X-Api-Key para chaves de API do novo console.
  • speaker permission denied: o id da voz está errado ou não autorizado para o recurso selecionado.
  • quota exceeded: cota, caracteres vitalícios ou concorrência excedidos.
  • Timestamps ausentes: verifique enable_timestamp: true, mantenha o JSON da consulta e confirme se o endpoint selecionado retornou sentences.

Segurança

Nunca imprima ou escreva a chave da API em logs, metadados, patches ou artefatos do projeto. .env.example deve conter apenas nomes de variáveis vazios.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Zuhair-01/claude-skills-and-systems

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Zuhair-01/claude-skills-and-systems

Edit existing videos using AI — remix style, upscale, remove background, and add audio via fal.ai's hosted video models.

Zuhair-01/claude-skills-and-systems

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Zuhair-01/claude-skills-and-systems

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

Zuhair-01/claude-skills-and-systems

Read-only queue dashboard for workspace-aware ship. (gstack)

Zuhair-01/claude-skills-and-systems

Generate HeyGen presenter videos via the v3 Video Agent pipeline — handles Frame Check (aspect ratio correction), prompt engineering, avatar resolution, and voice selection. Required for any HeyGen video generation. Replaces deprecated endpoints with v3. Use when: (1) generating any HeyGen video (via API or otherwise), (2) sending a personalized video message (outreach, update, announcement, pitch, knowledge), (3) creating a HeyGen presenter-led explainer, tutorial, or product demo with a human face, (4) "make a video of me saying...", "send a video to my leads", "record an update for my team", "create a video pitch", "make a loom-style message", "I want to appear in this video", "generate a HeyGen video", "make a talking head video". Accepts avatar_id from heygen-avatar for identity-first HeyGen videos, or uses a stock presenter. Returns video share URL + HeyGen session URL for iteration. Chain signal: when the user wants to create/design an avatar AND make a video in the same request, run heygen-avatar f...

Zuhair-01/claude-skills-and-systems

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

Zuhair-01/claude-skills-and-systems

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Zuhair-01/claude-skills-and-systems

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

Habilidades Relacionadas