Communitygithub.com

Army161/OpenMontage

Génère des narrations en mandarin et multilingues avec Doubao Speech 2.0 de Volcengine. À utiliser pour les voix off chinoises, lorsque l'utilisateur préfère le TTS Doubao/Volcengine/火山引擎/豆包, ou lorsque la narration nécessite des métadonnées temporelles au niveau des caractères pour les sous-titres.

Qu'est-ce que OpenMontage ?

Cette compétence permet de générer des narrations vocales de haute qualité en mandarin et en plusieurs langues en utilisant l'API Doubao Speech 2.0 de Volcengine (字节跳动). Elle est conçue pour les créateurs de contenu vidéo, les développeurs d'agents IA et les intégrateurs de synthèse vocale qui ont besoin de voix off naturelles en chinois avec un contrôle précis du timing des sous-titres. La compétence prend en charge les appels API synchrones et asynchrones, avec une gestion robuste de l'authentification via clé API. Elle fournit des métadonnées temporelles détaillées (sentences[].words[]) qui permettent de générer des sous-titres parfaitement synchronisés. Le workflow recommandé inclut une phase d'échantillonnage (10-15 secondes) avant la narration complète, évitant ainsi des coûts inutiles si la voix ou le débit ne conviennent pas. Parmi les fonctionnalités clés : sélection de voix (voice_id), réglage du débit de parole (speech_rate de 0.5x à 2x), taux d'échantillonnage configurable, et activation des horodatages. La compétence suit les bonnes pratiques de segmentation sémantique des sous-titres en chinois pour éviter les coupures maladroites dans les phrases complexes. Elle est particulièrement utile dans les workflows OpenMontage (montage vidéo automatisé) et s'intègre nativement avec les outils de montage. La compétence insiste sur la sécurité (ne jamais exposer la clé API) et fournit un guide de dépannage détaillé pour les erreurs courantes comme les problèmes d'authentification ou les quotas dépassés.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Army161/OpenMontage/tree/HEAD/.agents/skills/doubao-tts

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Doubao TTS

Nécessite DOUBAO_SPEECH_API_KEY dans .env. Définissez DOUBAO_SPEECH_VOICE_TYPE pour la voix par défaut, ou passez voice_id à l'outil.

API actuelle

Utilisez le flux de clé API nouvelle console :

X-Api-Key: ${DOUBAO_SPEECH_API_KEY}
X-Api-Resource-Id: seed-tts-2.0

N'utilisez pas X-Api-App-Id et X-Api-Access-Key avec une clé API nouvelle console. Si l'API renvoie load grant: requested grant not found, le type de clé ou l'en-tête d'authentification est probablement erroné.

Pour les narrations vidéo longues, préférez le point de terminaison asynchrone :

POST https://openspeech.bytedance.com/api/v3/tts/submit
POST https://openspeech.bytedance.com/api/v3/tts/query

Cela renvoie audio_url ainsi que les métadonnées temporelles sentences[].words[] qui peuvent être utilisées pour construire des sous-titres.

Utilisation avec OpenMontage

Générez avec le sélecteur TTS :

from tools.audio.tts_selector import TTSSelector

result = TTSSelector().execute({
    "preferred_provider": "doubao",
    "text": "如果 AI 真的会改变未来,普通人到底该怎么参与?",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/narration.mp3",
    "speech_rate": 0,
    "enable_timestamp": True,
})

Ou appelez directement le fournisseur :

from tools.audio.doubao_tts import DoubaoTTS

result = DoubaoTTS().execute({
    "text": "短样本试听文本。",
    "voice_id": "zh_female_vv_uranus_bigtts",
    "output_path": "projects/my-video/assets/audio/doubao_sample.mp3",
})

Le fournisseur écrit :

  • output_path : fichier audio téléchargé
  • metadata_path : réponse JSON complète de la requête, par défaut <output_path>.json

Workflow recommandé

  1. Générez un échantillon de 10 à 15 secondes avant une narration complète payante.
  2. Demandez à l'utilisateur d'approuver le naturel de la voix, l'accent et la vitesse.
  3. Générez la narration complète uniquement après approbation.
  4. Conservez le JSON de la requête. C'est la source de vérité pour le timing des sous-titres.
  5. Construisez les sous-titres à partir de sentences[].words[], pas à partir de la longueur estimée du texte.
  6. Regroupez les sous-titres par phrases sémantiques chinoises avant d'appliquer les horodatages. Ne divisez pas uniquement par un nombre fixe de caractères ; cela pourrait briser des phrases comme "在不押单个公司的情况下" ou "可能会被慢慢稀释" et nuire à la compréhension.
  7. Laissez la durée vidéo suivre le rythme de la voix approuvé, sauf si l'utilisateur demande explicitement de correspondre à une durée antérieure.

Paramètres

  • voice_id : speaker / type de voix Doubao. Par défaut : DOUBAO_SPEECH_VOICE_TYPE.
  • resource_id : utilisez seed-tts-2.0 pour les voix Doubao Speech 2.0.
  • speech_rate : 0 est normal, 100 est 2x, -50 est 0.5x.
  • sample_rate : par défaut 24000.
  • enable_timestamp : par défaut true.
  • return_usage : par défaut true, demande les métadonnées d'utilisation lorsqu'elles sont disponibles.

Ne passez pas additions.explicit_language par défaut. Certaines combinaisons de point de terminaison/clé rejettent zh-cn avec unsupported additions explicit language zh-cn.

Pour les explications calmes en mandarin, commencez avec speech_rate: 0. Si le résultat est trop long pour le format approuvé, faites un court échantillon de comparaison avec speech_rate: 25 ou 50 avant de régénérer la narration complète. N'augmentez pas la vitesse uniquement pour correspondre à la durée d'un fournisseur précédent si l'utilisateur préfère le rythme naturel de Doubao.

Dépannage

  • load grant: requested grant not found : mauvais type de clé ou mauvais en-tête d'authentification. Utilisez X-Api-Key pour les clés API nouvelle console.
  • speaker permission denied : l'identifiant de la voix est erroné ou n'est pas autorisé pour la ressource sélectionnée.
  • quota exceeded : quota, nombre de caractères à vie ou simultanéité dépassés.
  • Horodatages manquants : vérifiez enable_timestamp: true, conservez le JSON de la requête et confirmez que le point de terminaison sélectionné a renvoyé sentences.

Sécurité

N'imprimez ni n'écrivez jamais la clé API dans les journaux, métadonnées, correctifs ou artefacts de projet. .env.example doit contenir uniquement des noms de variables vides.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Army161/OpenMontage

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax). Supports two gateways: HeyGen API and fal.ai API.

Army161/OpenMontage

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Army161/OpenMontage

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Army161/OpenMontage

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Army161/OpenMontage

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Army161/OpenMontage

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Army161/OpenMontage

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Army161/OpenMontage

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Army161/OpenMontage

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Army161/OpenMontage

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Army161/OpenMontage

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Army161/OpenMontage

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

Army161/OpenMontage

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Army161/OpenMontage

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Army161/OpenMontage

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Army161/OpenMontage

Best practices for Remotion - Video creation in React

Army161/OpenMontage

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Army161/OpenMontage

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Army161/OpenMontage

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Army161/OpenMontage

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

Skills associés