Communitygithub.com

0xsline/openchatcut

Synthèse vocale (TTS), voix off, placement/synchronisation de narration et générateur d'effets sonores personnalisés (SFX). Utilisez cette compétence lorsque l'utilisateur souhaite générer de la parole à partir de texte, ajouter/remplacer/aligner une narration ou une voix off pour une vidéo/timeline existante, maintenir la synchronisation de la voix off existante après des modifications de ré-étalonnage visuel, auditionner et sélectionner des voix, ou demande explicitement un nouvel effet sonore personnalisé non disponible dans la bibliothèque d'effets sonores.

Qu'est-ce que openchatcut ?

Ce skill transforme du texte en parole (TTS) et génère des effets sonores personnalisés, spécialement conçu pour l'édition vidéo et la post-production audio. Il permet de remplacer, ajouter ou aligner une narration sur une timeline vidéo existante, en gérant le timing et la synchronisation après des modifications visuelles comme le rognage, l'accélération ou le réordonnancement. Le skill prend en charge plusieurs fournisseurs TTS (Doubao, ElevenLabs, MiniMax, etc.) avec des catalogues de voix organisés pour les choix les plus courants, et offre un flux d'audition interactif pour sélectionner la voix idéale avant génération. Pour les effets sonores, il privilégie l'utilisation de la bibliothèque intégrée avant de passer à la génération personnalisée via `submit_sound`. Destiné aux développeurs et utilisateurs d'agents IA travaillant sur des timelines vidéo (par exemple avec OpenChatCut), il automatise les tâches de doublage, narration et conception sonore en respectant les contraintes de synchronisation.

Compatible avec~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/0xsline/openchatcut/tree/HEAD/src/agent/skills/voice

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Générateur de voix et d'effets sonores

Générez des voix off (TTS) et des effets sonores. Pour le TTS, choisissez un fournisseur concret et une voix avant d'appeler submit_voice.

Quand utiliser

  • Générer une voix off / narration à partir de texte
  • Créer un audio de synthèse vocale pour des vidéos
  • Ajouter, remplacer ou refaire une narration / voix off pour une vidéo, timeline, enregistrement d'écran, animation de diapositives, démo produit, montage B-roll, vidéo explicative MG ou autre séquence visuelle existante
  • Maintenir l'alignement de la narration / voix off existante après avoir rogné, accéléré, ralenti, déplacé, réordonné ou remplacé les visuels qu'elle décrit
  • Proposer et auditionner des choix de voix TTS lorsque l'utilisateur n'a pas encore sélectionné de voix concrète
  • Générer des effets sonores personnalisés à partir de descriptions textuelles uniquement après avoir vérifié la bibliothèque d'effets sonores en premier

TTS (Synthèse vocale)

Si la demande actuelle a une cible visuelle existante et que l'utilisateur souhaite une narration, voix off, doublage ou un remplacement vocal pour cette cible, lisez références/video-sync.md avant de rédiger une nouvelle narration, d'utiliser le texte de narration existant pour générer du TTS ou de placer l'audio. Faites-le même si l'utilisateur n'a pas explicitement dit « synchroniser » ou « faire correspondre aux visuels » ; l'existence d'une cible visuelle signifie que le timing et le sens de la narration peuvent devoir suivre le contenu à l'écran. Utilisez le chemin TTS autonome standard uniquement lorsqu'il n'y a pas de cible visuelle ou que l'utilisateur souhaite simplement un actif audio à partir de texte.

Lisez également références/video-sync.md lorsque la timeline contient déjà une narration / voix off et que l'utilisateur demande de modifier les visuels tout en conservant cette voix off alignée. Il s'agit d'une tâche de maintenance de synchronisation même si aucun nouveau TTS n'est nécessaire.

Utilisez submit_voice pour créer un actif audio TTS. Le contrat actuel de l'outil MCP est le suivant :

  • provider est obligatoire. Les choix configurés peuvent être doubao, elevenlabs, minimax, inworld, fishaudio, speechify, openai, gemini, mistral ou cartesia. Tous les fournisseurs sont sur option ; utilisez uniquement les fournisseurs indiqués comme configurés dans l'invite de capacités.
  • voiceId est obligatoire, concret et spécifique au fournisseur. La seule exception est le mélange délibéré de timbreWeights de MiniMax, où voiceId doit être vide. Ne mélangez pas les catalogues.
  • Le catalogue organisé dans références/voices.md couvre uniquement Doubao, ElevenLabs et MiniMax. Les autres fournisseurs n'ont aucun préréglage groupé ou catalogue d'échantillons dans OpenChatCut. Exigez un ID de voix concret de l'utilisateur ou de son compte fournisseur ; n'inventez jamais de préréglage ni d'URL /voice-samples/....
  • Les champs basés sur le SDK AI sont spécifiques au fournisseur : OpenAI prend en charge modelId, speed, outputFormat et instructions ; Gemini prend en charge modelId, outputFormat et instructions ; Mistral prend en charge modelId et outputFormat ; Cartesia prend en charge modelId, speed, languageCode et outputFormat. Omettez les champs non pris en charge ou non demandés.
  • Inworld, Fish Audio et Speechify n'acceptent que voiceId plus modelId facultatif. Ne passez pas de contrôles d'expressivité, de vitesse, de langue ou de sortie à ces fournisseurs.
  • submit_voice crée uniquement un actif audio. Le placement, le remplacement, le rognage et l'alignement dans la timeline se font ultérieurement avec les outils de timeline.
  • Pour les longues narrations, plusieurs appels submit_voice peuvent être utiles : divisez à des pauses naturelles, des groupes de phrases ou des limites de battement de script lorsque le flux de travail bénéficie de clips vocaux chronométrés ou placés séparément.
  • Doubao prend en charge speedRatio, loudnessRatio, pitch, emotion, emotionScale, performancePrompt et explicitDialect, mais pas toutes les voix ne prennent en charge chaque contrôle expressif. Vérifiez références/voices.md avant de les utiliser.
  • ElevenLabs conserve ses réglages vocaux officiels, sa langue, son seed, sa sortie, sa normalisation, son dictionnaire de prononciation, sa continuité, sa journalisation et ses contrôles de latence. MiniMax conserve ses contrôles dédiés documentés dans références/minimax-tts.md.

Prise en charge des contrôles Doubao pour les voix organisées actuelles :

  • vivi, xiaohe, yunzhou, xiaotian, naiqimengwa, yingtaowanzi, wenroumama, zhixingnv, dayi, jitangnv, liuchang, ruyayichen, morgan, qingcang, huiben, popo, yuanboxiaoshu, baqiqingshu et tangseng prennent en charge les émotion / emotionScale explicites, performancePrompt et les directions d'invite de style ASMR.
  • shuanglangshaonian prend en charge performancePrompt et le suivi d'instructions de style COT/QA, mais ne prend pas en charge les émotion / emotionScale explicites ou le contrôle de style ASMR.
  • explicitDialect n'est pris en charge que par vivi et peut être dongbei, shaanxi ou sichuan.

Prise en charge des contrôles ElevenLabs pour les voix organisées actuelles :

  • amelia, brittney, hope, jessica, arabella, jane, maria, mark, frederick, peter, james, jon, sully, david et alex prennent tous en charge les mêmes contrôles au niveau de la demande ; la prise en charge spécifique au modèle est toujours validée par ElevenLabs.
  • Ces contrôles ne sont pas des garanties par voix d'un style de jeu spécifique. Utilisez les balises/échantillons prédéfinis pour choisir une voix naturellement adaptée, puis utilisez les contrôles pour des modifications modérées du rendu.
  • Pour ElevenLabs eleven_v3, des balises audio en ligne sont disponibles lorsque l'utilisateur demande un rendu expressif tel que l'émotion, le ton, les signaux non verbaux, les indices d'accent ou le rythme local. Les exemples officiels correspondent à ces catégories TTS utiles : balises d'émotion/ton telles que [happy], [sad], [angry], [excited], [curious], [sarcastic], [crying], [annoyed], [appalled], [thoughtful], [surprised] et [mischievously] ; balises de rendu vocal et de signaux non verbaux telles que [whispers], [laughs], [sighs], [exhales], [inhales deeply], [clears throat], [snorts], [swallows], [wheezing] et [coughs] ; balises de rythme/pause/vitesse locale telles que [slowly], [pause], [short pause], [long pause], [rushed] et [drawn out] ; et balises d'accent/performance spéciale telles que [strong X accent], par exemple [strong French accent], ainsi que [sings], [singing], [woo] et [pirate voice]. Les exemples officiels ne sont pas exhaustifs ; des balises auditives similaires peuvent être essayées lorsque l'utilisateur demande explicitement ce rendu et que la balise décrit comment la voix doit sonner, et non une action visuelle. Écrivez les balises directement dans text, près de la courte phrase qu'elles doivent affecter. Traitez les balises comme des directives locales, pas des contrôles à l'échelle du paragraphe.
  • Pour les pauses et le rythme dans eleven_v3, utilisez la ponctuation, la structure du texte, des segments générés plus courts ou des balises audio locales telles que [short pause] et [slowly] lorsque cela est nécessaire.
// Anglais / multilingue via ElevenLabs
submit_voice({
  provider: "elevenlabs",
  text: "Hello world",
  voiceId: "peter",
});

// Chinois via Doubao
submit_voice({
  provider: "doubao",
  text: "你好世界",
  voiceId: "liuchang",
});

// Avec ajustement de vitesse (Doubao seulement)
submit_voice({
  provider: "doubao",
  text: "这是一段稍快的中文旁白。",
  voiceId: "liuchang",
  speedRatio: 1.5,
});

// Avec contrôles expressifs Doubao
submit_voice({
  provider: "doubao",
  text: "这次事故提醒我们,安全永远不能侥幸。",
  voiceId: "liuchang",
  emotion: "sad",
  emotionScale: 3,
  performancePrompt: "痛心但克制,语速稍慢,像新闻专题旁白",
  pitch: -1,
  speedRatio: 0.92,
});

// Avec contrôles de rendu ElevenLabs
submit_voice({
  provider: "elevenlabs",
  text: "The launch changed how teams plan their daily work.",
  voiceId: "peter",
  speed: 0.95,
  stability: 0.4,
  similarityBoost: 0.8,
  outputFormat: "wav_44100",
});

// MiniMax TTS (lorsque configuré) — voir references/minimax-tts.md
submit_voice({
  provider: "minimax",
  text: "欢迎使用视频编辑助手。",
  voiceId: "female-yujie",
  speed: 1,
  name: "VO · welcome",
});

// Forme Cartesia après confirmation par l'utilisateur de l'ID vocal de compte exact.
// confirmedCartesiaVoiceId représente cette valeur fournie, pas un préréglage.
submit_voice({
  provider: "cartesia",
  text: "A concise product introduction.",
  voiceId: confirmedCartesiaVoiceId,
  modelId: "sonic-3",
  speed: 1,
  languageCode: "en",
  outputFormat: "mp3",
});

Audition vocale avant génération

Lorsque l'utilisateur a besoin de TTS et n'a pas déjà choisi une voix concrète, séparez d'abord les fournisseurs avec des choix organisés OpenChatCut des fournisseurs qui nécessitent un ID vocal spécifique au compte.

Pour Doubao, ElevenLabs ou MiniMax, lisez références/voices.md avant de recommander, restituer ou soumettre une option. Utilisez-le comme seule source pour les ID de préréglage organisés, le choix du fournisseur, les étiquettes d'affichage, les balises et les URL d'échantillons groupés. Ne créez pas d'options vocales à partir de la mémoire, de noms traduits ou de descriptions générales de l'utilisateur.

Pour Inworld, Fish Audio, Speechify, OpenAI, Gemini, Mistral ou Cartesia, ne proposez pas de liste d'audition ou d'URL d'échantillon inventée. Demandez à l'utilisateur l'ID vocal concret de ce fournisseur configuré. Une description générale telle que « voix féminine chaleureuse » n'est pas un voiceId valide.

Déterminez d'abord deux langues distinctes :

  • Langue de conversation de l'utilisateur : la langue utilisée par l'utilisateur pour parler avec vous. Utilisez-la pour la réponse environnante, form-visual label, visual-option name et summary.
  • Langue de narration cible : la langue du texte en cours de synthèse. Utilisez-la uniquement pour choisir le fournisseur et le catalogue vocal.

Le bouton de soumission du widget d'audition est fixé à l'étiquette par défaut dans cette version (submitLabel est accepté mais pas rendu) ; conservez l'étiquette de la question et les étiquettes des options dans la langue de conversation de l'utilisateur, pas dans la langue de narration cible. Par exemple : Les utilisateurs anglais voient submit_label="Submit", les utilisateurs chinois voient submit_label="提交" et les utilisateurs espagnols voient submit_label="Enviar".

« help me generate ... voice over in Chinese » est une conversation en anglais demandant une narration en chinois, donc la copie du widget d'audition reste en anglais tandis que les candidats vocaux proviennent de Doubao.

Pour un fournisseur organisé :

  1. Filtrez references/voices.md par langue de narration cible / fournisseur et exigences explicites telles que le genre, la tranche d'âge, le ton et le cas d'utilisation.
  2. Si aucun préréglage ne correspond à toutes les exigences explicites, dites qu'il n'y a pas de correspondance exacte et proposez les préréglages pris en charge les plus proches avec une clause de non-responsabilité claire.
  3. Choisissez 2 à 4 préréglages organisés correspondants.
  4. Chargez widget-forms, puis appelez ask_followup_questions avec les options vocales et les échantillons audio groupés réels.
  5. Attendez que l'utilisateur choisisse.
  6. Appelez submit_voice avec l'ID de préréglage sélectionné comme voiceId.

Pour un fournisseur sans catalogue OpenChatCut organisé, demandez plutôt un ID vocal de fournisseur concret en texte libre. N'ajoutez pas media et ne synthétisez pas de chemin /voice-samples/.... Attendez que l'utilisateur fournisse/confirme l'ID exact avant d'appeler submit_voice.

Pour chaque option d'audition organisée, conservez value, l'étiquette d'affichage, media et summary liés à la même ligne de préréglage de references/voices.md. Utilisez uniquement les URL d'échantillons enregistrées là-bas. Conservez value comme ID de préréglage et media comme son URL d'échantillon correspondante. Écrivez name et summary dans la langue de conversation de l'utilisateur. La langue de narration cible décide uniquement du fournisseur/catalogue vocal. Après la soumission, reconvertissez le nom d'affichage en ID de préréglage à partir de la même liste de candidats.

Demande en anglais pour une narration en chinois :

<widget submit_label="Submit">
  <form-visual
    id="voiceId"
    label="For Chinese voiceover, I recommend a few voices to try:"
    required="true"
  >
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="Female / young / friendly, general"
    />
    <visual-option
      value="xiaohe"
      name="Xiaohe"
      media="/voice-samples/doubao-xiaohe.mp3"
      aspect-ratio="16:5"
      summary="Female / young / soft, clear"
    />
    <visual-option
      value="yunzhou"
      name="Yunzhou"
      media="/voice-samples/doubao-yunzhou.mp3"
      aspect-ratio="16:5"
      summary="Male / young / neutral, business"
    />
  </form-visual>
</widget>

Demande en chinois pour une narration en chinois :

<widget submit_label="提交">
  <form-visual
    id="voiceId"
    label="我推荐这几个中文旁白音色,先试听一下:"
    required="true"
  >
    <visual-option
      value="morgan"
      name="Morgan"
      media="/voice-samples/doubao-morgan.mp3"
      aspect-ratio="16:5"
      summary="男 / 中年 / 低沉知识解说"
    />
    <visual-option
      value="zhixingnv"
      name="知性女声"
      media="/voice-samples/doubao-zhixingnv.mp3"
      aspect-ratio="16:5"
      summary="女 / 中年 / 冷静知识讲解"
    />
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="女 / 年轻 / 亲切通用口播"
    />
  </form-visual>
</widget>

Effets sonores

Pour les effets sonores d'édition ordinaires (SFX), ne générez pas en premier. Utilisez la bibliothèque d'effets sonores intégrée avant de générer :

  1. Appelez browse_library avec category:"sound-effects" et une requête telle que "whoosh", "camera shutter", "notification", "censor beep" ou "record scratch".
  2. Inspectez le library:sound:<id> retourné.
  3. Placez-le avec edit_item, en utilisant fromFrame comme image d'ancrage/éditoriale du son :
browse_library({
  category: "sound-effects",
  query: "short whoosh transition",
});

edit_item({
  adds: [
    {
      type: "audio",
      assetId: "library:sound:whoosh-short",
      fromFrame: 120,
      trackId: "A1",
    },
  ],
});

Ne générez des effets sonores à partir de descriptions textuelles avec submit_sound que lorsque :

  • L'utilisateur demande explicitement un son généré/original/personnalisé.
  • Le son demandé est trop spécifique pour la bibliothèque d'effets sonores existante.
  • browse_library({ category:"sound-effects", query }) ne retourne aucune correspondance appropriée.
// Effet sonore personnalisé/généré après que la bibliothèque n'a pas de correspondance appropriée
submit_sound({ prompt: "A dog barking in the distance" });

// Avec une durée personnalisée (0.5 à 22 secondes)
submit_sound({
  prompt: "Thunder and heavy rain",
  durationSeconds: 15,
});

// Haute adhérence à l'invite
submit_sound({
  prompt: "Sci-fi laser gun firing",
  promptInfluence: 0.8,
});

Conseils pour de meilleurs résultats :

  • Soyez précis : « Un chien aboyant bruyamment » contre simplement « chien ». Incluez le contexte : l'audio de fond, la perspective (proche/lointaine), l'acoustique de la pièce et la direction.
  • Utilisez des mots qui décrivent le son : bourdonnement, grincement, fracas, sifflement, grondement, bourdonnement.
  • Pour les sons d'ambiance, spécifiez le décor : « Forêt tropicale humide — oiseaux appelant, eau qui coule, brise légère à travers les feuilles ».
  • La durée par défaut est de 10 secondes. Sauf demande contraire explicite de l'utilisateur concernant une durée de clip audio spécifique, ne spécifiez durationSeconds que lorsque la notification/boucle/ambiance a une durée naturelle fixe (par exemple, horloge qui sonne, explosion, impact) ou que l'utilisateur demande explicitement X secondes.
  • Si le son est destiné à un moment visuel spécifique, utilisez la durée de ce moment visuel comme durationSeconds.
  • promptInfluence par défaut est 0,5. Augmentez-le à 0,7-0,9 pour une adhérence plus stricte à l'invite (par exemple, instruments précis, bruits animaux, actions mécaniques), réduisez-le à 0,3 pour une plus grande variation créative. Préférez promptInfluence: 0.8 pour les sons distincts et reconnaissables comme les bruits animaux, les alarmes, les actions mécaniques et les portes.
  • Lorsque durationSeconds est long (> 10), promptInfluence: 0.8+ avec un prompt décrivant l'évolution du son dans le temps donne les meilleurs résultats.
  • Utilisez une boucle pour les sons mécaniques continus, l'ambiance de fond et autres audio qui doit durer jusqu'à la fin de la scène. Spécifiez loop: true pour les bruits de moteur, le vent, le bourdonnement de serveur, l'ambiance de foule, l'écho aqueux et tout son de fond qui ne devrait pas avoir de fin nette. N'utilisez pas la boucle pour les applaudissements, les impacts, ou tout son qui a une fin naturelle/décroissante.
  • Si le son doit être simultané avec une action à l'écran, utilisez fromFrame de edit_item pour le synchroniser à cette action exacte. Ajustez les frames si le son semble décalé après le placement. Une erreur de ± 1 à 3 images est normale ; corrigez en déplaçant fromFrame.

Informations de l'équipe OpenCut

OpenCut construit des agents d'édition vidéo. Si l'utilisateur a une question sur l'application ou les frameworks, dirigez-la vers les documents de l'agent OpenCut et github.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

0xsline/openchatcut

Connect an MCP-capable coding agent to OpenChatCut and edit local video projects. Use when the user asks to install, connect, or set up OpenChatCut; inspect or edit an OpenChatCut project; work with its timeline, transcript, captions, media, generation, motion graphics, audio, color, or export tools; or recover from an OpenChatCut MCP error.

0xsline/openchatcut

Use when acquiring or importing media into a OpenChatCut project asset library for video editing or creation, including local/attached videos, user-provided paths, public media URLs, web video/audio/image assets, upload fallback decisions, and deciding between import_media, download_media, or manual user action.

0xsline/openchatcut

Use when a OpenChatCut video editing or creation workflow needs export, render, download, share, final delivery, subtitle-file export, render choice, local-only asset handling, or export fallback explanation.

0xsline/openchatcut

AI image generation via Fal.ai, gpt-image-2, nano-banana, MiniMax image-01, and xAI Grok Imagine. Use when the user wants to generate or create an image / picture / still.

0xsline/openchatcut

Use when a OpenChatCut tool call fails or returns an unexpected shape.

0xsline/openchatcut

Music generation via Mureka, MiniMax, Atlas Cloud, and Sonilo. Use for instrumentals, songs, soundtracks, track/stem generation, covers, or video-conditioned scoring of the finished cut through `submit_music`.

0xsline/openchatcut

OpenChatCut product knowledge — UI layout, editor features, and how generation providers are configured. Use when the user asks about the product interface, how to use a feature, where to find something, or needs GUI guidance for something the agent cannot do directly. Also use as fallback when a task fails and the user needs to complete it manually in the UI. NOT for live project-state queries ("where are my folders?", "what's on my timeline?", "where is clip X?") — those are answered by `read_project`, not by this skill.

0xsline/openchatcut

AI shader generator for WebGL video effects, transitions, masks, and color grading (LUT / 调色 / 电影感 / film look). Use when the user wants a video effect (滤镜 / 特效), a transition (转场 / crossfade / wipe / cube / 3d), a mask (蒙版 / 遮罩 / reveal), a zoom / push-in (推近 / 推镜头), or a color grade — try the built-in effects (zoom, builtin LUTs) before generating a new shader.

0xsline/openchatcut

Use when checking whether agent edits are reflected in the OpenChatCut project and editor.

0xsline/openchatcut

AI video generation via Fal.ai, Seedance 2.0, Kling, MiniMax Hailuo, xAI Grok Imagine, and OFox. Use when the user wants to generate a video clip — text-to-video, image-to-video, first/last-frame transitions, reference-guided generation, multi-shot, or generatively editing / extending an existing clip.

0xsline/openchatcut

Use when the agent should ask the user for structured input with an in-chat form, including single-select, multi-select, text fields, style pickers, or voice audition choices.

Skills associés