Communitygithub.com

0xsline/openchatcut

Generador de texto a voz (TTS), locuciones, sincronización/colocación de narración y efectos de sonido personalizados (SFX). Úsalo cuando el usuario quiera voz generada a partir de texto, añadir/reemplazar/alinear narración o locución en un video/línea de tiempo existente, mantener la locución sincronizada tras ediciones de reencuadre visual, necesite audición/selección de voces, o solicite explícitamente un efecto de sonido nuevo/personalizado no disponible en la biblioteca de efectos de sonido.

¿Qué es openchatcut?

Esta habilidad, definida en SKILL.md como 'Generador de Voz y Efectos de Sonido', permite a un agente de IA producir locuciones mediante texto a voz (TTS) y efectos de sonido personalizados para proyectos de edición de video. Su utilidad principal radica en cubrir flujos de trabajo complejos: no solo genera audio desde texto, sino que también gestiona la sincronización de narraciones existentes con cambios visuales en la línea de tiempo, siguiendo un documento de referencia específico (references/video-sync.md). Es compatible con herramientas de edición como OpenChatCut y usa proveedores de TTS como Doubao, ElevenLabs y MiniMax, proporcionando catálogos curados de voces y muestras para audición. Además, incorpora un flujo para generar efectos de sonido personalizados solo cuando la biblioteca integrada no ofrece una coincidencia adecuada. La habilidad detalla contratos de API, parámetros específicos de cada proveedor, y reglas para la presentación de opciones de voz, ajustes de velocidad, emoción y formato de salida, todo estructurado para guiar al agente en la toma de decisiones y en la interacción con el usuario.

Compatible con~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/0xsline/openchatcut/tree/HEAD/src/agent/skills/voice

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Generador de Voz y Efectos de Sonido

Genera locuciones (TTS) y efectos de sonido. Para TTS, elige un proveedor y una voz concretos antes de llamar a submit_voice.

Cuándo Usarlo

  • Generar locución/narración a partir de texto
  • Crear audio de texto a voz para videos
  • Añadir, reemplazar o rehacer narración/locución para un video existente, línea de tiempo, grabación de pantalla, animación de diapositivas, demostración de producto, edición de B-roll, video explicativo de MG, u otra secuencia visual
  • Mantener la narración/locución existente alineada después de recortar, acelerar, ralentizar, mover, reordenar o reemplazar los elementos visuales que describe
  • Ofrecer y hacer audición de opciones de voz TTS cuando el usuario no ha seleccionado una voz concreta
  • Generar efectos de sonido personalizados a partir de descripciones de texto solo después de verificar primero la biblioteca de efectos de sonido

TTS (Texto a Voz)

Si la solicitud actual tiene un destino visual existente y el usuario quiere narración, locución, doblaje o voz de reemplazo para ese destino, lee references/video-sync.md antes de redactar nueva narración, usar texto de narración existente para generar TTS, o colocar audio. Haz esto incluso cuando el usuario no haya dicho explícitamente "sincronizar" o "coincidir con lo visual"; la existencia de un destino visual significa que el ritmo y significado de la narración pueden necesitar seguir el contenido en pantalla. Usa la ruta normal de TTS independiente solo cuando no haya un destino visual o el usuario solo quiera un activo de audio a partir de texto.

También lee references/video-sync.md cuando la línea de tiempo ya tenga narración/locución y el usuario pida cambiar los elementos visuales manteniendo esa locución alineada. Esta es una tarea de mantenimiento de sincronización incluso si no se necesita nuevo TTS.

Usa submit_voice para crear un activo de audio TTS. El contrato actual de la herramienta MCP es:

  • provider es obligatorio. Las opciones configuradas pueden ser doubao, elevenlabs, minimax, inworld, fishaudio, speechify, openai, gemini, mistral o cartesia. Todos los proveedores son de suscripción voluntaria; usa solo los proveedores mostrados como configurados en el prompt de capacidades.
  • voiceId es obligatorio, concreto y específico del proveedor. La única excepción es la mezcla deliberada de timbreWeights de MiniMax, donde voiceId debe estar vacío. No mezcles catálogos.
  • El catálogo curado en references/voices.md cubre solo Doubao, ElevenLabs y MiniMax. Otros proveedores no tienen un preset empaquetado o catálogo de muestra en OpenChatCut. Solicita un ID de voz concreto del usuario o de su cuenta de proveedor; nunca inventes un preset o una URL /voice-samples/....
  • Los campos respaldados por el SDK de IA son específicos del proveedor: OpenAI admite modelId, speed, outputFormat e instructions; Gemini admite modelId, outputFormat e instructions; Mistral admite modelId y outputFormat; Cartesia admite modelId, speed, languageCode y outputFormat. Omite campos no admitidos o no solicitados.
  • Inworld, Fish Audio y Speechify aceptan solo voiceId más modelId opcional. No pases controles de expresividad, velocidad, idioma o salida a estos proveedores.
  • submit_voice crea solo un activo de audio. La colocación, reemplazo, recorte y alineación en la línea de tiempo ocurren después con herramientas de línea de tiempo.
  • Para narraciones largas, pueden ser útiles múltiples llamadas a submit_voice: divide en pausas naturales, grupos de oraciones o límites de ritmo del guion cuando el flujo de trabajo se beneficie de clips de voz con tiempos o colocación separados.
  • Doubao admite speedRatio, loudnessRatio, pitch, emotion, emotionScale, performancePrompt y explicitDialect, pero no todas las voces admiten todos los controles expresivos. Consulta references/voices.md antes de usarlos.
  • ElevenLabs conserva sus controles oficiales de configuración de voz, idioma, semilla, salida, normalización, diccionario de pronunciación, continuidad, registro y latencia. MiniMax conserva sus controles dedicados documentados en references/minimax-tts.md.

Soporte de controles Doubao para voces curadas actuales:

  • vivi, xiaohe, yunzhou, xiaotian, naiqimengwa, yingtaowanzi, wenroumama, zhixingnv, dayi, jitangnv, liuchang, ruyayichen, morgan, qingcang, huiben, popo, yuanboxiaoshu, baqiqingshu y tangseng admiten emotion / emotionScale explícitos, performancePrompt e indicaciones de estilo ASMR.
  • shuanglangshaonian admite performancePrompt y seguimiento de instrucciones estilo COT/QA, pero no admite emotion / emotionScale explícitos ni control de estilo ASMR.
  • explicitDialect solo es compatible con vivi y puede ser dongbei, shaanxi o sichuan.

Soporte de controles ElevenLabs para voces curadas actuales:

  • amelia, brittney, hope, jessica, arabella, jane, maria, mark, frederick, peter, james, jon, sully, david y alex admiten los mismos controles a nivel de solicitud; el soporte específico del modelo aún es validado por ElevenLabs.
  • Estos controles no son garantías por voz de un estilo de actuación específico. Usa las etiquetas/muestras preestablecidas para elegir una voz naturalmente adecuada, luego usa los controles para cambios de entrega moderados.
  • Para ElevenLabs eleven_v3, las etiquetas de audio en línea están disponibles cuando el usuario solicita una entrega expresiva como emoción, tono, señales no verbales, sugerencias de acento o ritmo local. Los ejemplos oficiales se ajustan a estas categorías útiles de TTS: etiquetas de emoción/tono como [happy], [sad], [angry], [excited], [curious], [sarcastic], [crying], [annoyed], [appalled], [thoughtful], [surprised] y [mischievously]; etiquetas de entrega vocal y señales no verbales como [whispers], [laughs], [sighs], [exhales], [inhales deeply], [clears throat], [snorts], [swallows], [wheezing] y [coughs]; etiquetas de ritmo/pausa/velocidad local como [slowly], [pause], [short pause], [long pause], [rushed] y [drawn out]; y etiquetas de acento/rendimiento especial como [strong X accent], por ejemplo [strong French accent], además de [sings], [singing], [woo] y [pirate voice]. Los ejemplos oficiales no son exhaustivos; se pueden probar etiquetas auditivas similares cuando el usuario solicite explícitamente esa entrega y la etiqueta describa cómo debe sonar la voz, no una acción visual. Escribe las etiquetas directamente en text, cerca de la frase corta que deben afectar. Trata las etiquetas como guía local, no como controles para todo el párrafo.
  • Para pausas y ritmo en eleven_v3, usa puntuación, estructura del texto, segmentos generados más cortos o etiquetas de audio locales como [short pause] y [slowly] cuando sea necesario.
// Inglés / multilingüe mediante ElevenLabs
submit_voice({
  provider: "elevenlabs",
  text: "Hello world",
  voiceId: "peter",
});

// Chino mediante Doubao
submit_voice({
  provider: "doubao",
  text: "你好世界",
  voiceId: "liuchang",
});

// Con ajuste de velocidad (solo Doubao)
submit_voice({
  provider: "doubao",
  text: "这是一段稍快的中文旁白。",
  voiceId: "liuchang",
  speedRatio: 1.5,
});

// Con controles expresivos de Doubao
submit_voice({
  provider: "doubao",
  text: "这次事故提醒我们,安全永远不能侥幸。",
  voiceId: "liuchang",
  emotion: "sad",
  emotionScale: 3,
  performancePrompt: "痛心但克制,语速稍慢,像新闻专题旁白",
  pitch: -1,
  speedRatio: 0.92,
});

// Con controles de entrega de ElevenLabs
submit_voice({
  provider: "elevenlabs",
  text: "The launch changed how teams plan their daily work.",
  voiceId: "peter",
  speed: 0.95,
  stability: 0.4,
  similarityBoost: 0.8,
  outputFormat: "wav_44100",
});

// MiniMax TTS (cuando está configurado) — ver references/minimax-tts.md
submit_voice({
  provider: "minimax",
  text: "欢迎使用视频编辑助手。",
  voiceId: "female-yujie",
  speed: 1,
  name: "VO · welcome",
});

// Cartesia toma forma después de que el usuario confirme el ID de voz exacto de la cuenta.
// confirmedCartesiaVoiceId representa ese valor proporcionado, no un preset.
submit_voice({
  provider: "cartesia",
  text: "A concise product introduction.",
  voiceId: confirmedCartesiaVoiceId,
  modelId: "sonic-3",
  speed: 1,
  languageCode: "en",
  outputFormat: "mp3",
});

Audición de Voz Antes de la Generación

Cuando el usuario necesita TTS y aún no ha elegido una voz concreta, primero separa los proveedores con opciones curadas de OpenChatCut de los proveedores que requieren un ID de voz específico de la cuenta.

Para Doubao, ElevenLabs o MiniMax, lee references/voices.md antes de recomendar, renderizar o enviar una opción. Úsalo como la única fuente para IDs de preset curados, elección de proveedor, etiquetas de visualización, etiquetas y URLs de muestra incluidas. No crees opciones de voz de memoria, nombres traducidos o descripciones amplias del usuario.

Para Inworld, Fish Audio, Speechify, OpenAI, Gemini, Mistral o Cartesia, no ofrezcas una lista de audición inventada ni URL de muestra. Pide al usuario el ID de voz concreto de ese proveedor configurado. Una descripción amplia como "mujer cálida" no es un voiceId válido.

Primero determina dos idiomas separados:

  • Idioma de conversación del usuario: el idioma que el usuario usó para hablar contigo. Úsalo para la respuesta circundante, form-visual label, visual-option name y summary.
  • Idioma de narración objetivo: el idioma del texto que se sintetiza. Úsalo solo para elegir el proveedor y el catálogo de voces.

El botón de envío del widget de audición está fijado a la etiqueta predeterminada en esta compilación (submitLabel se acepta pero no se renderiza); mantén la etiqueta de la pregunta y las etiquetas de las opciones en el idioma de conversación del usuario, no en el idioma de narración objetivo. Por ejemplo: los usuarios en inglés ven submit_label="Submit", los usuarios en chino ven submit_label="提交", y los usuarios en español ven submit_label="Enviar".

"ayúdame a generar una locución en chino" es una conversación en español que solicita narración en chino, por lo que el texto del widget de audición permanece en español mientras que los candidatos de voz provienen de Doubao.

Para un proveedor curado:

  1. Filtra references/voices.md por idioma de narración objetivo / proveedor y requisitos explícitos como género, rango de edad, tono y caso de uso.
  2. Si ningún preset coincide con todos los requisitos explícitos, di que no hay una coincidencia exacta y ofrece los presets compatibles más cercanos con una advertencia clara.
  3. Elige 2-4 presets curados que coincidan.
  4. Carga widget-forms, luego llama a ask_followup_questions con las opciones de voz y muestras de audio reales incluidas.
  5. Espera a que el usuario elija.
  6. Llama a submit_voice con el ID de preset seleccionado como voiceId.

Para un proveedor sin un catálogo curado de OpenChatCut, solicita un ID de voz de proveedor concreto en texto libre. No añadas media ni sintetices una ruta /voice-samples/.... Espera a que el usuario proporcione/confirme el ID exacto antes de llamar a submit_voice.

Para cada opción de audición curada, mantén value, etiqueta de visualización, media y summary vinculados a la misma fila de preset de references/voices.md. Usa solo las URLs de muestra registradas allí. Mantén value como el ID de preset y media como su URL de muestra correspondiente. Escribe name y summary en el idioma de conversación del usuario. El idioma de narración objetivo solo decide el proveedor/catálogo de voces. Después del envío, asigna el nombre de visualización de vuelta al ID de preset de la misma lista de candidatos.

Solicitud en inglés para narración en chino:

<widget submit_label="Submit">
  <form-visual
    id="voiceId"
    label="For Chinese voiceover, I recommend a few voices to try:"
    required="true"
  >
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="Female / young / friendly, general"
    />
    <visual-option
      value="xiaohe"
      name="Xiaohe"
      media="/voice-samples/doubao-xiaohe.mp3"
      aspect-ratio="16:5"
      summary="Female / young / soft, clear"
    />
    <visual-option
      value="yunzhou"
      name="Yunzhou"
      media="/voice-samples/doubao-yunzhou.mp3"
      aspect-ratio="16:5"
      summary="Male / young / neutral, business"
    />
  </form-visual>
</widget>

Solicitud en chino para narración en chino:

<widget submit_label="提交">
  <form-visual
    id="voiceId"
    label="我推荐这几个中文旁白音色,先试听一下:"
    required="true"
  >
    <visual-option
      value="morgan"
      name="Morgan"
      media="/voice-samples/doubao-morgan.mp3"
      aspect-ratio="16:5"
      summary="男 / 中年 / 低沉知识解说"
    />
    <visual-option
      value="zhixingnv"
      name="知性女声"
      media="/voice-samples/doubao-zhixingnv.mp3"
      aspect-ratio="16:5"
      summary="女 / 中年 / 冷静知识讲解"
    />
    <visual-option
      value="vivi"
      name="Vivi"
      media="/voice-samples/doubao-vivi.mp3"
      aspect-ratio="16:5"
      summary="女 / 年轻 / 亲切通用口播"
    />
  </form-visual>
</widget>

Efectos de Sonido

Para efectos de sonido (SFX) de edición ordinaria, no generes primero. Usa la biblioteca de efectos de sonido integrada antes de generar:

  1. Llama a browse_library con category:"sound-effects" y una consulta como "whoosh", "camera shutter", "notification", "censor beep" o "record scratch".
  2. Inspecciona el library:sound:<id> devuelto.
  3. Colócalo con edit_item, usando fromFrame como el fotograma de anclaje/momento editorial del sonido:
browse_library({
  category: "sound-effects",
  query: "short whoosh transition",
});

edit_item({
  adds: [
    {
      type: "audio",
      assetId: "library:sound:whoosh-short",
      fromFrame: 120,
      trackId: "A1",
    },
  ],
});

Solo genera efectos de sonido a partir de descripciones de texto con submit_sound cuando:

  • El usuario solicite explícitamente un sonido generado/original/personalizado.
  • El sonido solicitado sea demasiado específico para la biblioteca de efectos de sonido existente.
  • browse_library({ category:"sound-effects", query }) no devuelva una coincidencia adecuada.
// Efecto de sonido personalizado/generado después de que la biblioteca no tenga coincidencia adecuada
submit_sound({ prompt: "A dog barking in the distance" });

// Con duración personalizada (0.5-22 segundos)
submit_sound({
  prompt: "Thunder and heavy rain",
  durationSeconds: 15,
});

// Alta adherencia al prompt
submit_sound({
  prompt: "Sci-fi laser gun firing",
  promptInfluence: 0.8,
});

Consejos para mejores resultados:

  • Sé específico: "Un perro ladrando fuerte" en lugar de solo "perro".
  • Describe la acústica ("eco", "cercano", "lejano", "en interiores").
  • Usa durationSeconds para pistas y promptInfluence para que coincida con la descripción exacta.

Después de crear un activo, colócalo con edit_item como en los ejemplos de arriba.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

0xsline/openchatcut

Connect an MCP-capable coding agent to OpenChatCut and edit local video projects. Use when the user asks to install, connect, or set up OpenChatCut; inspect or edit an OpenChatCut project; work with its timeline, transcript, captions, media, generation, motion graphics, audio, color, or export tools; or recover from an OpenChatCut MCP error.

0xsline/openchatcut

Use when acquiring or importing media into a OpenChatCut project asset library for video editing or creation, including local/attached videos, user-provided paths, public media URLs, web video/audio/image assets, upload fallback decisions, and deciding between import_media, download_media, or manual user action.

0xsline/openchatcut

Use when a OpenChatCut video editing or creation workflow needs export, render, download, share, final delivery, subtitle-file export, render choice, local-only asset handling, or export fallback explanation.

0xsline/openchatcut

AI image generation via Fal.ai, gpt-image-2, nano-banana, MiniMax image-01, and xAI Grok Imagine. Use when the user wants to generate or create an image / picture / still.

0xsline/openchatcut

Use when a OpenChatCut tool call fails or returns an unexpected shape.

0xsline/openchatcut

Music generation via Mureka, MiniMax, Atlas Cloud, and Sonilo. Use for instrumentals, songs, soundtracks, track/stem generation, covers, or video-conditioned scoring of the finished cut through `submit_music`.

0xsline/openchatcut

OpenChatCut product knowledge — UI layout, editor features, and how generation providers are configured. Use when the user asks about the product interface, how to use a feature, where to find something, or needs GUI guidance for something the agent cannot do directly. Also use as fallback when a task fails and the user needs to complete it manually in the UI. NOT for live project-state queries ("where are my folders?", "what's on my timeline?", "where is clip X?") — those are answered by `read_project`, not by this skill.

0xsline/openchatcut

AI shader generator for WebGL video effects, transitions, masks, and color grading (LUT / 调色 / 电影感 / film look). Use when the user wants a video effect (滤镜 / 特效), a transition (转场 / crossfade / wipe / cube / 3d), a mask (蒙版 / 遮罩 / reveal), a zoom / push-in (推近 / 推镜头), or a color grade — try the built-in effects (zoom, builtin LUTs) before generating a new shader.

0xsline/openchatcut

Use when checking whether agent edits are reflected in the OpenChatCut project and editor.

0xsline/openchatcut

AI video generation via Fal.ai, Seedance 2.0, Kling, MiniMax Hailuo, xAI Grok Imagine, and OFox. Use when the user wants to generate a video clip — text-to-video, image-to-video, first/last-frame transitions, reference-guided generation, multi-shot, or generatively editing / extending an existing clip.

0xsline/openchatcut

Use when the agent should ask the user for structured input with an in-chat form, including single-select, multi-select, text fields, style pickers, or voice audition choices.

Skills relacionados