Communitygithub.com

libz-renlab-ai/TeamBrain

Preprocesamiento de activos para composiciones HyperFrames: narración texto-a-voz (Kokoro), transcripción de audio/vídeo (Whisper) y eliminación de fondos para superposiciones transparentes (u2net).

¿Qué es TeamBrain?

Este skill proporciona tres comandos CLI (`tts`, `transcribe`, `remove-background`) para preparar activos multimedia destinados a composiciones HyperFrames. Es útil cuando necesitas generar locuciones a partir de texto, transcribir audio o vídeo para obtener subtítulos con marcas de tiempo, o eliminar el fondo de un vídeo o imagen para usarlo como superposición transparente. Cada comando descarga su modelo automáticamente en la primera ejecución y lo almacena en caché bajo `~/.cache/hyperframes/`. Funciona en cualquier sistema con Node.js y Python, y soporta tanto la entrada directa de texto como archivos. El comando `tts` utiliza Kokoro-82M para síntesis de voz con más de 54 voces multilingües; `transcribe` usa Whisper para generar transcripciones con temporización a nivel de palabra; y `remove-background` emplea u2net para vídeo e imagen. También permite encadenar los pasos (TTS → transcribir → subtítulos) para crear locuciones sincronizadas automáticamente.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/libz-renlab-ai/TeamBrain/tree/HEAD/.agents/skills/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Preprocesamiento de medios para HyperFrames

Tres comandos CLI que producen activos para composiciones: tts (voz), transcribe (marcas de tiempo) y remove-background (vídeo transparente). Cada uno descarga un modelo en la primera ejecución y lo almacena en caché en ~/.cache/hyperframes/. Coloca el resultado en el proyecto y luego haz referencia a él desde el HTML de la composición; consulta el skill hyperframes para conocer las convenciones de elementos de audio/vídeo.

Texto a voz (tts)

Genera audio de voz localmente con Kokoro-82M. No necesita clave API.

npx hyperframes tts "Texto aquí" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # todas las 54 voces

Selección de voz

Elige la voz según el contenido. La voz por defecto es af_heart.

Tipo de contenidoVozMotivo
Demostración de productoaf_heart/af_novaCálida y profesional
Tutorial / guíaam_adam/bf_emmaNeutra, fácil de seguir
Marketing / promocionalaf_sky/am_michaelEnérgica o autoritaria
Documentaciónbf_emma/bm_georgeInglés británico claro, formal
Casual / redesaf_heart/af_skyAccesible, natural

Multilingüe

Los IDs de voz codifican el idioma en la primera letra: a=inglés americano, b=inglés británico, e=español, f=francés, h=hindi, i=italiano, j=japonés, p=portugués brasileño, z=mandarín. La CLI detecta automáticamente la configuración regional del fonetizador a partir del prefijo; no necesitas --lang cuando la voz coincide con el texto.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Usa --lang solo para anular la detección automática (acentos estilizados). Códigos válidos: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La fonetización para idiomas no ingleses requiere tener espeak-ng instalado en el sistema (brew install espeak-ng / apt-get install espeak-ng).

Velocidad

  • 0.7-0.8 — tutorial, contenido complejo, accesibilidad
  • 1.0 — ritmo natural (por defecto)
  • 1.1-1.2 — intros, transiciones, contenido dinámico
  • 1.5+ — raramente apropiado; probar con cuidado

Guiones largos

Para más de unos pocos párrafos, escribe el texto en un archivo .txt y pasa la ruta. Las entradas de más de ~5 minutos de voz pueden beneficiarse de dividirse en segmentos.

Requisitos

Python 3.8+ con kokoro-onnx y soundfile (pip install kokoro-onnx soundfile). El modelo se descarga en el primer uso (~311 MB + ~27 MB de voces, almacenado en caché en ~/.cache/hyperframes/tts/).

Transcripción (transcribe)

Produce un archivo transcript.json normalizado con marcas de tiempo a nivel de palabra.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importar existente
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Regla de idioma (no negociable)

Nunca uses modelos .en a menos que el usuario indique explícitamente que el audio está en inglés. Los modelos .en (small.en, medium.en) traducen el audio no inglés al inglés en lugar de transcribirlo. Esto destruye silenciosamente el idioma original.

  1. Idioma conocido y no inglés → --model small --language <código> (sin sufijo .en)
  2. Idioma conocido y inglés → --model small.en
  3. Idioma desconocido → --model small (sin .en, sin --language) — Whisper detecta automáticamente

El modelo por defecto es small, no small.en.

Tamaños de modelo

ModeloTamañoVelocidadCuándo usarlo
tiny75 MBMás rápidoVistas previas rápidas, pruebas
base142 MBRápidoClips cortos, audio claro
small466 MBModeradaPor defecto — la mayoría del contenido
medium1.5 GBLentaContenido importante, audio ruidoso, música
large-v33.1 GBMás lentaCalidad de producción

Música con voces: empezar con medium como mínimo; las pistas producidas a menudo necesitan importación manual de SRT/VTT. Para controles de calidad de subtítulos (obligatorios después de cada transcripción), el JS de limpieza, las reglas de reintento y la ruta de importación de la API de OpenAI/Groq, consulta hyperframes/references/transcript-guide.md.

Formato de salida

Las composiciones consumen un arreglo plano de objetos de palabra. El campo id (w0, w1, ...) se añade durante la normalización para referencias estables en las anulaciones de subtítulos; es opcional para compatibilidad hacia atrás.

[
  { "id": "w0", "text": "Hola", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "mundo.", "start": 0.6, "end": 1.2 }
]

Eliminación de fondo (remove-background)

Elimina el fondo de un vídeo o imagen para que pueda usarse como superposición transparente en una composición (por ejemplo, un avatar flotando sobre un fondo).

npx hyperframes remove-background avatar.mp4 -o transparent.webm  # por defecto: VP9 con alfa en WebM
npx hyperframes remove-background avatar.mp4 -o transparent.mov   # ProRes 4444 (edición)
npx hyperframes remove-background portrait.jpg -o cutout.png      # recorte de imagen única
npx hyperframes remove-background avatar.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                          # proveedores detectados

Usa u2net_human_seg (MIT). La primera ejecución descarga ~168 MB de pesos a ~/.cache/hyperframes/background-removal/models/.

Formato de salida

FormatoCuándo usarlo
.webm (VP9 + alfa)Por defecto. Las composiciones lo reproducen directamente con <video>.
.mov (ProRes 4444)Edición en DaVinci/Premiere/FCP. Archivos grandes.
.pngRecorte de imagen única (sujeto estático, superpuesto sobre un fondo).

Chrome decodifica el alfa VP9 de forma nativa, por lo que el .webm se integra en una composición como cualquier otro vídeo con reproducción automática silenciada; consulta el skill hyperframes para conocer las convenciones de pistas <video>.

TTS → Transcribir → Subtítulos

Cuando no hay una locución pregrabada, genera una y transcríbela para obtener marcas de tiempo a nivel de palabra para los subtítulos:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Whisper extrae límites de palabra precisos del audio generado, por lo que la sincronización de los subtítulos coincide con la locución sin necesidad de ajuste manual.

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

libz-renlab-ai/TeamBrain

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

libz-renlab-ai/TeamBrain

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For CLI commands (init, lint, preview, render, transcribe, tts) see the hyperframes-cli skill.

libz-renlab-ai/TeamBrain

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames — for example "port my Remotion project to HyperFrames", "convert this Remotion code to HyperFrames", "migrate from Remotion", "translate this Remotion comp", or "rewrite this as HyperFrames HTML". Do NOT use when (a) the user is authoring a NEW HyperFrames composition, even if they have or are A/B-testing a similar Remotion video; (b) the user mentions Remotion in passing without asking for migration; (c) the user shares Remotion code as reference material rather than asking for a translation; (d) the user asks for "the same video as my Remotion one" without explicitly asking to migrate the source — treat that as a fresh HyperFrames build. When in doubt, default to authoring a native HyperFrames composition with the `hyperframes` skill instead. Skill detects unsupported patterns (use...

libz-renlab-ai/TeamBrain

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

libz-renlab-ai/TeamBrain

HyperFrames CLI tool — hyperframes init, lint, inspect, preview, render, transcribe, tts, doctor, browser, info, upgrade, compositions, docs, benchmark. Use when scaffolding a project, linting, validating, inspecting visual layout in compositions, previewing in the studio, rendering to video, transcribing audio, generating TTS, or troubleshooting the HyperFrames environment.

Skills relacionados