Communitygithub.com

delorenj/skills

Preprocesamiento de activos para composiciones HyperFrames: narración de voz a texto (Kokoro), transcripción de audio/video (Whisper) y eliminación de fondos (u2net). Útil para generar voz en off, transcribir discursos, eliminar fondos y encadenar procesos (TTS → transcripción → subtítulos).

¿Qué es skills?

Este conjunto de habilidades proporciona tres herramientas de línea de comandos para preprocesar activos en composiciones HyperFrames: `tts` genera narración de voz con Kokoro-82M, sin necesidad de API; `transcribe` produce un archivo transcript.json con marcas de tiempo por palabra usando Whisper, con reglas estrictas para evitar la traducción accidental de audio no inglés; y `remove-background` elimina fondos de video o imagen usando u2net_human_seg, generando un recorte con transparencia y opcionalmente una capa de fondo inverso. Cada comando descarga automáticamente su modelo en la primera ejecución y los almacena en caché. Estas herramientas son compatibles con macOS y Linux, requieren Python 3.8+ con dependencias específicas como `kokoro-onnx` y `soundfile`, y se integran perfectamente con el marco HyperFrames para flujos de trabajo de video profesionales.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Vista previa

Del README del skill

Documentación

Preprocesamiento de Medios HyperFrames

Tres comandos de CLI que producen activos para composiciones: tts (voz), transcribe (marcas de tiempo) y remove-background (video transparente). Cada uno descarga un modelo en la primera ejecución y lo almacena en caché en ~/.cache/hyperframes/. Coloca la salida en el proyecto y luego haz referencia a ella desde el HTML de la composición; consulta la habilidad hyperframes para conocer las convenciones de elementos de audio/video.

Texto a Voz (tts)

Genera audio de habla localmente con Kokoro-82M. Sin clave de API.

npx hyperframes tts "Texto aquí" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # las 54 voces

Selección de Voz

Empareja la voz con el contenido. El valor predeterminado es af_heart.

Tipo de contenidoVozPor qué
Demostración de productoaf_heart/af_novaCálida, profesional
Tutorial / cómo haceram_adam/bf_emmaNeutral, fácil de seguir
Marketing / promociónaf_sky/am_michaelEnérgica o autoritaria
Documentaciónbf_emma/bm_georgeInglés británico claro, formal
Casual / socialaf_heart/af_skyAccesible, natural

Multilingüe

Los IDs de voz codifican el idioma en la primera letra: a=Inglés americano, b=Inglés británico, e=Español, f=Francés, h=Hindi, i=Italiano, j=Japonés, p=Portugués brasileño, z=Mandarín. La CLI detecta automáticamente la configuración regional del fonetizador a partir del prefijo; no se necesita --lang cuando la voz coincide con el texto.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Usa --lang solo para anular la detección automática (acentos estilizados). Códigos válidos: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La fonetización en idiomas distintos al inglés requiere espeak-ng instalado en el sistema (brew install espeak-ng / apt-get install espeak-ng).

Velocidad

  • 0.7-0.8 — tutorial, contenido complejo, accesibilidad
  • 1.0 — ritmo natural (predeterminado)
  • 1.1-1.2 — intros, transiciones, contenido animado
  • 1.5+ — raramente apropiado; probar con cuidado

Guiones Largos

Para más de unos pocos párrafos, escribe un archivo .txt y pasa la ruta. Las entradas de más de ~5 minutos de habla pueden beneficiarse de dividirse en segmentos.

Requisitos

Python 3.8+ con kokoro-onnx y soundfile (pip install kokoro-onnx soundfile). El modelo se descarga en el primer uso (~311 MB + ~27 MB de voces, almacenado en caché en ~/.cache/hyperframes/tts/).

Transcripción (transcribe)

Produce un transcript.json normalizado con marcas de tiempo por palabra.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importar existente
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Regla de Idioma (No Negociable)

Nunca uses modelos .en a menos que el usuario indique explícitamente que el audio está en inglés. Los modelos .en (small.en, medium.en) traducen audio no inglés al inglés en lugar de transcribirlo. Esto destruye silenciosamente el idioma original.

  1. Idioma conocido y no inglés → --model small --language <código> (sin sufijo .en)
  2. Idioma conocido y inglés → --model small.en
  3. Idioma desconocido → --model small (sin .en, sin --language) — whisper detecta automáticamente

El modelo predeterminado es small, no small.en.

Tamaños de Modelo

ModeloTamañoVelocidadCuándo usarlo
tiny75 MBMás rápidoVista previa rápida, prueba del pipeline
base142 MBRápidoClips cortos, audio claro
small466 MBModeradoPredeterminado — la mayoría del contenido
medium1.5 GBLentoContenido importante, audio ruidoso, música
large-v33.1 GBMás lentoCalidad de producción

Música con voces: comenzar con medium como mínimo; las pistas producidas a menudo necesitan importación manual de SRT/VTT. Para verificaciones de calidad de subtítulos (obligatorias después de cada transcripción), el JS de limpieza, las reglas de reintento y la ruta de importación de API de OpenAI/Groq, consulta hyperframes/references/transcript-guide.md.

Forma de Salida

Las composiciones consumen un arreglo plano de objetos de palabras. El campo id (w0, w1, ...) se agrega durante la normalización para referencias estables en anulaciones de subtítulos; es opcional para compatibilidad hacia atrás.

[
  { "id": "w0", "text": "Hola", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "mundo.", "start": 0.6, "end": 1.2 }
]

Eliminación de Fondo (remove-background)

Elimina el fondo de un video o imagen para que el sujeto (típicamente una persona — avatar, presentador, cabeza parlante) se asiente como una superposición transparente en una composición.

npx hyperframes remove-background subject.mp4 -o transparent.webm  # predeterminado: VP9 alfa WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444 (edición)
npx hyperframes remove-background portrait.jpg -o cutout.png       # recorte de una sola imagen
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # ambas capas en una sola pasada
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # proveedores detectados

Usa u2net_human_seg (MIT). La primera ejecución descarga ~168 MB de pesos en ~/.cache/hyperframes/background-removal/models/.

Separación de Capas (--background-output)

Pasa --background-output (o -b) para emitir un segundo video transparente junto con el recorte: mismo RGB de origen, alfa es 255 − máscara en lugar de máscara. El recorte es el sujeto con un fondo transparente; la placa es el entorno original con un agujero transparente donde estaba el sujeto.

ArchivoAlfa es…Úsalo para
-o subject.webmLa máscara — sujeto opaco, fondo transparenteCapa frontal, colócala encima
--background-output plate.webmInversa — entorno opaco, región del sujeto transparenteCapa inferior; coloca texto o gráficos entre esta y el sujeto

Ambas salidas comparten el mismo preajuste --quality y se ejecutan desde una sola pasada de inferencia: el costo de codificación se duplica aproximadamente, el costo de segmentación permanece igual. Solo es válido para entradas de video y salidas .webm/.mov.

Placa con agujero recortado, no una placa limpia con pintura. La región del sujeto en plate.webm es completamente transparente: compón algo opaco debajo para llenar el agujero. La única prueba para saber si --background-output es la herramienta adecuada: ¿alguna vez será visible algo a través de la silueta del sujeto donde solía estar el sujeto?

Caso de usoHerramienta adecuada
Texto/gráficos entre el recorte y la placa (razón de ser de este comando)Agujero recortado (--background-output)
Sujeto sobre una escena no relacionadaSolo subject.webm; ignora la placa
Mostrar la sala sin la persona, sola sobre ningún otro contenidoPlaca limpia — necesita un inpainter (LaMa, ProPainter, E2FGVI). No este comando.
Reemplazar el sujeto con un sujeto diferentePlaca limpia — igual que arriba

Si un usuario pide "la sala sin la persona" y planea mostrarla de forma independiente, no uses --background-output. Indícale que necesita un inpainter.

Composición típica en capas (el caso de uso canónico del agujero recortado):

<!-- z=1 la placa de alfa inverso llena todo excepto la región del sujeto -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 gráficos / texto viven entre las dos capas -->
<h1 id="headline" style="z-index:2; ...">HECHO EN HYPERFRAMES</h1>

<!-- z=3 el recorte coloca el sujeto de nuevo sobre el título -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Esto es funcionalmente equivalente al patrón de texto detrás del sujeto a continuación, pero no necesitas el presenter.mp4 original en el proyecto — la placa lo reemplaza. Útil cuando quieres enviar solo las dos capas transparentes y dejar que el usuario coloque contenido arbitrario entre ellas.

Formato de Salida

FormatoCuándo
.webm (VP9 + alfa)Predeterminado. Las composiciones lo reproducen directamente mediante <video>.
.mov (ProRes 4444)Edición en DaVinci/Premiere/FCP. Archivos grandes.
.pngRecorte de una sola imagen (sujeto fijo, superpuesto sobre un fondo).

Chrome decodifica VP9 alfa de forma nativa, por lo que el .webm se integra en una composición como cualquier otro video con reproducción automática silenciada: consulta la habilidad hyperframes para conocer las convenciones de pistas <video>.

Preajustes de Calidad

--quality fast|balanced|best controla solo el CRF del codificador VP9 — la calidad de segmentación es fija.

PreajusteCRFCuándo
fast30Iterando, archivo más pequeño, coincidencia de color menos estricta
balanced18Predeterminado. Visualmente idéntico para la mayoría de los usos
best12Salida maestra / final. Archivo más grande, coincidencia más ajustada

Patrones de Compositor — elige el correcto

El webm recortado es una copia recodificada del RGB del mp4 de origen. Esa elección tiene consecuencias dependiendo de lo que coloques detrás:

PatrónQué hay detrás del recorteResultado
Recorte sobre una escena diferente (más común)Imagen estática, degradado o video no relacionadoSe ve genial. El RGB del recorte es la única fuente del sujeto — sin duplicación, sin halo en los bordes. Para esto está diseñado remove-background.
Recorte sobre su propio mp4 de origen (texto detrás del sujeto)El mismo mp4 del que se generó el recorteDos fuentes RGB para la misma persona. Con --quality balanced predeterminado (crf 18) la duplicación es apenas visible; con --quality fast (crf 30) verás un ligero cambio de color / halo en los bordes. Usa --quality best (crf 12) para maestros.
Recorte sobre una toma diferente de la misma personaMaterial del mismo sujetoSe verá como dos personas superpuestas. No hagas esto.

Texto detrás del sujeto (título detrás de un presentador):

<video
  src="presenter.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">HECHO EN HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presenter.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Dos reglas clave:

  1. Envuelve el video recortado en un <div> sin temporización y anima la opacidad del contenedor, no la del elemento de video. El framework fuerza opacity:1 en clips activos (cualquier elemento con data-start/data-duration), por lo que animar la opacidad del video directamente se anula silenciosamente. El contenedor no tiene atributos data-*, por lo que es controlado por tu CSS/GSAP.
  2. Ambos videos usan data-start="0" y data-media-start="0" para que el framework los decodifique sincronizados desde t=0. Montar el recorte tardíamente (data-start=3.3) introduce una búsqueda + calentamiento que aterriza un fotograma fuera del mp4 base — visible como un fotograma de desalineación en el corte.

Luego, invierte la opacidad del contenedor con GSAP en el corte: tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transcribir → Subtítulos

Cuando no hay una voz en off pregrabada, genera una y transcríbela para obtener marcas de tiempo por palabra para los subtítulos:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

El transcript.json resultante se puede usar directamente para subtítulos en la composición.

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

ASCII video: convert video/audio to colored ASCII MP4/GIF.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

Generate professional voiceovers using ElevenLabs AI. Use when the user needs to create voiceovers for videos, audio narration, or text-to-speech content. Supports multiple voices with character presets (narrator, salesperson, expert) for natural delivery. Includes single scene regeneration for fine-tuning.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

Skills relacionados