Communitygithub.com

shengdabai/Tony-Claude-Code-Skills

Preprocesamiento de activos para composiciones HyperFrames: narración por texto a voz (Kokoro), transcripción de audio/vídeo (Whisper) y eliminación de fondos para superposiciones transparentes (u2net). Úsalo para generar locuciones a partir de texto, transcribir voz para subtítulos, eliminar el fondo de un vídeo o imagen para usarlo como superposición transparente, elegir una voz TTS o un modelo Whisper, o encadenar estos pasos (TTS → transcripción → subtítulos). Cada comando descarga su propio modelo en la primera ejecución.

¿Qué es Tony-Claude-Code-Skills?

Este skill proporciona tres comandos CLI para el preprocesamiento de activos multimedia en composiciones HyperFrames: - `tts`: genera audio de locución localmente con Kokoro-82M, sin necesidad de API key. Soporta más de 50 voces en múltiples idiomas (inglés, español, francés, japonés, etc.) y permite ajustar la velocidad. Los modelos se descargan automáticamente en la primera ejecución y se almacenan en caché. - `transcribe`: transcribe audio o vídeo (o importa subtítulos SRT/VTT/OpenAI JSON) y produce un `transcript.json` con marcas de tiempo a nivel de palabra. Utiliza Whisper con varios tamaños de modelo (tiny a large-v3). Incluye reglas importantes sobre el uso de modelos `.en` para evitar la traducción involuntaria de idiomas no ingleses. - `remove-background`: elimina el fondo de vídeos e imágenes usando u2net_human_seg, generando un vídeo con canal alfa (WebM VP9 o MOV ProRes 4444) o una imagen PNG. Soporta separación en capas (primer plano + fondo con agujero) y presets de calidad. Es ideal para creadores de contenido que necesitan generar locuciones, transcribir automáticamente para subtítulos, o aislar personas/fondos para composiciones en capas. Compatible con HyperFrames y otras herramientas de edición de vídeo (DaVinci, Premiere, FCP). Los comandos se ejecutan con `npx hyperframes ...` y los modelos se descargan bajo `~/.cache/hyperframes/`.

Compatible con✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/shengdabai/Tony-Claude-Code-Skills/tree/HEAD/skills/hyperframes-hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Vista previa

Del README del skill

Documentación

Preprocesamiento Multimedia HyperFrames

Tres comandos CLI que producen activos para composiciones: tts (voz), transcribe (marcas de tiempo) y remove-background (vídeo transparente). Cada uno descarga un modelo en la primera ejecución y lo almacena en caché bajo ~/.cache/hyperframes/. Deja el resultado en el proyecto y referéncialo desde el HTML de la composición; consulta el skill hyperframes para las convenciones de elementos de audio/vídeo.

Texto a Voz (tts)

Genera audio de voz localmente con Kokoro-82M. Sin clave API.

npx hyperframes tts "Texto aquí" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # todas las 54 voces

Selección de Voz

Elige la voz según el contenido. La voz predeterminada es af_heart.

Tipo de contenidoVozMotivo
Demostración de productoaf_heart/af_novaCálida, profesional
Tutorial / guíaam_adam/bf_emmaNeutral, fácil de seguir
Marketing / promociónaf_sky/am_michaelEnérgica o autoritaria
Documentaciónbf_emma/bm_georgeInglés británico claro, formal
Casual / redes socialesaf_heart/af_skyAccesible, natural

Multilingüe

Los IDs de voz codifican el idioma en la primera letra: a=inglés americano, b=inglés británico, e=español, f=francés, h=hindi, i=italiano, j=japonés, p=portugués brasileño, z=mandarín. La CLI detecta automáticamente la configuración regional del fonetizador a partir del prefijo; no necesita --lang cuando la voz coincide con el texto.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Usa --lang solo para anular la detección automática (acentos estilizados). Códigos válidos: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La fonetización que no sea en inglés requiere espeak-ng a nivel de sistema (brew install espeak-ng / apt-get install espeak-ng).

Velocidad

  • 0.7-0.8: tutorial, contenido complejo, accesibilidad
  • 1.0: ritmo natural (predeterminado)
  • 1.1-1.2: introducciones, transiciones, contenido animado
  • 1.5+: rara vez apropiado; probar con cuidado

Guiones Largos

Para más de unos pocos párrafos, escribe un archivo .txt y pasa la ruta. Las entradas de más de ~5 minutos de voz pueden beneficiarse de dividirse en segmentos.

Requisitos

Python 3.8+ con kokoro-onnx y soundfile (pip install kokoro-onnx soundfile). El modelo se descarga en el primer uso (~311 MB + ~27 MB de voces, almacenado en caché en ~/.cache/hyperframes/tts/).

Transcripción (transcribe)

Produce un transcript.json normalizado con marcas de tiempo a nivel de palabra.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importar existente
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Regla de Idioma (No Negociable)

Nunca uses modelos .en a menos que el usuario indique explícitamente que el audio está en inglés. Los modelos .en (small.en, medium.en) traducen el audio no inglés al inglés en lugar de transcribirlo. Esto destruye silenciosamente el idioma original.

  1. Idioma conocido y no inglés → --model small --language <código> (sin sufijo .en)
  2. Idioma conocido e inglés → --model small.en
  3. Idioma desconocido → --model small (sin .en, sin --language) — whisper detecta automáticamente

El modelo predeterminado es small, no small.en.

Tamaños de Modelo

ModeloTamañoVelocidadCuándo usarlo
tiny75 MBMás rápidoVista previa rápida, pruebas de pipeline
base142 MBRápidoClips cortos, audio claro
small466 MBModeradaPredeterminado — la mayoría del contenido
medium1.5 GBLentaContenido importante, audio ruidoso, música
large-v33.1 GBMás lentaCalidad de producción

Música con voces: empezar como mínimo con medium; las pistas producidas a menudo necesitan importación manual de SRT/VTT. Para comprobaciones de calidad de subtítulos (obligatorias después de cada transcripción), el JS de limpieza, las reglas de reintento y la ruta de importación de la API de OpenAI/Groq, consulta hyperframes/references/transcript-guide.md.

Formato de Salida

Las composiciones consumen un array plano de objetos de palabra. El campo id (w0, w1, ...) se añade durante la normalización para referencias estables en anulaciones de subtítulos; es opcional para compatibilidad hacia atrás.

[
  { "id": "w0", "text": "Hola", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "mundo.", "start": 0.6, "end": 1.2 }
]

Eliminación de Fondo (remove-background)

Elimina el fondo de un vídeo o imagen para que el sujeto (típicamente una persona — avatar, presentador, interlocutor) aparezca como una superposición transparente en una composición.

npx hyperframes remove-background subject.mp4 -o transparent.webm  # predeterminado: VP9 alpha WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444 (edición)
npx hyperframes remove-background portrait.jpg -o cutout.png       # recorte de imagen única
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # ambas capas en una pasada
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # proveedores detectados

Usa u2net_human_seg (MIT). La primera ejecución descarga ~168 MB de pesos en ~/.cache/hyperframes/background-removal/models/.

Separación de Capas (--background-output)

Pasa --background-output (o -b) para emitir un segundo vídeo transparente junto con el recorte: mismo RGB de origen, pero el canal alfa es 255 − máscara en lugar de máscara. El recorte es el sujeto con un fondo transparente; la placa es el entorno original con un agujero transparente donde estaba el sujeto.

ArchivoEl alfa es…Úsalo para…
-o subject.webmLa máscara — sujeto opaco, fondo transparenteCapa frontal, colocar encima
--background-output plate.webmInversa — entorno opaco, región del sujeto transparenteCapa inferior; coloca texto o gráficos entre esta y el sujeto

Ambas salidas comparten el mismo preset --quality y se ejecutan desde una única pasada de inferencia: el costo de codificación se duplica aproximadamente, pero el costo de segmentación sigue siendo el mismo. Solo es válido para entradas de vídeo y salidas .webm/.mov.

Placa con agujero, no una placa limpia reconstruida. La región del sujeto en plate.webm es completamente transparente: compón algo opaco debajo para llenar el agujero. La única prueba para saber si --background-output es la herramienta adecuada: ¿alguna vez se verá algo a través de la silueta del sujeto donde solía estar el sujeto?

Caso de usoHerramienta adecuada
Texto/gráficos entre el recorte y la placa (la razón de ser de este comando)Agujero (--background-output)
Sujeto sobre una escena no relacionadaSolo subject.webm; ignora la placa
Mostrar la sala sin la persona, sola, sin otro contenidoPlaca limpia — necesita un reconstruidor (LaMa, ProPainter, E2FGVI). No es este comando.
Reemplazar al sujeto por otro diferentePlaca limpia — igual que arriba

Si un usuario pide "la sala sin la persona" y planea mostrarla de forma independiente, no uses --background-output. Indícale que necesita un reconstruidor.

Composición típica en capas (el caso de uso canónico del agujero):

<!-- z=1 la placa con alfa inverso llena todo excepto la región del sujeto -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 los gráficos/texto viven entre las dos capas -->
<h1 id="headline" style="z-index:2; ...">HAZLO EN HYPERFRAMES</h1>

<!-- z=3 el recorte flota al sujeto de nuevo sobre el título -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Esto es funcionalmente equivalente al patrón de texto-detrás-del-sujeto a continuación, pero no necesitas el presenter.mp4 original en el proyecto: la placa lo reemplaza. Útil cuando quieres enviar solo las dos capas transparentes y permitir que el usuario coloque contenido arbitrario entre ellas.

Formato de Salida

FormatoCuándo
.webm (VP9 + alfa)Predeterminado. Las composiciones lo reproducen directamente mediante <video>.
.mov (ProRes 4444)Edición en DaVinci/Premiere/FCP. Archivos grandes.
.pngRecorte de imagen única (sujeto fijo, superpuesto sobre un fondo).

Chrome descodifica el alfa VP9 de forma nativa, por lo que el .webm se integra en una composición como cualquier otro vídeo con reproducción automática silenciada; consulta el skill hyperframes para las convenciones de pista <video>.

Presets de Calidad

--quality fast|balanced|best controla solo el CRF del codificador VP9: la calidad de segmentación es fija.

PresetCRFCuándo
fast30Iterando, archivo más pequeño, coincidencia de color más laxa
balanced18Predeterminado. Visualmente idéntico para la mayoría de usos
best12Máster / entrega final. Archivo más grande, coincidencia más ajustada

Patrones de Composición — elige el adecuado

El webm recortado es una copia recodificada del RGB del mp4 de origen. Esta elección tiene consecuencias dependiendo de lo que se coloque detrás:

PatrónQué hay detrás del recorteResultado
Recorte sobre una escena diferente (más común)Imagen estática, degradado o vídeo no relacionadoSe ve genial. El RGB del recorte es la única fuente del sujeto: sin duplicación, sin halo de borde. Para esto está diseñado remove-background.
Recorte sobre su propio mp4 de origen (texto-detrás-del-sujeto)El mismo mp4 del que se generó el recorteDos fuentes RGB para la misma persona. Con --quality balanced (crf 18) la duplicación apenas es visible; con --quality fast (crf 30) verás un ligero cambio de color / halo de borde. Usa --quality best (crf 12) para másters.
Recorte sobre una toma diferente de la misma personaMetraje del mismo sujetoParecerán dos personas superpuestas. No hagas esto.

Texto-detrás-del-sujeto (título detrás de un presentador):

<video
  src="presenter.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">HAZLO EN HYPERFRAMES</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presenter.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

Dos reglas clave:

  1. Envuelve el vídeo recortado en un <div> sin temporización y anima la opacidad del contenedor, no la del elemento de vídeo. El framework fuerza opacity:1 en clips activos (cualquier elemento con data-start/data-duration), por lo que animar la opacidad del vídeo directamente se sobrescribe silenciosamente. El contenedor no tiene atributos data-*, por lo que es controlado por tu CSS/GSAP.
  2. Ambos vídeos usan data-start="0" y data-media-start="0" para que el framework los descodifique sincronizados desde t=0. Montar el recorte tarde (data-start=3.3) introduce una búsqueda + calentamiento que aterriza un fotograma fuera del mp4 base — visible como un fotograma de desalineación en el corte.

Luego, con GSAP, invierte la opacidad del contenedor en el corte: tl.set(cutoutWrap, { opacity: 1 }, 3.3).

TTS → Transcripción → Subtítulos

Cuando no hay una locución pregrabada, genera una y transfórmala de nuevo para obtener marcas de tiempo a nivel de palabra para los subtítulos:

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

Esto produce un transcript.json (consulta la sección de transcripción para el formato), que luego se pasa a la composición para anotar cada palabra.

Individual skills in this repo

This repo contains 8 individual skills — each has its own dedicated page.

shengdabai/Tony-Claude-Code-Skills

Downloads videos from YouTube and other platforms for offline viewing, editing, or archival. Handles various formats and quality options.

shengdabai/Tony-Claude-Code-Skills

接收抖音、小红书、微信视频号等短视频链接或分享文案,查询作品/账号数据并提取语音文字稿,按作者和标题归档为 Markdown。用户希望完整解析短视频、取得数据或文字稿时使用;运行前检查 TikHub 与轻抖使用凭证,缺少时用新手能理解的方式引导购买和安全配置。

shengdabai/Tony-Claude-Code-Skills

Read-only queue dashboard for workspace-aware ship. (gstack)

shengdabai/Tony-Claude-Code-Skills

Anime.js adapter patterns for HyperFrames. Use when writing Anime.js animations or timelines inside HyperFrames compositions, registering animations on window.__hfAnime, making Anime.js seek-driven and deterministic, or translating Anime.js examples into render-safe HyperFrames HTML.

shengdabai/Tony-Claude-Code-Skills

Author a new HyperFrames registry block (caption style, VFX block, transition, lower third) or component (text effect, overlay, snippet) and ship it as an upstream PR to the hyperframes repo. Use ONLY when the user wants to CONTRIBUTE to the public catalog — for in-project caption/transition authoring use the `hyperframes` skill, for installing existing registry items use the `hyperframes-registry` skill.

shengdabai/Tony-Claude-Code-Skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

shengdabai/Tony-Claude-Code-Skills

GSAP animation reference for HyperFrames. Covers gsap.to(), from(), fromTo(), easing, stagger, defaults, timelines (gsap.timeline(), position parameter, labels, nesting, playback), and performance (transforms, will-change, quickTo). Use when writing GSAP animations in HyperFrames compositions.

shengdabai/Tony-Claude-Code-Skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

Skills relacionados