Communitygithub.com

whyiloveher2411/_biong_backend_FE

Activos de audio y medios para composiciones HyperFrames, producidos por un motor de audio compartido (`scripts/audio.mjs`) — TTS multinivel (HeyGen / ElevenLabs / Kokoro local), música de fondo y efectos de sonido (recuperación de la biblioteca de audio de HeyGen por defecto, con generación local Lyria / MusicGen de BGM y una biblioteca de SFX integrada como respaldo sin credenciales), transcripción Whisper, eliminación de fondo y creación de subtítulos. Útil para locución / TTS, BGM, SFX / efectos de sonido, transcripción, subtítulos / leyendas / letras / karaoke / estilo por palabra, selección de voz y proveedor, e indicaciones de ambiente musical.

¿Qué es _biong_backend_FE?

Este skill proporciona un motor de audio centralizado y unificado para el ecosistema HyperFrames, eliminando la necesidad de implementar lógica de audio dispersa en cada flujo de trabajo. Está diseñado para desarrolladores y agentes de IA que trabajan en la plataforma HyperFrames, ofreciendo una interfaz consistente y predecible para todas las necesidades de audio y medios. El motor principal, `scripts/audio.mjs`, acepta un archivo `audio_request.json` y produce un `audio_meta.json` detallado con las rutas a los activos generados. Soporta múltiples proveedores de TTS (HeyGen, ElevenLabs, Kokoro local), recuperación y generación de música de fondo (BGM), efectos de sonido (SFX), transcripción con Whisper, eliminación de fondo y una potente funcionalidad de subtitulado. Una de sus ventajas clave es la conmutación automática: si se detecta una credencial de HeyGen, utiliza sus servicios nativos (TTS con marcas de tiempo por palabra, recuperación de BGM y SFX); si no, degrada elegantemente a modelos locales (Kokoro para TTS, Lyria/MusicGen para BGM) o a una biblioteca de SFX empaquetada, lo que lo hace robusto y funcional en cualquier entorno. El skill también incluye referencias detalladas para cada capacidad y establece reglas no negociables para garantizar un uso correcto, como siempre pasar un modelo explícito a `transcribe` o no mezclar IDs de voz entre proveedores. Esto lo convierte en la única fuente de verdad para la creación de audio en HyperFrames.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/whyiloveher2411/_biong_backend_FE/tree/HEAD/agent/skills/hyperframes-media

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

HyperFrames Media

Crea los activos de audio y medios que una composición necesita — locución (TTS), música de fondo + efectos de sonido, transcripción, subtítulos, eliminación de fondo — luego consume y anima esos datos en HTML. Para colocar activos en composiciones, consulta hyperframes-core.

El motor de audio — una fuente para TTS · BGM · SFX

Los flujos de trabajo NO implementan audio manualmente ni crean copias de un proveedor. Hay un solo motor — scripts/audio.mjs — que recibe un audio_request.json neutral y escribe audio_meta.json (más activos bajo assets/voice|bgm|sfx):

# <MEDIA_DIR> = directorio de este skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Las tres capacidades se degradan según UN SOLO interruptor — si una credencial de HeyGen está presente (resuelta de $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, no de la CLI):

CapacidadCredencial HeyGen presenteausente
TTSHeyGen Starfish REST (marcas de tiempo nativas por palabra)→ ElevenLabs → Kokoro (encadena transcribe para palabras)
BGMRecuperación de música HeyGenGeneración local Lyria → MusicGen (desprendida)
SFXRecuperación de efectos de sonido HeyGen (min_score 0.4)Biblioteca empaquetada de 21 archivos (assets/sfx/)
  • Solicitud (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id vincula cada línea de vuelta al modelo del llamante (un número de fotograma, un ID de escena, etc.). bgm.mode = retrieve | generate | none; omítelo para automático (recupera cuando hay credencial, si no genera). Un retrieve explícito es estricto — salta en lugar de iniciar una generación desprendida (para llamantes sin un paso wait-bgm).
  • Salida (audio_meta.json, indexada por ID): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx ejecuta un subconjunto y lo fusiona en un --out existente (p. ej., TTS+BGM temprano, SFX una vez que existen las señales).
  • La generación de BGM se inicia desprendida (bgm_pending: true) — ejecuta scripts/wait-bgm.mjs antes de ensamblar.
  • scripts/heygen-tts.mjs es una CLI de un solo uso sobre el mismo código (un texto → wav + palabras) para cuando solo necesitas TTS de HeyGen sin un archivo de solicitud.

La lista completa de banderas y el esquema de audio_meta.json se encuentran en el encabezado de scripts/audio.mjs. Las referencias a continuación cubren los detalles de los proveedores y los casos extremos detrás de cada capacidad.

Cadenas de proveedores (el detalle detrás del motor)

TTS — gana el primer proveedor disponible (el motor, o npx hyperframes tts "..."):

OrdenProveedorDetectado cuandoMarcas de tiempo por palabra
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSí, nativas — pasa --words narration.words.json para capturarlas
2ElevenLabs$ELEVENLABS_API_KEY establecidaNo — encadena transcribe después
3Kokoro-82M (local, 54 voces)siempre (sin clave requerida)No — encadena transcribe después

La CLI publicada hyperframes tts es a menudo la compilación solo local (su --help dice "Kokoro-82M", sin --provider/--words) y cae silenciosamente en Kokoro incluso con $HEYGEN_API_KEY establecida. Por eso la ruta HeyGen del motor es el scripts/heygen-tts.mjs autónomo (REST), NO la CLI; la CLI se usa solo para la ruta Kokoro. Consulta references/tts.md.

BGM y SFX — por defecto se recuperan de la biblioteca de audio de HeyGen (/v3/audio/sounds), misma credencial que HeyGen TTS, con la degradación sin credencial del interruptor anterior:

ActivoTipo HeyGenDestinoDegradación (sin credencial)
BGMmusicassets/bgm/track.mp3 (recuperación) · track.wav (generación)Generación Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Biblioteca empaquetada de 21 archivos (assets/sfx/* + manifest.json)

Consulta references/bgm.md y references/sfx.md.

Enrutamiento

TareaLee
El motor de audio — esquema solicitud/meta, --only, el interruptorscripts/audio.mjs (comentario del encabezado)
npx hyperframes tts / heygen-tts.mjs — proveedores, voces, palabrasreferences/tts.md
Script TTS vietnamita — puntuación, fonética (capa TTS)references/tts-vi.md
BGM — recuperación HeyGen + generación local Lyria / MusicGenreferences/bgm.md
SFX — recuperación HeyGen (min_score 0.4) + biblioteca local empaquetadareferences/sfx.md
npx hyperframes transcribe — Whisper, reglas de modelo, forma de salidareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcripción → subtítulos (sin locución grabada)references/tts-to-captions.md
Creación de subtítulos — detección de estilo, diseño, agrupación de palabras, salidareferences/captions/authoring.md
Manejo de transcripciones — formatos de entrada, controles de calidad, limpieza, APIreferences/captions/transcript-handling.md
Movimiento de subtítulos — karaoke, efectos de marcador, reactividad de audioreferences/captions/motion.md
Cachés de modelo, dependencias del sistema, solución de problemasreferences/requirements.md

Reglas no negociables

  • Un solo motor, sin copias de proveedores. Produce audio mediante scripts/audio.mjs (o heygen-tts.mjs para TTS HeyGen de un solo uso). No reimplementes TTS/BGM/SFX dentro de un flujo de trabajo — escribe un adaptador audio_request.json y llama al motor.
  • "HeyGen disponible" = una credencial resoluble, no la CLI. Todo el interruptor depende de heygenCredential(); la CLI publicada hyperframes tts puede ser solo Kokoro, y no existe ningún comando hyperframes bgm / hyperframes sfx.
  • Los IDs de voz son específicos del proveedor. am_michael es solo de Kokoro; los UUID de HeyGen no funcionan en Kokoro. Si pasas --voice, también fija --provider para evitar una deriva silenciosa del proveedor cuando cambie el entorno del usuario.
  • Siempre pasa --model a transcribe. El valor predeterminado de la CLI small.en traduce silenciosamente audio no inglés. Consulta references/transcribe.md → "Regla de idioma".
  • HeyGen devuelve marcas de tiempo por palabra; ElevenLabs / Kokoro no. El motor encadena transcribe automáticamente para los dos últimos; de forma independiente, pasa --words a HeyGen o ejecuta transcribe contra el archivo de audio.
  • Los subtítulos consumen el formato de matriz plana de palabras con { id, text, start, end }. Consulta references/transcribe.md → "Forma de salida".
  • remove-background --background-output es un recorte de agujero, no un relleno. Para "escena sin la persona", se necesita una herramienta diferente. Consulta references/remove-background.md → "CUÁNDO NO es la herramienta correcta".
  • BGM/SFX predeterminados a la recuperación de HeyGen; la degradación sin credencial es generación (BGM) o la biblioteca empaquetada (SFX). /audio/sounds clasifica por una consulta de texto — nombra los efectos concretamente (glass shatter, no dramatic sound); una falta de coincidencia salta, nunca bloquea la representación. Los SFX se sitúan al volumen ~0.35 bajo voz + BGM. Consulta references/sfx.md / references/bgm.md.

Skills relacionados