Communitygithub.com

whyiloveher2411/_biong_backend_FE

Áudio e mídias para composições HyperFrames, produzidos por um único mecanismo de áudio (`scripts/audio.mjs`) — TTS multi-provedor (HeyGen / ElevenLabs / Kokoro local), música de fundo + efeitos sonoros (recuperação da biblioteca HeyGen por padrão, com geração local Lyria / MusicGen e biblioteca SFX integrada como fallback sem credenciais), transcrição Whisper, remoção de fundo e autoria de legendas. Use para narração / TTS, BGM, SFX / efeitos sonoros, transcrição, legendas / subtítulos / letras / karaokê / estilização por palavra, seleção de voz + provedor e definição de humor musical.

O que é _biong_backend_FE?

Esta skill fornece um mecanismo de áudio unificado para composições HyperFrames, centralizando a geração e manipulação de ativos de mídia. Ela suporta múltiplos provedores de Text-to-Speech (TTS), incluindo HeyGen, ElevenLabs e Kokoro local, com fallback automático quando um provedor não está disponível. Para música de fundo (BGM) e efeitos sonoros (SFX), a skill prioriza a recuperação da biblioteca HeyGen quando uma credencial está presente, mas oferece geração local via Lyria/MusicGen ou uma biblioteca SFX integrada de 21 arquivos como fallback. Além disso, integra transcrição Whisper, remoção de fundo e ferramentas avançadas de autoria de legendas (incluindo karaokê e estilização por palavra). A plataforma principal é HyperFrames, mas ela também pode ser utilizada em workflows Node.js que precisam de síntese de voz e áudio em lote. O funcionamento se dá através de um arquivo de solicitação JSON (`audio_request.json`) que é processado pelo script `scripts/audio.mjs`, gerando um arquivo de metadados (`audio_meta.json`) com todos os ativos de áudio. A skill impõe regras não negociáveis, como o uso de um único mecanismo (não é permitido copiar código de provedores individuais) e a necessidade de passar explicitamente o parâmetro `--model` para o comando `transcribe`.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/whyiloveher2411/_biong_backend_FE/tree/HEAD/agent/skills/hyperframes-media

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

HyperFrames Media

Crie os ativos de áudio e mídia que uma composição precisa — narração (TTS), música de fundo + efeitos sonoros, transcrição, legendas, remoção de fundo — e consuma e anime esses dados em HTML. Para colocar ativos em composições, veja hyperframes-core.

O mecanismo de áudio — uma única fonte para TTS · BGM · SFX

Os workflows NÃO implementam áudio manualmente ou fazem cópias de fornecedores. Existe um único mecanismo — scripts/audio.mjs — que recebe um audio_request.json neutro e gera audio_meta.json (mais ativos sob assets/voice|bgm|sfx):

# <MEDIA_DIR> = diretório desta skill
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Todas as três capacidades dependem de UMA ÚNICA CONFIGURAÇÃO — se uma credencial HeyGen está presente (resolvida de $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, não da CLI):

CapacidadeCredencial HeyGen presenteausente
TTSHeyGen Starfish REST (carimbos de data/hora nativos por palavra)→ ElevenLabs → Kokoro (encadear transcribe para palavras)
BGMRecuperação de música HeyGenGeração local Lyria → MusicGen (desanexado)
SFXRecuperação de efeitos sonoros HeyGen (min_score 0.4)biblioteca integrada de 21 arquivos (assets/sfx/)
  • Solicitação (audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. O id vincula cada linha de volta ao modelo do chamador (um número de quadro, um ID de cena, …). bgm.mode = retrieve | generate | none; omita para automático (recuperar quando credenciado, caso contrário gerar). Um explícito retrieve é estrito — ele pula em vez de iniciar uma geração desanexada (para chamadores sem etapa wait-bgm).
  • Saída (audio_meta.json, indexado por ID): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx executa um subconjunto e mescla em um --out existente (ex.: TTS+BGM no início, SFX quando as pistas existirem).
  • A geração BGM é iniciada desanexadamente (bgm_pending: true) — execute scripts/wait-bgm.mjs antes de montar.
  • scripts/heygen-tts.mjs é uma CLI de disparo único sobre o mesmo código (um texto → wav + palavras) para quando você precisar apenas de TTS HeyGen sem um arquivo de solicitação.

A lista completa de flags e o esquema de audio_meta.json estão no cabeçalho de scripts/audio.mjs. As referências abaixo cobrem os detalhes do provedor e os casos extremos por trás de cada capacidade.

Cadeias de provedores (o detalhe por trás do mecanismo)

TTS — o primeiro provedor disponível vence (o mecanismo, ou npx hyperframes tts "..."):

OrdemProvedorDetectado quandoCarimbo de data/hora por palavra
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginSim, nativo — passe --words narration.words.json para capturar
2ElevenLabs$ELEVENLABS_API_KEY definidoNão — encadear transcribe depois
3Kokoro-82M (local, 54 vozes)sempre (nenhuma chave necessária)Não — encadear transcribe depois

A CLI publicada hyperframes tts é frequentemente a compilação apenas local (seu --help diz "Kokoro-82M", sem --provider/--words) e silenciosamente recai para Kokoro mesmo com $HEYGEN_API_KEY definida. É por isso que o caminho HeyGen do mecanismo é o scripts/heygen-tts.mjs (REST) independente, NÃO a CLI; a CLI é usada apenas para o caminho Kokoro. Veja references/tts.md.

BGM & SFX — por padrão, recuperados da biblioteca de áudio HeyGen (/v3/audio/sounds), mesma credencial do HeyGen TTS, com fallback sem credenciais da chave acima:

AtivoHeyGen typeDestinoFallback (sem credencial)
BGMmusicassets/bgm/track.mp3 (recuperar) · track.wav (gerar)Geração Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3biblioteca integrada de 21 arquivos (assets/sfx/* + manifest.json)

Veja references/bgm.md e references/sfx.md.

Roteamento

TarefaLeia
O mecanismo de áudio — esquema de solicitação/meta, --only, a chavescripts/audio.mjs (comentário do cabeçalho)
npx hyperframes tts / heygen-tts.mjs — provedores, vozes, palavrasreferences/tts.md
Script TTS Vietnamita — pontuação, fonética (camada TTS)references/tts-vi.md
BGM — Recuperação HeyGen + geração local Lyria / MusicGenreferences/bgm.md
SFX — Recuperação HeyGen (min_score 0.4) + biblioteca local integradareferences/sfx.md
npx hyperframes transcribe — Whisper, regras de modelo, formato de saídareferences/transcribe.md
npx hyperframes remove-background — recortes transparentesreferences/remove-background.md
TTS → transcrição → legendas (sem narração gravada)references/tts-to-captions.md
Autoria de legendas — detecção de estilo, layout, agrupamento de palavras, saídareferences/captions/authoring.md
Manipulação de transcrições — formatos de entrada, portões de qualidade, limpeza, APIsreferences/captions/transcript-handling.md
Movimento de legendas — karaokê, efeitos de marcador, áudio-reativoreferences/captions/motion.md
Caches de modelo, dependências do sistema, solução de problemasreferences/requirements.md

Regras inegociáveis

  • Um único mecanismo, sem cópias de fornecedores. Produza áudio via scripts/audio.mjs (ou heygen-tts.mjs para TTS HeyGen de disparo único). Não reimplemente TTS/BGM/SFX dentro de um workflow — escreva um adaptador audio_request.json e chame o mecanismo.
  • "HeyGen disponível" = uma credencial resolvível, não a CLI. A chave inteira depende de heygenCredential(); o hyperframes tts publicado pode ser apenas Kokoro, e não há nenhum comando hyperframes bgm / hyperframes sfx.
  • IDs de voz são específicos do provedor. am_michael é apenas Kokoro; UUIDs do HeyGen não funcionam no Kokoro. Se você passar --voice, também fixe --provider para evitar desvio silencioso de provedor quando o ambiente do usuário mudar.
  • Sempre passe --model para transcribe. O padrão da CLI small.en traduz silenciosamente áudio não-inglês. Veja references/transcribe.md → "Regra de Idioma".
  • HeyGen retorna carimbos de data/hora por palavra; ElevenLabs / Kokoro não. O mecanismo encadeia transcribe automaticamente para os dois últimos; de forma independente, passe --words para HeyGen ou execute transcribe contra o arquivo de áudio.
  • Legendas consomem o formato de matriz de palavras plana com { id, text, start, end }. Veja references/transcribe.md → "Formato de Saída".
  • remove-background --background-output é recorte de buraco, não preenchimento. Para "cena sem a pessoa", uma ferramenta diferente é necessária. Veja references/remove-background.md → "Quando NÃO é a ferramenta certa".
  • BGM/SFX usam por padrão a recuperação HeyGen; o fallback sem credenciais é geração (BGM) ou a biblioteca integrada (SFX). /audio/sounds classifica por uma consulta de texto — nomeie os efeitos concretamente (vidro quebrando, não som dramático); uma falta de correspondência é ignorada, nunca bloqueia a renderização. SFX ficam no volume ~0.35 sob voz + BGM. Veja references/sfx.md / references/bgm.md.

Habilidades Relacionadas