Communitygithub.com

libz-renlab-ai/TeamBrain

Pré-processamento de ativos para composições HyperFrames — narração de texto em fala (Kokoro), transcrição de áudio/vídeo (Whisper) e remoção de fundo para sobreposições transparentes (u2net). Use ao gerar narração a partir de texto, transcrever fala para legendas, remover o fundo de um vídeo ou imagem para usar como sobreposição transparente, escolher uma voz TTS ou modelo Whisper, ou encadear essas operações (TTS → transcrever → legendas). Cada comando baixa seu próprio modelo na primeira execução.

O que é TeamBrain?

Este skill fornece ferramentas de pré-processamento de mídia para composições HyperFrames, permitindo que desenvolvedores e agentes de IA gerem, transcrevam e preparem ativos de áudio e vídeo localmente. Ele oferece três comandos principais: `tts` para síntese de fala usando Kokoro-82M (sem necessidade de chave de API), `transcribe` para transcrição de áudio/vídeo com timestamps ao nível da palavra usando Whisper, e `remove-background` para remoção de fundo de vídeos e imagens usando u2net_human_seg. É útil para criar narrações de alta qualidade a partir de texto, gerar legendas sincronizadas automaticamente e preparar sobreposições transparentes para composições visuais. O skill suporta múltiplos idiomas e vozes, diferentes modelos de transcrição para equilíbrio entre velocidade e precisão, e formatos de saída como WebM com alpha, MOV ProRes 4444 e PNG. Cada comando baixa o modelo necessário na primeira execução e o armazena em cache em `~/.cache/hyperframes/`, e os comandos podem ser encadeados para fluxos de trabalho completos (TTS → transcrição → legendas).

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/libz-renlab-ai/TeamBrain/tree/HEAD/.agents/skills/hyperframes-media

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Pré-processamento de Mídia HyperFrames

Três comandos CLI que produzem ativos para composições: tts (fala), transcribe (timestamps) e remove-background (vídeo transparente). Cada um baixa um modelo na primeira execução e o armazena em cache em ~/.cache/hyperframes/. Coloque a saída no projeto e referencie-a a partir do HTML da composição — veja o skill hyperframes para as convenções de elementos de áudio/vídeo.

Texto para Fala (tts)

Gere áudio de fala localmente com Kokoro-82M. Sem chave de API.

npx hyperframes tts "Texto aqui" --voice af_nova --output narracao.wav
npx hyperframes tts script.txt --voice bf_emma --output narracao.wav
npx hyperframes tts --list                       # todas as 54 vozes

Seleção de Voz

Combine a voz ao conteúdo. O padrão é af_heart.

Tipo de conteúdoVozPorquê
Demonstração de produtoaf_heart/af_novaCalorosa, profissional
Tutorial / guiaam_adam/bf_emmaNeutra, fácil de acompanhar
Marketing / promoçãoaf_sky/am_michaelEnergética ou autoritária
Documentaçãobf_emma/bm_georgeInglês britânico claro, formal
Casual / socialaf_heart/af_skyAcessível, natural

Multilíngue

Os IDs de voz codificam o idioma na primeira letra: a=Inglês Americano, b=Inglês Britânico, e=Espanhol, f=Francês, h=Hindi, i=Italiano, j=Japonês, p=Português Brasileiro, z=Mandarim. A CLI detecta automaticamente a localidade do fonemizador a partir do prefixo — não é necessário --lang quando a voz corresponde ao texto.

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

Use --lang apenas para sobrescrever a detecção automática (sotaques estilizados). Códigos válidos: en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. A fonemização para idiomas não ingleses requer espeak-ng no sistema (brew install espeak-ng / apt-get install espeak-ng).

Velocidade

  • 0.7-0.8 — tutorial, conteúdo complexo, acessibilidade
  • 1.0 — ritmo natural (padrão)
  • 1.1-1.2 — introduções, transições, conteúdo animado
  • 1.5+ — raramente apropriado; teste cuidadosamente

Scripts Longos

Para mais de alguns parágrafos, escreva em um arquivo .txt e passe o caminho. Entradas com mais de ~5 minutos de fala podem se beneficiar da divisão em segmentos.

Requisitos

Python 3.8+ com kokoro-onnx e soundfile (pip install kokoro-onnx soundfile). O modelo é baixado no primeiro uso (~311 MB + ~27 MB de vozes, armazenado em cache em ~/.cache/hyperframes/tts/).

Transcrição (transcribe)

Produza um transcript.json normalizado com timestamps ao nível da palavra.

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # importar existente
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

Regra de Idioma (Innegociável)

Nunca use modelos .en a menos que o usuário declare explicitamente que o áudio está em Inglês. Modelos .en (small.en, medium.en) traduzem áudio não-inglês para Inglês em vez de transcrevê-lo. Isso destrói silenciosamente o idioma original.

  1. Idioma conhecido e não-inglês → --model small --language <código> (sem sufixo .en)
  2. Idioma conhecido e inglês → --model small.en
  3. Idioma desconhecido → --model small (sem .en, sem --language) — whisper detecta automaticamente

O modelo padrão é small, não small.en.

Tamanhos de Modelo

ModeloTamanhoVelocidadeQuando usar
tiny75 MBMais rápidoPré-visualizações rápidas, teste de pipeline
base142 MBRápidoClipes curtos, áudio claro
small466 MBModeradoPadrão — a maioria do conteúdo
medium1,5 GBLentoConteúdo importante, áudio ruidoso, música
large-v33,1 GBMais lentoQualidade de produção

Música com vocais: comece com no mínimo medium; faixas produzidas geralmente precisam de importação manual de SRT/VTT. Para verificações de qualidade de legendas (obrigatório após cada transcrição), o JS de limpeza, regras de repetição e o caminho de importação da API OpenAI/Groq, veja hyperframes/references/transcript-guide.md.

Formato de Saída

As composições consomem uma matriz plana de objetos de palavra. O campo id (w0, w1, ...) é adicionado durante a normalização para referências estáveis em substituições de legendas; é opcional para compatibilidade reversa.

[
  { "id": "w0", "text": "Olá", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "mundo.", "start": 0.6, "end": 1.2 }
]

Remoção de Fundo (remove-background)

Remova o fundo de um vídeo ou imagem para que ele possa ficar como uma sobreposição transparente em uma composição (por exemplo, um avatar flutuando sobre uma placa de fundo).

npx hyperframes remove-background avatar.mp4 -o transparente.webm  # padrão: VP9 alpha WebM
npx hyperframes remove-background avatar.mp4 -o transparente.mov   # ProRes 4444 (edição)
npx hyperframes remove-background retrato.jpg -o recorte.png       # recorte de imagem única
npx hyperframes remove-background avatar.mp4 -o transparente.webm --device cpu
npx hyperframes remove-background --info                           # provedores detectados

Usa u2net_human_seg (MIT). A primeira execução baixa ~168 MB de pesos para ~/.cache/hyperframes/background-removal/models/.

Formato de Saída

FormatoQuando
.webm (VP9 + alpha)Padrão. As composições reproduzem isso diretamente via <video>.
.mov (ProRes 4444)Edição em DaVinci/Premiere/FCP. Arquivos grandes.
.pngRecorte de imagem única (assunto estático, camada sobre um fundo).

O Chrome decodifica VP9 alpha nativamente, então o .webm se encaixa em uma composição como qualquer outro vídeo com reprodução automática e mudo — veja o skill hyperframes para as convenções de trilhas <video>.

TTS → Transcrição → Legendas

Quando não há narração pré-gravada, gere uma e transcreva-a de volta para obter timestamps ao nível da palavra para legendas:

npx hyperframes tts script.txt --voice af_heart --output narracao.wav
npx hyperframes transcribe narracao.wav   # → transcript.json

Whisper extrai limites de palavra precisos do áudio gerado, então o tempo das legendas corresponde à entrega sem ajustes manuais.

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

libz-renlab-ai/TeamBrain

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

libz-renlab-ai/TeamBrain

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For CLI commands (init, lint, preview, render, transcribe, tts) see the hyperframes-cli skill.

libz-renlab-ai/TeamBrain

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames — for example "port my Remotion project to HyperFrames", "convert this Remotion code to HyperFrames", "migrate from Remotion", "translate this Remotion comp", or "rewrite this as HyperFrames HTML". Do NOT use when (a) the user is authoring a NEW HyperFrames composition, even if they have or are A/B-testing a similar Remotion video; (b) the user mentions Remotion in passing without asking for migration; (c) the user shares Remotion code as reference material rather than asking for a translation; (d) the user asks for "the same video as my Remotion one" without explicitly asking to migrate the source — treat that as a fresh HyperFrames build. When in doubt, default to authoring a native HyperFrames composition with the `hyperframes` skill instead. Skill detects unsupported patterns (use...

libz-renlab-ai/TeamBrain

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

libz-renlab-ai/TeamBrain

HyperFrames CLI tool — hyperframes init, lint, inspect, preview, render, transcribe, tts, doctor, browser, info, upgrade, compositions, docs, benchmark. Use when scaffolding a project, linting, validating, inspecting visual layout in compositions, previewing in the studio, rendering to video, transcribing audio, generating TTS, or troubleshooting the HyperFrames environment.

Habilidades Relacionadas