Communitygithub.com

Podcast em Shorts, passo 3: legendas animadas palavra a palavra

Grave legendas animadas palavra a palavra nos vídeos usando Whisper para transcrever e pycaps para renderizar, com um estilo limpo padrão, um tema futurista brilhante ou seu próprio CSS.

O que é Podcast em Shorts, passo 3: legendas animadas palavra a palavra?

Receita Podcast em Shorts, passo 3 (as legendas). O agente transcreve a fala com Whisper e renderiza legendas animadas com pycaps, escolhendo o estilo minimalista padrão, o tema incluído com brilho dourado e magenta ou um arquivo CSS próprio, e também pode colocar textos fixos em tempos definidos.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-captioner

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

video-captioner — Pipeline de Legendas Animadas

Transcreve áudio com Whisper e insere legendas animadas palavra por palavra em vídeos. Sem correção de cor — para aprimoramento visual, use a skill video-enhancer primeiro.

Pipeline

vídeo de entrada → transcrição Whisper → renderização de legendas pycaps → vídeo de saída com legendas

Estilos de legenda

Três opções:

  1. Padrão (sem flag) — estilo minimalista embutido do pycaps: texto branco simples, sem efeitos.
  2. Futurista (incluído) — --css scripts/futuristic.css — legendas alternando dourado/magenta com efeito de brilho e fonte monoespaçada. Bom para conteúdo tech, gaming ou de alta energia.
  3. Personalizado — o usuário pode fornecer qualquer caminho de arquivo CSS via --css /path/to/custom.css.

Se o usuário não mencionou um estilo de legenda, pergunte se ele quer o visual padrão, o estilo futurista ou um arquivo CSS personalizado.

Legendas estáticas

Use --caption para adicionar texto predefinido em timestamps específicos, em vez de transcrever o áudio:

--caption "INÍCIO-FIM: TEXTO"

Formato:

  • Os horários usam o formato M:SS ou MM:SS (ex.: 0:05 = 5 segundos, 1:30 = 90 segundos)
  • Múltiplas legendas: use --caption várias vezes
  • Se tanto legendas estáticas quanto transcrição forem fornecidas, as legendas estáticas têm precedência

Exemplo:

uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Olá mundo" \
  --caption "0:10-0:20: Isto é uma demonstração" \
  --css scripts/futuristic.css

Estilização de legendas

A estilização é gerenciada através de arquivos de configuração JSON. Ao usar legendas estáticas, a estilização é aplicada automaticamente.

Estilização padrão

Quando nenhum --style-config é especificado, config.default.json é usado:

  • Fundo: branco (#FFFFFF)
  • Cor do texto: azul (#0066FF)
  • Fonte: auto — usa primeiro uma fonte da marca disponível marcada como caption, depois usa Courier New
  • Padding: 10px 15px
  • Margem: 0

Usando uma configuração de estilo

Altere estilos passando um arquivo de configuração:

# Usar estilo modo escuro
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Olá" \
  --style-config config.dark-mode.json

Configurações incluídas:

  • config.default.json — fundo branco, texto azul, Courier New (padrão)
  • config.dark-mode.json — fundo escuro, texto branco, fonte maior

Criando configurações de estilo personalizadas

Copie config.default.json e modifique:

{
  "caption_bg_color": "#000000",
  "caption_color": "#FFFFFF",
  "caption_font": "auto",
  "caption_font_tag": "caption",
  "caption_padding": "20px 30px",
  "caption_margin": "10px",
  "caption_font_size": 48
}

Depois use:

uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Texto" \
  --style-config meu-estilo-personalizado.json

Sobrescrevendo configuração com flags de CLI

Flags de CLI têm precedência sobre valores do arquivo de configuração:

uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Olá" \
  --style-config config.dark-mode.json \
  --caption-color "#00FF00"  # Sobrescreve a cor do texto da configuração

Referência de configuração de estilo

ChaveTipoDescrição
caption_bg_colorstringCor de fundo (hex ou nome de cor CSS)
caption_colorstringCor do texto (hex ou nome de cor CSS)
caption_fontstringauto, família de fonte, ou caminho para arquivo .ttf, .otf, .woff, .woff2
caption_font_tagstring ou nullTag de fonte da marca para preferir do brand-manager (caption, body, heading, etc.)
caption_paddingstringPadding CSS (ex.: "10px 15px")
caption_marginstringMargem CSS (ex.: "0")
caption_font_sizeinteger ou nullTamanho da fonte em pixels (null = escala automática)

Fontes disponíveis

Fontes do sistema podem ser especificadas pelo nome:

  • DejaVu Sans / DejaVu Sans Bold / DejaVu Serif
  • Liberation Sans / Liberation Mono
  • Courier New
  • Ubuntu Mono
  • Qualquer caminho de arquivo TTF: /caminho/para/fonte.ttf

Ou escolha entre fontes da marca em skills/brand-manager/brand-assets/asset-manifest.json. Quando caption_font é auto, a skill lê o manifesto da marca (ou CLAW_BRAND_ASSETS_DIR se definido) e usa a primeira fonte disponível marcada por caption_font_tag; se não existir fonte marcada, tenta fontes da marca marcadas caption, body, heading ou bold, e depois usa Courier New. Se a fonte da marca resolvida for um caminho de arquivo, o CSS gerado inclui uma regra @font-face para que o pycaps possa renderizá-la.

Como executar

Instale as dependências (apenas na primeira execução):

cd "$SKILL_DIR" && uv sync

Nota: a primeira execução será lenta (potencialmente vários minutos) porque o pycaps baixa o modelo de reconhecimento de fala Whisper. Avise o usuário sobre isso antes de começar.

Depois processe os vídeos:

cd "$SKILL_DIR" && uv run python scripts/caption_service.py \
  --input <caminho/para/entrada> \
  --output <caminho/para/saída> \
  [--css scripts/futuristic.css]

Invocações comuns

# Legendas minimalistas padrão (transcrição Whisper)
uv run python scripts/caption_service.py --input ./input --output ./output

# Estilo futurista
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --css scripts/futuristic.css

# CSS personalizado
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --css /caminho/para/meu.css

# Legendas estáticas com estilo padrão (fundo branco, texto azul, Courier New)
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Inscreva-se para mais" \
  --caption "0:10-0:15: Siga-nos no Instagram"

# Legendas estáticas com estilo modo escuro
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Olá mundo" \
  --caption "0:10-0:20: Isto é uma demonstração" \
  --style-config config.dark-mode.json

# Legendas estáticas com configuração de estilo personalizada
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Texto personalizado" \
  --style-config meu-estilo-personalizado.json

# Legendas estáticas com sobrescritas de CLI
uv run python scripts/caption_service.py \
  --input ./input --output ./output \
  --caption "0:01-0:05: Olá" \
  --style-config config.dark-mode.json \
  --caption-color "#00FF00"

# Modo de observação (verifica novos vídeos a cada 10s)
uv run python scripts/caption_service.py --input ./input --output ./output --watch

Após a execução

Relate ao usuário:

  • Quantos vídeos foram processados com sucesso e quantos falharam.
  • O caminho completo para o diretório de saída.
  • Se algum vídeo falhou, nomeie-os explicitamente.

Casos de borda

  • Se ffmpeg não estiver instalado: diga ao usuário para instalá-lo (sudo pacman -S ffmpeg no Arch/CachyOS, brew install ffmpeg no macOS, sudo apt install ffmpeg no Ubuntu)
  • Se uv não estiver instalado: direcione para https://docs.astral.sh/uv/getting-started/installation/
  • Se o diretório de entrada estiver vazio: reporte claramente em vez de sair silenciosamente
  • A primeira execução baixa o modelo Whisper (~140 MB para tiny, ~1.5 GB para large) — isso é feito apenas uma vez

Transcrição Remota

Esta skill agora suporta transcrição remota opcional enquanto mantém a renderização pycaps local.

  • O comportamento padrão continua totalmente local: transcrição Whisper dentro do pycaps + renderização local
  • O modo remoto substitui apenas a etapa de transcrição
  • A renderização de legendas, modelos e manipulação de CSS permanecem locais

Provedores suportados

  • huggingface
  • replicate

Chaves de configuração / CLI

ChavePadrãoNotas
transcription_providernullnull mantém o fluxo local Whisper-in-pycaps
remote_modelnullOpcional: substituição do modelo de transcrição específico do provedor
hf_token_envHF_TOKENNome da variável de ambiente de autenticação HuggingFace
replicate_api_key_envREPLICATE_API_TOKENNome da variável de ambiente de autenticação Replicate
remote_timeout_seconds300Timeout da chamada remota

Exemplos

# Transcrição remota HuggingFace + renderização pycaps local
export HF_TOKEN=hf_seu_token
uv run python scripts/caption_service.py --input ./input --output ./output --transcription-provider huggingface

# Transcrição remota Replicate + renderização pycaps local
export REPLICATE_API_TOKEN=r8_seu_token
uv run python scripts/caption_service.py --input ./input --output ./output --transcription-provider replicate --remote-model <slug-do-modelo-replicate>

Notas

  • Não há fallback silencioso para modo local se a autenticação/configuração remota estiver faltando
  • O uso existente da CLI local permanece válido
  • Se você não definir --transcription-provider, o pycaps continuará usando seu fluxo Whisper embutido

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Habilidades Relacionadas