Communitygithub.com

long2short

Transforme vídeos longos no formato paisagem (vlogs, entrevistas, podcasts, palestras) em clipes verticais 9:16 prontos para TikTok, Instagram Reels e YouTube Shorts – com legendas animadas, rastreamento Apple Vision e muito mais.

O que é long2short?

O skill **long2short** automatiza a criação de clipes verticais curtos a partir de vídeos longos no formato paisagem. Ele é ideal para criadores de conteúdo que desejam extrair os melhores momentos de vlogs, entrevistas, podcasts ou palestras e publicá-los em plataformas como TikTok, Instagram Reels e YouTube Shorts. O funcionamento é totalmente local: o usuário fornece um vídeo, e o skill realiza transcrição (com suporte a vários idiomas, incluindo alemão e outras línguas latinas), detecção de cenas, rastreamento do sujeito usando Apple Vision, reframing para 9:16, criação de legendas animadas sincronizadas com a fala (com destaque para a palavra ativa), adição de título gancho, stickers informativos e efeitos sonoros sutis. O resultado são arquivos MP4 em 1080x1920, prontos para publicação. O skill também oferece um pipeline completo de edição, permitindo que o usuário revise e aprove cada clipe, e inclui ferramentas para corrigir erros de transcrição e ajustar o rastreamento de objetos que não sejam pessoas (como drones ou robôs).

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sebsch1337/long2short/tree/HEAD/skills/long2short

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que long2short faz?

Você é o editor: você escolhe os momentos, escreve os títulos gancho e stickers, e decide o corte. Os scripts fazem o trabalho pesado (transcrição, detecção de cenas, rastreamento, corte, renderização) e rodam localmente. Tudo passa por uma CLI:

python3 <skill>/scripts/l2s.py [-p PROJECT] <comando> ...

<skill> é a pasta deste skill. Uma pasta de projeto (padrão <pasta do vídeo>/long2short) contém project.json, o proxy, transcrição, lista de cenas e uma pasta por clipe (clips/clipNN/). Os clipes finalizados vão para project.json → out (padrão <pasta do vídeo>/clips).

Requisitos: macOS (Apple Vision para rastreamento, VideoToolbox para ProRes rápido), ffmpeg, Node (npx HyperFrames), ferramentas de linha de comando do Xcode (swiftc), whisper-cli + um modelo ggml (ou python whisper). O timing das legendas (forced alignment) funciona para idiomas com escrita latina; números são escritos por extenso para o alemão em force_align.py – estenda spell() para outros idiomas. Nada é incluído neste skill além de instruções e código. Na primeira execução em uma máquina, execute l2s.py setup – ele baixa tudo para ~/.cache/long2short: um ambiente Python privado (torch/torchaudio para forced alignment), os efeitos sonoros CC0, a fonte das legendas (Montserrat, OFL) e, se nenhum estiver instalado, um modelo whisper.cpp; também compila os helpers do Apple Vision. Depois l2s.py doctor. Execute setup novamente sempre que doctor reportar algo faltando. Se algo estiver faltando, mostre ao usuário o comando de instalação exato.

1. Preparar o vídeo (uma vez por vídeo)

l2s.py init "/caminho/video.mp4" --lang de

Cria proxy, áudio de 16 kHz, transcrição de palavras (transcript.txt com códigos de tempo), scenes.json e folhas de contato (sheets/, um frame por cena com códigos de tempo). Vídeos longos levam minutos – execute em segundo plano e avise o usuário.

Adicione erros de transcrição recorrentes (nomes, marcas) a project.json → glossary ({"Air bee and bee": "Airbnb"}); eles são corrigidos automaticamente quando as palavras são mapeadas em um clipe.

2. Escolher os momentos (seu julgamento)

Leia references/editorial.md antes de escolher. Resumindo: leia todo o transcript.txt, olhe para cada folha de contato (é assim que você encontra momentos fortes sem fala – uma máquina no trabalho, um animal, uma grande revelação), depois escreva uma lista para o usuário: número, título de trabalho / gancho, intervalos de origem, duração, por que funciona. Duração padrão 60–90 s (o Creator Rewards do TikTok só paga por vídeos com mais de um minuto), a menos que o usuário queira outra coisa. Aguarde a aprovação do usuário antes de renderizar um lote quando ele pediu para revisar as escolhas; caso contrário, continue.

Cada clipe deve ser independente. Um espectador vê esta pessoa e tópico pela primeira vez: os primeiros 3 segundos (texto do gancho + frase de abertura) devem dizer onde estamos e do que se trata (por exemplo, "Em Lisboa…"), e o clipe não pode depender de outras partes do vídeo ("depois desta viagem", "como eu disse", "o segundo"). Comece após tais frases ou remova-as.

3. Construir cada clipe

l2s.py -p P plan  NN "A-B[,C-D]" [--teaser VS VE AS] [--seed T:CX:CY]
l2s.py -p P words NN                # imprime as palavras com índices – corrija o texto em words_raw.json
l2s.py -p P align NN [MM ...]       # forced alignment: timing exato das palavras (o modelo carrega uma vez para todos os clipes)
#   escreva clips/clipNN/hf_config.json  (veja references/config.md)
l2s.py -p P finish NN "NN_titulo-curto"   # corte -> gráficos -> renderização -> composição
  • Intervalos são segundos absolutos da fonte. Corte nos limites das sentenças; use os tempos das palavras em words.json. Os segmentos são unidos em ordem; um --teaser (tomada de recompensa de 2–3 s mostrada primeiro, com áudio de AS) cria uma abertura fria forte.
  • Revisão do corte custa tokens – só olhe quando for instruído. plan imprime no anomalies ou uma lista de ANOMALIAS. Só então abra clips/clipNN/spec.review.jpg (caixa amarela = janela 9:16, ponto vermelho = sujeito rastreado, grade ciano em passos de 0.1).
  • Objetos (drone, robô, carro) não são encontrados automaticamente: para um trecho relatado como "no person", leia a posição do objeto na grade e execute plan novamente com --seed T:CX:CY (tempo da fonte, x, y em 0–1). Ele ajusta ao objeto e o rastreia.
  • Correções de texto antes do alinhamento. Corrija palavras mal interpretadas em words_raw.json; se uma passagem for ininteligível, remova-a das legendas (drop em hf_config) em vez de adivinhar.
  • Execute align uma vez para vários clipes para economizar tempo.

4. Entregar

Relate uma pequena tabela: clipe, duração, caminho do arquivo, gancho e uma legenda pronta para publicar com hashtags. Não verifique novamente os renders quadro a quadro quando o usuário disse que irá revisar por conta própria. Os arquivos intermediários são grandes (~2 GB por clipe em clips/clipNN/); ofereça-se para excluí-los após o usuário aprovar os resultados.

Estilo fixo (aprovado – não altere sem ser solicitado)

  • Legendas: Montserrat Black, maiúsculas, brancas com contorno preto, 1–3 palavras, palavra ativa amarela #FFD400 com um pop curto, palavras-chave em uma pílula amarela; centralizadas horizontal e verticalmente no terço inferior; aparecem 0,12 s antes da palavra.
  • Gancho: pílulas pretas no topo, palavras de destaque amarelas, primeiros ~3 s. Stickers informativos: pílula amarela + emoji no topo, ajustados automaticamente à largura do quadro.
  • Som: 5–7 efeitos sutis por clipe (pop, whoosh, impacto, ka-ching; CC0, baixados pelo setup), sem música (a música é adicionada no aplicativo). Loudness −14 LUFS, pico verdadeiro −1 dBTP.
  • Corte: uma janela 9:16, rastreamento suave. Sem zoom punch-in e sem layout "ajustar" com letterbox/desfoque – ambos foram testados e rejeitados (o zoom-out parecia esmagamento).

Quando algo parecer errado, leia references/troubleshooting.md – ele lista as causas raiz já encontradas (vazamentos nas bordas da cena, oscilação, atraso da legenda, …) e como os scripts lidam com elas.

Habilidades Relacionadas