Communitygithub.com

Nuva-Lab/vibecut

Gere timestamps no nível da palavra no estilo karaokê alinhando texto do roteiro ao áudio usando Qwen3-ForcedAligner + jieba para segmentação de palavras em chinês.

O que é vibecut?

Esta skill (vibecut) permite converter um roteiro de texto e um arquivo de áudio em timestamps no nível de palavra, ideais para legendas no estilo karaokê. Ela utiliza o modelo Qwen3-ForcedAligner-0.6B (precisão de ~30ms) para alinhamento caractere por caractere, e o jieba para segmentar caracteres chineses em palavras naturais. A saída pode ser em nível de frase (com timestamps de palavras embutidos) ou apenas palavras, pronta para renderização em componentes como o RollingCaption do Remotion. É útil para criadores de conteúdo que desejam sincronizar texto falado com áudio de forma precisa, suportando 11 idiomas e integrando-se automaticamente ao fluxo de trabalho do make-video.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

alinhar-legendas

Alinhe o texto do roteiro existente ao áudio para legendas no estilo karaokê. Usa Qwen3-ForcedAligner-0.6B (precisão de ~30ms) e jieba para segmentação de palavras em chinês (agrupa caracteres em palavras naturais).

Pipeline

Roteiro + Áudio
    ↓
Qwen3-ForcedAligner (timestamps no nível de caractere)
    ↓
Segmentação de palavras com jieba (caracteres → palavras chinesas)
    ↓
Correspondência de frases baseada em posição (palavras → frases)
    ↓
Saída: frases com timestamps de palavras embutidos

Uso

# Alinhar roteiro ao áudio (saída em nível de frase com timestamps de palavras)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."

# Salvar em arquivo
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# Apenas nível de palavra (sem agrupamento de frases)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

Formato de Saída

Projetado para renderização de karaokê no Remotion:

{
  "segments": [
    {
      "text": "当全世界...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "当", "startMs": 240, "endMs": 400},
        {"text": "全世界", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "Chinese",
  "model": "Qwen3-ForcedAligner-0.6B"
}

Uso Programático

from align import align_captions

# Obter frases com timestamps de palavras embutidos
resultado = align_captions(
    "voiceover.wav",
    script="当全世界都在追AI的时候...",
    language="Chinese"
)

# Cada frase tem um array 'words' para destaque de karaokê
for frase in resultado["segments"]:
    print(f"{frase['text']}: {len(frase['words'])} palavras")

Integração com make-video

O script make_video.py usa automaticamente o alinhamento de legendas quando:

  1. Um arquivo de narração existe
  2. Um roteiro é fornecido em project.json
  3. caption_mode está definido como "auto" ou "asr"

A saída é passada para o componente RollingCaption do Remotion para renderização de karaokê.

Recuperação de Erros

  • Arquivo de áudio não encontrado: Verifique se o caminho existe antes de chamar. O script lançará FileNotFoundError — verifique o caminho correto da narração em project.json.
  • Falha no download do modelo: O Qwen3-ForcedAligner (~1GB) é baixado na primeira execução. Se falhar (rede/disco), tente novamente ou baixe manualmente para o cache do HuggingFace (~/.cache/huggingface/).
  • jieba não instalado: Execute pip install jieba. Sem ele, o texto em chinês volta para timestamps no nível de caractere (sem agrupamento de palavras).

Notas

  • Suporta 11 idiomas: Chinês, Inglês, Cantonês, Francês, Alemão, Italiano, Japonês, Coreano, Português, Russo, Espanhol

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Habilidades Relacionadas