hebrew-captions-asr
Transcrição em hebraico e legendas embutidas: escolha uma rota de ASR por perfil, obtenha timestamps de palavras, revise manualmente, construa cards de legenda corretos para RTL com animação de ENTRADA E SAÍDA e valide-os com caption_qa mais uma declaração de cobertura.
Regras que se sobrepõem às demais
- Force
language="he". Otranscribeembutido do HyperFrames usasmall.enpor padrão (hebraico ruim) e oinitfaz transcrição automática com ele: use--skip-transcribee a rota local ivrit-ai. - Nunca execute um LLM sobre uma transcrição inteira. Corrija palavras específicas manualmente com um dicionário ortográfico por projeto; decida palavras ambíguas por maioria em várias passagens e pare de oscilar. Meta de entrega: zero erros de ortografia (nomes, marcas, citações); um leitor de hebraico aceita, um modelo crítico apenas nomeia.
- Sem chamada de ASR/TTS em nuvem sem uma estimativa datada e aprovação (
paid-generation-gate). O padrão é local e gratuito; "local = $0" exclui setup, tempo de construção e minutos de correção. - Sem
dir="rtl"na raiz do HyperFrames.lang="he"no<html>;direction: rtlapenas em elementos de texto. Isso é uma solução alternativa específica de motor/versão (um teste na 0.8.98 não reproduziu o render preto, E12): mantenha a regra, re-teste por versão, nunca ensine "root RTL é HTML inválido". - Fontes a partir de arquivos (
hf/fonts/+@font-face); o navegador do HyperFrames não encontra fontes instaladas pelo nome e falha silenciosamente. - Números medidos são vinculados à máquina. Informe a velocidade como segundos de áudio por segundo real com o escopo do timer nomeado; diga aos alunos para medir novamente em seu próprio hardware.
- Lei vs predefinição da casa (decisão padrão Q5). Leis: animação de saída também, zero erros de ortografia, sem root RTL, teste de semelhança antes de fixar um rosto, retrotranscrição após um recorte. Predefinição da casa v1 (substituível): Rubik, cards de 1-3 palavras, trilho inferior <= y 1450, os números de permanência abaixo.
- Ferramentas Whisper quebram com caminhos de arquivo não ASCII (
whisper-cliem um caminho em hebraico): use um diretório temporário ASCII. Execuções longas de ASR sobrender_lockcomo qualquer trabalho pesado.
Entradas -> saídas
Entrada: áudio ou vídeo, DESIGN.md/kit de tipo de marca, o corte final se as legendas seguirem uma edição. Saída (relativa ao projeto): data/words.json ([{"text","start","end"}] em segundos), transcript.srt, transcript.txt, data/captions.json (cards), o componente de legenda na composição, _work/qa/captions_report.json com uma declaração de cobertura.
Rota de ASR por perfil (medida apenas na máquina do proprietário)
| Perfil | Rota | Evidência e limite |
|---|---|---|
| Qualquer CPU (linha de base portátil) | faster-whisper + ivrit turbo CT2, int8, 8 threads de núcleo físico | 731,4 s para 614,22 s de áudio = 0,84 áudio-s por s real (E08) |
| AMD/Windows com driver Vulkan | whisper.cpp compilado com -DGGML_VULKAN=ON + modelo ivrit GGML | 105,6 s para o mesmo áudio = 5,82 áudio-s por s real; a mesma compilação na CPU 1.033,0 s (9,78x mais lenta); RX 7600S precisou de GGML_VK_DISABLE_COOPMAT=1 (apenas local: defina somente se a execução falhar, exit 127) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 ou whisper.cpp CUDA | não medido |
| Apple Silicon | whisper.cpp Metal | não medido |
Corpus: 68 clipes FLEURS he_il, 614,22 s de fala lida, uma passagem, máquina ociosa, segundos inteiros do wrapper. WER naquele corpus (NFC, minúsculas, pontuação -> espaço): whisper.cpp CPU 18,09 %, Vulkan 18,26 %, CT2 simples 17,74 %, CT2 + VAD 19,38 % (4-19 edições de palavras de 1.161: contagens próximas, não equivalência). Diálogo real, áudio telefônico ruidoso e precisão manual de limites de palavras não são medidos. Tabelas completas, receita de compilação e limites: references/asr-routes.md; fatos datados: references/volatile-facts.md. |
Procedimento
- Rota. Identifique a máquina (
doctor), escolha a rota acima, escrevaasr_route.json(caminho do modelo/revisão/hash, dispositivo, precisão, threads, linha de log do backend). Pesos são fixos, nunca "mais recente". - Decisão de VAD (opcional por clipe, decisão padrão Q8). Sem VAD, o Whisper retornou texto hebraico não vazio para 3 s de silêncio digital e para 3 s de baixo ruído (E02); a execução VAD de intervalo explícito em E08 foi mais lenta e menos precisa que o CT2 simples (225 vs 206 edições de palavras). Portanto: teste A/B em uma amostra de 60 s DESTE áudio, mantenha o menor WER e sempre execute o controle de silêncio quando o áudio tiver longos períodos de não fala.
- Transcreva com timestamps de palavras; consuma cada segmento dentro da região temporal. Salve
words.json,.srt(--words-per-cue 3pop de palavras, modo de 6 frases),.txt. Áudio cantado ou com fundo musical: uma "passagem de letra" sem VAD com os filtros de confiança emreferences/asr-routes.md. - Revise o texto inteiro: nomes, marcas, números (dígitos, não palavras numéricas), o dicionário ortográfico, palavras ambíguas por maioria. Sinalize preenchimentos ("ah/umm" geralmente ausentes da saída do Whisper: encontre lacunas sonoras) e nunca exclua automaticamente palavras de discurso.
- Após qualquer recorte, faça ASR do VO completo montado e compare com o texto pretendido (
join_diff); trechos de junção isolados diziam "limpo" enquanto o arquivo completo ouvia resíduos. Retranscreva a saída TTS da mesma forma. - Construa cards (
references/caption-timing.md): 1-3 palavras, palavras-chave na cor de palavra-chave, isolados bidi, entrada + saída, trocas com 2 quadros de antecedência, lidere a voz em 0,08-0,1 s, prenda os inícios em 0; teste de fonte porreferences/hebrew-typography.md; layout e bidi porreferences/rtl-and-bidi.md. - QA.
scripts/caption_lint.pyemcaptions.json,caption_qa --band <top>:1450no render,hf_preflight, snapshots em cada quadro de palavra-chave (--describe false),frame_qa; escreva a declaração de cobertura (quadros decodificados do esperado, banda, fps assumido, o que NÃO foi verificado).
Gates
Estados: pass | fail | blocked | n/a com um motivo; um timeout, uma lista de cards vazia ou um arquivo ausente é blocked.
| Gate | Predicado | Evidência | Se falso | Proprietário | Rechecar quando |
|---|---|---|---|---|---|
| G1 Rota ASR | rota escolhida a partir de uma verificação de capacidade; modelo + pesos fixados; language=he forçado | asr_route.json (caminho, revisão, dispositivo, precisão, threads, escopo do timer) | cair para CPU CT2 int8 | esta skill | nova máquina, driver, modelo |
| G2 VAD | VAD ligado/desligado decidido por um teste A/B em uma amostra real de 60 s; o controle de silêncio executado quando o áudio tem longos períodos de não fala | ambos os WERs (scripts/wer.py) + saída de controle registrada | desligar VAD se WER for pior; adicionar filtros se alucinações aparecerem | esta skill | novo tipo de áudio |
| G3 Transcrição | todos os nomes/marcas/números revisados; dicionário ortográfico aplicado; 0 erros de ortografia aprovados por um leitor de hebraico | transcrição + dicionário aprovados; wer.py contra o texto corrigido em uma amostra | corrigir palavras manualmente; nunca um LLM sobre o texto inteiro | esta skill + humano | qualquer alteração de texto |
| G4 Corte montado | ASR do VO completo montado corresponde às palavras pretendidas; nenhum token extra; primeiras/últimas 2 palavras de cada frase presentes | JSON join_diff | corrigir a junção, recortar, re-ASR | edit-talking-head G2 | a cada recorte |
| G5 RTL / bidi | sem root dir=rtl; lang="he"; Latim, dígitos, moeda, URLs isolados; sem controles bidi perdidos; o quadro final visualizado | scripts/caption_lint.py bloco bidi + hf_preflight + quadro visualizado | isolar o span; remover controles | esta skill | qualquer alteração de texto de legenda |
| G6 Semelhanças / fonte | cada palavra-chave renderizada no tamanho final e em 360x640; ו/ז, ד/ר, ה/ח não podem ser lidas como outra palavra; fonte carregada de um arquivo | registro de espécime em hf/QA.md (arquivo de fonte, hash, tamanho, quadro) + snapshot mostrando sem fallback | trocar a face para aquela palavra (Karantina "לבזבז" lido como "לבובו") | esta skill | qualquer alteração de fonte, tamanho ou palavra-chave |
| G7 Timing + animação | palavra >= 0,25 s, card >= 0,9 s, última palavra >= 0,25 s; animação de saída presente; sobreposição de troca de 1-2 quadros; sem início negativo | relatório caption_lint + caption_qa + verificação de quadro | re-temporizar; adicionar a saída | esta skill | qualquer recorte ou retemporização |
| G8 Zona segura + contraste + cobertura | parte inferior da legenda <= y 1450 (predefinição da casa); palavra-chave na cor da marca >= 4,5:1 na faixa; caption_qa declara sua cobertura | relatório caption_qa com declaração de cobertura + números de contraste | mover, mudar cor ou adicionar um fundo | esta skill | qualquer alteração de layout; nova proporção |
Números da predefinição da casa v1 (cada um substituível; fontes datadas nas referências)
Rubik: Preto (900) palavras-chave, Regular/600 palavras pequenas; 54-66 px em 1080x1920 (padrão provisório E03; Alef 700 e Noto Sans Hebrew 600 pontuam igual; Karantina pontuou 1,8 vs 4,2 em uma revisão estática de modelo único, sem painel humano, sem telefone, sem animação). Pop de palavras 1-3 palavras, 0,35-0,7 s por card; entrada espelhada pela saída (desfoque-para-cima, cerca de 4 quadros, subida de 10 px, desfoque de 6 px); trilho de legenda y 900-1240 no A-roll, parte inferior <= 1450; texto chave y <= 1248. A tabela da plataforma 9:16 está datada de 2026-09 e não verificada como lei: execute o teste de sobreposição em um telefone.
Referências (carregar quando)
references/asr-routes.md- escolher/construir uma rota ASR, protocolo WER, VAD, passagem de letra, opções de nuvem (nenhuma executada).references/hebrew-typography.md- escolher uma fonte, teste de semelhança, tabela E03, licenças.references/rtl-and-bidi.md- linhas mistas hebraico/inglês/números, armadilhas RTL do HyperFrames e After Effects.references/caption-timing.md- modos, receita exata de timing, zonas seguras, script de contraste.references/volatile-facts.md- antes de citar velocidades, WER, fixações, licenças, números de zona segura.- Scripts:
scripts/caption_lint.py(lint de timing/bidi/trilho de card),scripts/wer.py(WER/CER com uma normalização declarada); ambos stdlib,--self-check; caminhos de script são relativos à pasta desta skill. - Módulos datados em nível de repositório (pertencentes a outros lugares):
agent-content/references/asr-routes.md,agent-content/references/hebrew-rtl-captions.md,agent-content/references/platform-specs.md,agent-content/techniques/caption-collision.md; carregue quando precisar das tabelas datadas ou do método de colisão de caixas. - Irmãos:
edit-talking-head,render-qa-deliver,video-analysis(relatórios de análise, não legendas).
Status da evidência
ASR dos experimentos E02/E08 (máquina do proprietário); fontes do E03; regras de timing e saída dos projetos do proprietário. Nenhuma verdade fundamental de timing humano, nenhuma execução de ASR em nuvem, nenhuma resolução de licença de modelo para conversões ONNX. Especificado; apenas verificações determinísticas; avaliação de modelo não executada (Q4).