hebrew-captions-asr
Transcripción de hebreo y subtítulos quemados: elige una ruta de ASR según el perfil de hardware, obtén marcas temporales por palabra, corrige manualmente, construye tarjetas de subtítulos con orientación RTL que animan de entrada y salida, y verifícalas con caption_qa más una declaración de cobertura.
Reglas que prevalecen sobre el resto
- Forzar
language="he". Eltranscribeincorporado de HyperFrames por defecto usasmall.en(mal hebreo) yinittranscribe automáticamente con él: usa--skip-transcribey la ruta local ivrit-ai. - Nunca ejecutar un LLM sobre un transcript completo. Corrige palabras específicas a mano con un diccionario ortográfico por proyecto; decide palabras ambiguas por mayoría tras varias pasadas y luego deja de cambiar. Estándar de entrega: cero errores ortográficos (nombres, marcas, citas); un lector de hebreo acepta, un modelo crítico solo nomina.
- Sin llamada a ASR/TTS en la nube sin un presupuesto fechado y aprobación (
paid-generation-gate). Lo predeterminado es local y gratuito; "local = $0" excluye configuración, tiempo de compilación y minutos de corrección. - No usar
dir="rtl"en la raíz de HyperFrames.lang="he"en<html>;direction: rtlsolo en elementos de texto. Esto es una solución temporal específica del motor/versión (una prueba en 0.8.98 no reprodujo el renderizado negro, E12): mantén la regla, vuelve a probar por versión, nunca enseñes que "root RTL es HTML inválido". - Fuentes desde archivos (
hf/fonts/+@font-face); el navegador de HyperFrames no encuentra fuentes instaladas por nombre y retrocede silenciosamente. - Las mediciones numéricas están vinculadas a la máquina. Cita la velocidad como segundos de audio por segundo real con el ámbito del temporizador nombrado; indica a los estudiantes que vuelvan a medir en su propio hardware.
- Ley vs. preset de la casa (decisión predeterminada Q5). Leyes: animación de salida además de entrada, cero errores ortográficos, sin root RTL, prueba de caracteres similares antes de bloquear una cara, retrotranscripción después de un recorte. Preset de la casa v1 (modificable): Rubik, tarjetas de 1-3 palabras, riel inferior <= y 1450, los números de permanencia a continuación.
- Las herramientas Whisper fallan con rutas de archivo no ASCII (
whisper-clien una ruta hebrea): usa un directorio temporal ASCII. Las ejecuciones largas de ASR bajorender_lockcomo cualquier trabajo pesado.
Entradas -> salidas
In: audio o video, DESIGN.md/kit de tipo de marca, el corte final si los subtítulos siguen una edición. Salida (relativa al proyecto): data/words.json ([{"text","start","end"}] segundos), transcript.srt, transcript.txt, data/captions.json (tarjetas), el componente de subtítulos en la composición, _work/qa/captions_report.json con una declaración de cobertura.
Ruta de ASR por perfil (medido solo en la máquina del propietario)
| Perfil | Ruta | Evidencia y límite |
|---|---|---|
| cualquier CPU (línea base portátil) | faster-whisper + ivrit turbo CT2, int8, 8 hilos de núcleos físicos | 731.4 s para 614.22 s de audio = 0.84 audio-s por s real (E08) |
| AMD/Windows con controlador Vulkan | whisper.cpp compilado con -DGGML_VULKAN=ON + modelo ivrit GGML | 105.6 s para el mismo audio = 5.82 audio-s por s real; la misma compilación en CPU 1033.0 s (9.78x más lento); RX 7600S necesitó GGML_VK_DISABLE_COOPMAT=1 (solo local: configúralo solo si la ejecución falla, exit 127) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 o whisper.cpp CUDA | sin medir |
| Apple Silicon | whisper.cpp Metal | sin medir |
Corpus: 68 clips FLEURS he_il, 614.22 s de voz leída, una pasada, máquina inactiva, segundos completos del wrapper. WER en ese corpus (NFC, minúsculas, puntuación -> espacio): whisper.cpp CPU 18.09%, Vulkan 18.26%, CT2 plano 17.74%, CT2 + VAD 19.38% (4-19 ediciones de palabras de 1161: cercanas, no equivalentes). Diálogo real, audio telefónico ruidoso y precisión de límite de palabra manual no medidos. Tablas completas, receta de compilación y límites: references/asr-routes.md; hechos fechados: references/volatile-facts.md. |
Procedimiento
- Ruta. Sondear la máquina (
doctor), elegir la ruta anterior, escribirasr_route.json(ruta del modelo/revisión/hash, dispositivo, precisión, hilos, línea de registro del backend). Los pesos están fijados, nunca "últimos". - Decisión de VAD (opcional por clip, decisión predeterminada Q8). Sin VAD Whisper devolvió texto hebreo no vacío para 3 s de silencio digital y para 3 s de ruido bajo (E02); la ejecución de VAD con intervalo explícito en E08 fue más lenta y menos precisa que CT2 plano (225 vs 206 ediciones de palabras). Por lo tanto: prueba A/B en una muestra de 60 s de ESTE audio, conserva el WER más bajo, y siempre ejecuta el control de silencio cuando el audio tiene largos tramos sin voz.
- Transcribir con marcas temporales por palabra; consumir cada segmento dentro de la región temporizada. Guardar
words.json,.srt(--words-per-cue 3para pop de palabras, modo de 6 oraciones),.txt. Audio cantado o con base musical: una "pasada de letra" sin VAD con los filtros de confianza enreferences/asr-routes.md. - Corregir todo el texto: nombres, marcas, números (dígitos, no palabras numéricas), el diccionario ortográfico, palabras ambiguas por mayoría. Marcar muletillas ("אה/אממ" normalmente ausentes en la salida de Whisper: encontrar pausas sonoras) y nunca eliminar automáticamente palabras de discurso.
- Después de cualquier recorte aplicar ASR a la voz en off COMPLETA ensamblada y comparar con el texto previsto (
join_diff); fragmentos de unión aislados decían "limpio" mientras que el archivo completo oía residuos. Retrotranscribir la salida de TTS de la misma manera. - Construir tarjetas (
references/caption-timing.md): 1-3 palabras, palabras clave en el color de palabra clave, aislados bidi, entrada + salida, intercambios con 2 fotogramas de anticipación, adelantar la voz 0.08-0.1 s, fijar inicios en 0; prueba de fuente segúnreferences/hebrew-typography.md; diseño y bidi segúnreferences/rtl-and-bidi.md. - QA.
scripts/caption_lint.pyencaptions.json,caption_qa --band <top>:1450en el renderizado,hf_preflight, capturas de pantalla en cada fotograma de palabra clave (--describe false),frame_qa; escribir la declaración de cobertura (fotogramas decodificados de los esperados, banda, fps asumido, qué NO se verificó).
Compuertas
Estados: pass | fail | blocked | n/a con una razón; un tiempo de espera, una lista de tarjetas vacía o un archivo faltante es blocked.
| Compuerta | Predicado | Evidencia | Si es falsa | Propietario | Revisar cuando |
|---|---|---|---|---|---|
| G1 Ruta de ASR | ruta elegida tras una sonda de capacidad; modelo + pesos fijados; language=he forzado | asr_route.json (ruta, revisión, dispositivo, precisión, hilos, ámbito del temporizador) | retroceder a CPU CT2 int8 | este skill | máquina nueva, controlador, modelo |
| G2 VAD | VAD activado/desactivado decidido por una prueba A/B en una muestra real de 60 s; control de silencio ejecutado cuando el audio tiene largos tramos sin voz | ambos WER (scripts/wer.py) + salida del control registrados | desactivar VAD si el WER es peor; añadir filtros si aparecen alucinaciones | este skill | nuevo tipo de audio |
| G3 Transcripción | cada nombre/marca/número corregido; diccionario ortográfico aplicado; 0 errores ortográficos aprobados por un lector de hebreo | transcripción + diccionario aprobados; wer.py contra el texto corregido en una muestra | corregir palabras a mano; nunca un LLM sobre todo el texto | este skill + humano | cualquier cambio de texto |
| G4 Corte ensamblado | ASR de la voz en off COMPLETA ensamblada coincide con las palabras previstas; sin token extra; primeras/últimas 2 palabras de cada oración presentes | join_diff JSON | arreglar la unión, recortar, re-ASR | edit-talking-head G2 | cada recorte |
| G5 RTL / bidi | sin root dir=rtl; lang="he"; latín, dígitos, moneda, URLs aislados; sin controles bidi sueltos; fotograma final visualizado | scripts/caption_lint.py bloque bidi + hf_preflight + fotograma visualizado | aislar el span; eliminar controles | este skill | cualquier cambio de texto de subtítulos |
| G6 Caracteres similares / fuente | cada palabra clave renderizada a tamaño final y a 360x640; ו/ז, ד/ר, ה/ח no pueden leerse como otra palabra; fuente cargada desde un archivo | registro de espécimen en hf/QA.md (archivo de fuente, hash, tamaño, fotograma) + captura de pantalla que muestre que no hay retroceso | cambiar la cara para esa palabra (Karantina "לבזבז" leído como "לבובו") | este skill | cualquier cambio de fuente, tamaño o palabra clave |
| G7 Temporización + animación | palabra >= 0.25 s, tarjeta >= 0.9 s, última palabra >= 0.25 s; animación de salida presente; superposición de intercambio 1-2 fotogramas; sin inicio negativo | informe caption_lint + caption_qa + verificación de fotogramas | re-temporizar; añadir la salida | este skill | cualquier recorte o re-temporización |
| G8 Zona segura + contraste + cobertura | parte inferior del subtítulo <= y 1450 (preset de la casa); palabra clave de color de marca >= 4.5:1 sobre la banda; caption_qa indica su cobertura | informe caption_qa con declaración de cobertura + números de contraste | mover, cambiar color o añadir un fondo | este skill | cualquier cambio de diseño; nueva relación de aspecto |
Números del preset de la casa v1 (cada uno modificable; fuentes fechadas en las referencias)
Rubik: palabras clave en Negro (900), palabras pequeñas en Regular/600; 54-66 px a 1080x1920 (predeterminado provisional E03; Alef 700 y Noto Sans Hebrew 600 puntúan igual; Karantina puntuó 1.8 vs 4.2 en una revisión estática de un solo modelo, sin panel humano, sin teléfono, sin animación). Pop de palabras 1-3 palabras, 0.35-0.7 s por tarjeta; entrada reflejada por salida (desenfoque hacia arriba, unos 4 fotogramas, subir 10 px, desenfoque 6 px); riel de subtítulos y 900-1240 en carrete A, parte inferior <= 1450; texto clave y <= 1248. La tabla de plataforma 9:16 está fechada en 2026-09 y no verificada como ley: ejecuta la prueba de superposición en un teléfono.
Referencias (cargar cuando sea necesario)
references/asr-routes.md- elegir/construir una ruta de ASR, protocolo WER, VAD, pasada de letra, opciones en la nube (ninguna ejecutada).references/hebrew-typography.md- elegir una fuente, prueba de caracteres similares, tabla E03, licencias.references/rtl-and-bidi.md- líneas mixtas hebreo/inglés/números, trampas RTL en HyperFrames y After Effects.references/caption-timing.md- modos, receta exacta de temporización, zonas seguras, script de contraste.references/volatile-facts.md- antes de citar velocidades, WER, fijaciones, licencias, números de zona segura.- Scripts:
scripts/caption_lint.py(lint de temporización/bidi/riel de tarjetas),scripts/wer.py(WER/CER con normalización declarada); ambos stdlib,--self-check; las rutas de script son relativas a la carpeta de este skill. - Módulos fechados a nivel de repositorio (propiedad de otros):
agent-content/references/asr-routes.md,agent-content/references/hebrew-rtl-captions.md,agent-content/references/platform-specs.md,agent-content/techniques/caption-collision.md; cargar cuando necesites las tablas fechadas o el método de colisión de cajas. - Skills hermanos:
edit-talking-head,render-qa-deliver,video-analysis(informes de análisis, no subtítulos).
Estado de la evidencia
ASR de experimentos E02/E08 (máquina del propietario); fuentes de E03; reglas de temporización y salida de los proyectos del propietario. Sin verdad fundamental de temporización humana, sin ASR en la nube ejecutado, sin resolución de licencia de modelo para conversiones ONNX. Especificado; solo comprobaciones deterministas; evaluación de modelo no ejecutada (Q4).