Sincronización Voz ↔ Video
Regla cero: la pista de voz marca el ritmo. La imagen se temporiza según el audio medido, nunca según duraciones estimadas.
1. Escribe la narración
- Comienza por la situación del espectador, no por una definición. Una sola historia; causa antes que efecto.
- Convierte números a escala tangible ("del tamaño de una guía telefónica", no "3,2 MB").
- Las metáforas deben tener peso; el narrador tiene un punto de vista.
- No describas lo que la imagen ya muestra; di lo que la imagen no puede.
- Termina retomando el inicio. Los límites entre capítulos entregan: la última línea del capítulo N prepara la primera línea del N+1.
- Presupuesta según la velocidad de habla: inglés ≈ 125–150 palabras/min (las voces TTS varían — mide una muestra); portugués ≈ 140–160 palabras/min; chino ≈ 4–5,5 caracteres/s.
Formato para el archivo de guion (un párrafo = una toma, | separa bloques de subtítulos):
# CAPÍTULO 1 Por qué los mapas mienten
Cada mapa que has visto | fue dibujado por alguien | con una razón.
Mercator quería que los marineros | mantuvieran un rumbo recto.
## gap 0.6
## gap <segundos> solicita una pausa de al menos esa duración después del párrafo (tiempo de permanencia para la última imagen). Prodúcela en el audio — SSML <break time="600ms"/> para TTS, o silencio insertado al ensamblar archivos por párrafo. La herramienta de línea de tiempo nunca desplaza los tiempos; verifica la pausa.
2. Bloquea el guion
Muestra el guion completo con el conteo de palabras y la duración estimada y obtén un "aprobado" explícito. Después del bloqueo, cada temporización se deriva del audio; cambiar una palabra re-temporiza todas las tomas posteriores.
3. Produce la voz
- TTS (predeterminado si no hay grabación): pregunta al usuario por un motor/voz preferido. Enviar texto a un TTS en la nube (ElevenLabs, Azure, OpenAI, Google, edge-tts) comparte el guion con ese proveedor — confírmalo primero. Las opciones locales (Kokoro, Piper) lo mantienen en la máquina.
- Voz en off grabada: acepta WAV 48 kHz. Recorta el silencio, mantén las respiraciones naturales, normaliza después en la mezcla.
- Mantén un archivo por párrafo o un archivo maestro con marcas de tiempo; ambos funcionan con la herramienta de línea de tiempo.
4. Obtén marcas de tiempo
Usa marcas de tiempo a nivel de palabra o segmento de la respuesta de la API TTS, o alinea forzadamente el audio con el guion (WhisperX, whisper-timestamped, stable-ts, o Whisper con word_timestamps=True). Normalízalas a este JSON:
{"segments": [{"text": "Cada mapa que has visto", "start": 0.00, "end": 1.42,
"words": [{"word": "Cada", "start": 0.00, "end": 0.21}]}]}
5. Construye la línea de tiempo
python3 <plugin-root>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
--out-dir timeline/ --max-chars 42 --min-dwell 1.0
Produce timeline.json (tomas con fotogramas de inicio/fin, bloques de subtítulos, inicios de capítulo), captions.srt, captions.vtt, y advertencias para: palabras del guion que faltan en el audio (o palabras del audio que faltan en el guion), subtítulos demasiado largos o demasiado rápidos para leer, tomas cuyo último subtítulo deja menos de --min-dwell segundos antes de la siguiente toma (agrega una pausa en el audio o fusiona), pausas ## gap solicitadas que el audio no tiene, y silencios de más de 3 s. Las palabras que un alineador forzado dejó sin temporizar (común para números en WhisperX) se interpolan entre sus vecinas. Alimenta timeline.json a la composición; nunca vuelvas a escribir números de fotograma manualmente.
6. Reglas de subtítulos
- ≤42 caracteres por línea, ≤2 líneas, ≥1,0 s en pantalla, velocidad de lectura máxima de ≈17 caracteres/s.
- Divide en límites de frase, nunca entre artículo y sustantivo.
- Mantén los subtítulos fuera de la zona de interfaz inferior en 9:16 y alejados del texto de interfaz en pantalla.
- Subtítulos quemados para redes sociales; SRT/VTT complementarios para YouTube y reproductores web.
7. Mezcla
| Capa | Objetivo |
|---|---|
| Sonoridad integrada (final) | −14 LUFS para social/web (−16 aceptable); −23 LUFS para transmisión |
| Pico verdadero | ≤ −1 dBTP |
| Música bajo VO | duck 8–12 dB mientras hay habla, ataque/soltura de 150–300 ms |
| Efectos de sonido | ≈10 dB por debajo de la música; en el fotograma que los causa, no después |
Mide con <plugin-root>/scripts/qc.sh loudness final.mp4 (agrega -23 para transmisión). Cuando los skills de audio de HyperFrames estén instalados, hyperframes-audio proporciona ducking ("tallado de voz en off"), EQ y automatización dentro de la composición; de lo contrario, usa sidechaincompress de FFmpeg y loudnorm (dos pasadas).
8. Punto de control de previsualización
Renderiza los primeros ≤30 s con voz, subtítulos y música y pregunta: "¿Voz, ritmo, tamaño de subtítulos y ritmo? — ¿OK?" Cambiar el ritmo después de este punto significa volver a ejecutar TTS y re-temporizarlo todo.