Sincronización de lapel
Clips de cámara más una pista de grabadora separada, un segmento de lapel por clip y una línea de tiempo sincronizada de Resolve. Probado por primera vez en una charla en vivo: 5 clips de cámara contra una pista de grabadora de 59 minutos. Cada clip cayó dentro de 20 ms, muy por debajo de un fotograma.
Por qué es importante: en un evento en vivo, el micrófono de la cámara está al otro lado de la sala. Su audio no es utilizable, y el lapel es el único sonido limpio. Después de esta habilidad, <work>/<clip>.wav y <clip>.json son el lapel, por lo que paper-edit y video-reels leen audio limpio y transcripciones limpias sin saber que algo cambió.
Configuración: complete estos datos
| Marcador de posición | Qué es | Ejemplo |
|---|---|---|
<FOOTAGE_DRIVE> | Donde vive el metraje sin procesar, una carpeta por video, archivos de grabadora en una subcarpeta audio/ | /Volumes/MyWorkDrive |
<SYNC_OUT> | Donde van los segmentos de lapel de máxima calidad | ~/Movies/<video>-sync |
<LUT_PATH> | LUT opcional, relativo a la carpeta LUT de Resolve | MyLuts/SLog3-to-709.cube |
WHISPER_MODEL (env) | Archivo de modelo whisper.cpp | por defecto ~/.cache/whisper-models/ggml-small.en.bin |
Requisitos: ffmpeg, ffprobe, whisper-cli (whisper.cpp), Python 3 (numpy y scipy se instalan automáticamente en ~/.cache/lapel-sync-venv), DaVinci Resolve con un servidor MCP de Resolve que exponga execute_resolve_code, y la habilidad paper-edit (para ensure_resolve.sh).
Ejecútelo
Directorio de trabajo: el bloc de notas de la sesión, p. ej. <scratchpad>/<video>. El directorio de la habilidad a continuación es .claude/skills/lapel-sync. Los segmentos de máxima calidad van a <SYNC_OUT>.
Problema con zsh: en shell en línea, $ss:end_sample analiza :e como un modificador y se come el texto silenciosamente. Siempre escriba ${ss}.
1. Encuentre el metraje y el audio
Una carpeta por video en <FOOTAGE_DRIVE>. Los archivos de la grabadora están en una subcarpeta audio/:
find "<FOOTAGE_DRIVE>" -maxdepth 4 -iname "*<keyword>*" -not -path "*/.*"
ls "<folder>" "<folder>/audio"
Un Tascam DR-10L, por ejemplo, escribe 000_YYMMDD.wav, 001_..., divididos cada 15 minutos, más gemelos _D. Los archivos _D son la pista de seguridad de doble grabación, unos 20 dB más silenciosos. Use los archivos principales; conserve _D para parchear puntos recortados.
2. Una los archivos de la grabadora
bash <skill>/scripts/stitch.sh "<folder>/audio" "<SYNC_OUT>/lav-master.wav"
Lee el time_reference BWF (muestras desde medianoche) de cada archivo y verifica que cada archivo comienza exactamente donde terminó el anterior. Cuando son contiguos en muestras, es una copia de flujo sin pérdidas. Si hay un espacio, inserta ese silencio, por lo que el maestro permanece en tiempo real, y advierte con el tamaño.
3. Transcriba ambos lados
bash <skill>/scripts/transcribe_sources.sh "<folder>" "<SYNC_OUT>/lav-master.wav" "<work>"
Todo termina en <work>/sync/, mantenido fuera de <work> para que sentences.py de paper-edit nunca lo lea. El audio de la cámara se amplifica primero (highpass=f=120,volume=40dB,alimiter, 16k mono), porque a menudo está alrededor de -65 dB. Omite lo que ya está hecho, así que se puede volver a ejecutar libremente.
El lapel tarda aproximadamente 8 minutos por hora de audio. Ejecútelo en segundo plano. Whisper transmite las marcas de tiempo de las palabras a <work>/sync/lav.log, y align.py lee ese registro cuando lav.json aún no está escrito, por lo que la alineación puede comenzar antes de que termine el lapel. Los clips más allá del punto transcrito solo informan "solo N coincidencias de palabras"; vuelva a ejecutarlo cuando termine.
4. Alinee
python3 <skill>/scripts/align.py "<work>"
Escribe <work>/sync/sync.json. La primera ejecución crea ~/.cache/lapel-sync-venv con numpy y scipy (python3 del sistema a menudo no tiene ninguno); después, solo se vuelve a ejecutar dentro de él.
Cómo funciona, para que pueda confiar o cuestionar la salida:
- Palabras primero. Ejecuciones únicas de 4 palabras que aparecen en ambas transcripciones. Desplazamiento = tiempo del lapel menos tiempo de la cámara. Cientos de coincidencias por clip; grupo más denso, mantenga dentro de 0.5 s, mediana. Bueno hasta aproximadamente 0.1 s.
- Refinamiento de forma de onda. Cada fragmento de 20 s de audio de cámara (fragmentos de 6 s en clips de menos de 40 s), filtrado de paso de banda 300-3000 Hz a 8 kHz, se correlaciona cruzadamente con el lapel dentro de +-0.6 s del desplazamiento de palabras. Los picos superan 6 veces la mediana. Los fragmentos dentro de 20 ms entre sí están de acuerdo; en clips de más de 5 minutos, un ajuste lineal da desplazamiento más deriva.
Lea cada línea que imprime: desplazamiento, fragmentos que coinciden, dispersión, deriva. Cualquier clip marcado CHECK BY EAR (menos de 3 fragmentos que coinciden) puede estar desviado hasta 0.1 s; revíselo en Resolve antes de confiar en él. La deriva de más de un fotograma en un clip también se marca.
5. Corte el lapel por clip
python3 <skill>/scripts/slice.py "<work>" "<SYNC_OUT>/lav-master.wav" "<SYNC_OUT>"
Para cada clip escribe:
<SYNC_OUT>/<clip>_lav.wav: 24 bits, frecuencia de origen, exacto en muestras a la longitud del clip, por lo que el tiempo del lapel es igual al tiempo del clip<work>/<clip>.wav(16k mono) y<work>/<clip>.json(whisper del segmento): lo que leenpaper-edityvideo-reels<work>/clips.ndjsoncon un campo"audio"que apunta al segmento
Si la grabadora comenzó tarde o se detuvo temprano para un clip, esa parte se llena con silencio y se advierte. Whisper en los segmentos toma unos minutos; no ejecute transcribe.sh de paper-edit después (de todos modos lo omitiría, ya que los jsons existen).
6. Verifique si hay recorte
slice.py cuenta las muestras en o por encima de 0.99 de escala completa por segmento e imprime la ejecución más larga. Cientos de ejecuciones cortas (decenas de muestras) suelen ser el limitador de la grabadora capturando picos, no distorsión. Solo cuando enumera puntos para escuchar (ejecuciones de 1 ms o más), o el usuario dice que suena áspero, parchee esos momentos del gemelo _D (misma sincronización, súbalo unos 20 dB).
7. Constrúyalo en Resolve
bash .claude/skills/paper-edit/scripts/ensure_resolve.sh
Escriba <work>/sync/params.json:
{"project":"<Video> - YYYY-MM-DD","work":"<work>","name":"Synced - Full Talk",
"lut":"<LUT_PATH>"}
lut es opcional; omítalo si no usa uno. Luego una llamada a execute_resolve_code:
PARAMS = "<work>/sync/params.json"
exec(open("<skill>/scripts/resolve_sync_timeline.py").read())
Crea el proyecto (o lo abre si el nombre existe), importa los clips de cámara y los segmentos de lapel, y construye Synced - Full Talk: cada clip en V1 solo como imagen (mediaType: 1), su segmento en A1 solo como sonido (mediaType: 2), mismos fotogramas de entrada y salida. recordFrame = inicio de línea de tiempo + round((desplazamiento - desplazamiento más temprano) * 24000/1001), por lo que los espacios reales entre clips se mantienen. LUT en nodo 1. El audio de prueba de la cámara se deja fuera. La línea de tiempo es 1080x1920 cuando los clips son verticales, 1920x1080 en caso contrario (anule con width/height). Si el nombre de la línea de tiempo ya está ocupado, agrega v2 en lugar de tocar la existente.
Pídale al usuario que revise algunos puntos con consonantes claras (una "p" o "t") en cada clip. Esa es la verificación real.
8. Entregue
Dígale al usuario que la línea de tiempo existe, los números por clip del paso 4 en una línea cada uno, cualquier cosa marcada y el veredicto de recorte. Luego continúe: paper-edit (omitir su paso de transcripción; <work> ya está configurado) o video-reels.
Datos que vale la pena mantener
- La correlación de formas de onda por sí sola falló. La correlación de clip completo y de fragmentos de 20 s en una ventana amplia dio basura inconsistente cuando el micrófono de la cámara estaba a unos -65 dB de media en una sala reverberante. Primero palabras, luego una búsqueda de forma de onda estrecha, es lo que funciona.
- El reloj de la cámara a menudo está mal. En las pruebas, la cámara estaba unos 149 s detrás de la grabadora. Algunas cámaras (p. ej., Sony) escriben
creation_timeen UTC (termina enZ), mientras quetime_referenceBWF de una grabadora es local. Tratecreation_timecomo una pista aproximada en el mejor de los casos. La coincidencia de palabras no lo necesita. - La deriva es insignificante en el equipo probado: aproximadamente 0.5 ms/min, 11 ms en un clip de 21 minutos. No se necesita estiramiento de tiempo. Los clips cortos informan 0 porque un ajuste de unos segundos es solo ruido.
- Volver a ejecutar los scripts reprodujo los segmentos hechos a mano dentro de 6 ms.
- Metraje vertical: p. ej., una Sony que graba verticalmente graba 4K 23.976 con una matriz de visualización rotation=90. Resolve lo lee como 2160x3840 sin necesidad de corrección de rotación.
- Ejemplo de grabadora, Tascam DR-10L: 48k 24-bit mono BWF, nuevo archivo cada 15 minutos, gemelo de seguridad
_Dunos 20 dB más abajo. resolve_build.pydepaper-edittodavía toma el sonido del archivo de cámara. En una grabación con lapel, sus líneas de tiempo llevan el audio de prueba de la cámara hasta que aprende a leer el campo"audio". Hasta entonces, dígale al usuario, o vuelva a vincular A1 a los segmentos_lav.wav; los puntos de corte son los mismos porque el tiempo del segmento es igual al tiempo del clip.- Whisper se ejecuta con
-oj -ml 1 -sowpara las marcas de tiempo de las palabras.
Relacionado
paper-edit: el corte preliminar, ejecute después de estovideo-reels: leeclips.ndjson; el campo"audio"le dice que tome el sonido del segmento (si está instalado)