Communitygithub.com

sincronización-de-lapel

Sincroniza clips de cámara con una pista de grabadora separada (p. ej., Tascam DR-10L) y los organiza en DaVinci Resolve, cortando un segmento de lapel por clip para uso posterior.

¿Qué es sincronización-de-lapel?

Esta habilidad (skill) para agentes de IA como Claude Code resuelve el problema común de audio deficiente en eventos en vivo: el micrófono de la cámara captura sonido ambiental lejano, mientras que un grabador de solapa (lapel) independiente contiene el audio limpio. La habilidad toma los clips de video y la pista de audio del grabador, une los archivos divididos del grabador, encuentra la ubicación exacta de cada clip en el audio mediante coincidencia de palabras y formas de onda, y luego corta un segmento de audio de lapel por cada clip. Finalmente, construye una línea de tiempo sincronizada en un nuevo proyecto de DaVinci Resolve, donde cada clip de video tiene su pista de lapel correspondiente perfectamente alineada. Está diseñada para soportar múltiples plataformas (macOS/Linux) y funciona con cualquier grabador que genere archivos BWF (como el Tascam DR-10L), y se integra con las habilidades `paper-edit` y `video-reels` para flujos de trabajo posteriores. La precisión es típicamente inferior a 20 ms, gracias a un proceso de dos etapas: primero coincidencia de palabras únicas (transcripción con Whisper) y luego refinamiento por correlación de formas de onda.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/beachyphotoandfilm-arch/video-skills/tree/HEAD/skills/lapel-sync

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Sincronización de lapel

Clips de cámara más una pista de grabadora separada, un segmento de lapel por clip y una línea de tiempo sincronizada de Resolve. Probado por primera vez en una charla en vivo: 5 clips de cámara contra una pista de grabadora de 59 minutos. Cada clip cayó dentro de 20 ms, muy por debajo de un fotograma.

Por qué es importante: en un evento en vivo, el micrófono de la cámara está al otro lado de la sala. Su audio no es utilizable, y el lapel es el único sonido limpio. Después de esta habilidad, <work>/<clip>.wav y <clip>.json son el lapel, por lo que paper-edit y video-reels leen audio limpio y transcripciones limpias sin saber que algo cambió.

Configuración: complete estos datos

Marcador de posiciónQué esEjemplo
<FOOTAGE_DRIVE>Donde vive el metraje sin procesar, una carpeta por video, archivos de grabadora en una subcarpeta audio//Volumes/MyWorkDrive
<SYNC_OUT>Donde van los segmentos de lapel de máxima calidad~/Movies/<video>-sync
<LUT_PATH>LUT opcional, relativo a la carpeta LUT de ResolveMyLuts/SLog3-to-709.cube
WHISPER_MODEL (env)Archivo de modelo whisper.cpppor defecto ~/.cache/whisper-models/ggml-small.en.bin

Requisitos: ffmpeg, ffprobe, whisper-cli (whisper.cpp), Python 3 (numpy y scipy se instalan automáticamente en ~/.cache/lapel-sync-venv), DaVinci Resolve con un servidor MCP de Resolve que exponga execute_resolve_code, y la habilidad paper-edit (para ensure_resolve.sh).

Ejecútelo

Directorio de trabajo: el bloc de notas de la sesión, p. ej. <scratchpad>/<video>. El directorio de la habilidad a continuación es .claude/skills/lapel-sync. Los segmentos de máxima calidad van a <SYNC_OUT>.

Problema con zsh: en shell en línea, $ss:end_sample analiza :e como un modificador y se come el texto silenciosamente. Siempre escriba ${ss}.

1. Encuentre el metraje y el audio

Una carpeta por video en <FOOTAGE_DRIVE>. Los archivos de la grabadora están en una subcarpeta audio/:

find "<FOOTAGE_DRIVE>" -maxdepth 4 -iname "*<keyword>*" -not -path "*/.*"
ls "<folder>" "<folder>/audio"

Un Tascam DR-10L, por ejemplo, escribe 000_YYMMDD.wav, 001_..., divididos cada 15 minutos, más gemelos _D. Los archivos _D son la pista de seguridad de doble grabación, unos 20 dB más silenciosos. Use los archivos principales; conserve _D para parchear puntos recortados.

2. Una los archivos de la grabadora

bash <skill>/scripts/stitch.sh "<folder>/audio" "<SYNC_OUT>/lav-master.wav"

Lee el time_reference BWF (muestras desde medianoche) de cada archivo y verifica que cada archivo comienza exactamente donde terminó el anterior. Cuando son contiguos en muestras, es una copia de flujo sin pérdidas. Si hay un espacio, inserta ese silencio, por lo que el maestro permanece en tiempo real, y advierte con el tamaño.

3. Transcriba ambos lados

bash <skill>/scripts/transcribe_sources.sh "<folder>" "<SYNC_OUT>/lav-master.wav" "<work>"

Todo termina en <work>/sync/, mantenido fuera de <work> para que sentences.py de paper-edit nunca lo lea. El audio de la cámara se amplifica primero (highpass=f=120,volume=40dB,alimiter, 16k mono), porque a menudo está alrededor de -65 dB. Omite lo que ya está hecho, así que se puede volver a ejecutar libremente.

El lapel tarda aproximadamente 8 minutos por hora de audio. Ejecútelo en segundo plano. Whisper transmite las marcas de tiempo de las palabras a <work>/sync/lav.log, y align.py lee ese registro cuando lav.json aún no está escrito, por lo que la alineación puede comenzar antes de que termine el lapel. Los clips más allá del punto transcrito solo informan "solo N coincidencias de palabras"; vuelva a ejecutarlo cuando termine.

4. Alinee

python3 <skill>/scripts/align.py "<work>"

Escribe <work>/sync/sync.json. La primera ejecución crea ~/.cache/lapel-sync-venv con numpy y scipy (python3 del sistema a menudo no tiene ninguno); después, solo se vuelve a ejecutar dentro de él.

Cómo funciona, para que pueda confiar o cuestionar la salida:

  • Palabras primero. Ejecuciones únicas de 4 palabras que aparecen en ambas transcripciones. Desplazamiento = tiempo del lapel menos tiempo de la cámara. Cientos de coincidencias por clip; grupo más denso, mantenga dentro de 0.5 s, mediana. Bueno hasta aproximadamente 0.1 s.
  • Refinamiento de forma de onda. Cada fragmento de 20 s de audio de cámara (fragmentos de 6 s en clips de menos de 40 s), filtrado de paso de banda 300-3000 Hz a 8 kHz, se correlaciona cruzadamente con el lapel dentro de +-0.6 s del desplazamiento de palabras. Los picos superan 6 veces la mediana. Los fragmentos dentro de 20 ms entre sí están de acuerdo; en clips de más de 5 minutos, un ajuste lineal da desplazamiento más deriva.

Lea cada línea que imprime: desplazamiento, fragmentos que coinciden, dispersión, deriva. Cualquier clip marcado CHECK BY EAR (menos de 3 fragmentos que coinciden) puede estar desviado hasta 0.1 s; revíselo en Resolve antes de confiar en él. La deriva de más de un fotograma en un clip también se marca.

5. Corte el lapel por clip

python3 <skill>/scripts/slice.py "<work>" "<SYNC_OUT>/lav-master.wav" "<SYNC_OUT>"

Para cada clip escribe:

  • <SYNC_OUT>/<clip>_lav.wav: 24 bits, frecuencia de origen, exacto en muestras a la longitud del clip, por lo que el tiempo del lapel es igual al tiempo del clip
  • <work>/<clip>.wav (16k mono) y <work>/<clip>.json (whisper del segmento): lo que leen paper-edit y video-reels
  • <work>/clips.ndjson con un campo "audio" que apunta al segmento

Si la grabadora comenzó tarde o se detuvo temprano para un clip, esa parte se llena con silencio y se advierte. Whisper en los segmentos toma unos minutos; no ejecute transcribe.sh de paper-edit después (de todos modos lo omitiría, ya que los jsons existen).

6. Verifique si hay recorte

slice.py cuenta las muestras en o por encima de 0.99 de escala completa por segmento e imprime la ejecución más larga. Cientos de ejecuciones cortas (decenas de muestras) suelen ser el limitador de la grabadora capturando picos, no distorsión. Solo cuando enumera puntos para escuchar (ejecuciones de 1 ms o más), o el usuario dice que suena áspero, parchee esos momentos del gemelo _D (misma sincronización, súbalo unos 20 dB).

7. Constrúyalo en Resolve

bash .claude/skills/paper-edit/scripts/ensure_resolve.sh

Escriba <work>/sync/params.json:

{"project":"<Video> - YYYY-MM-DD","work":"<work>","name":"Synced - Full Talk",
 "lut":"<LUT_PATH>"}

lut es opcional; omítalo si no usa uno. Luego una llamada a execute_resolve_code:

PARAMS = "<work>/sync/params.json"
exec(open("<skill>/scripts/resolve_sync_timeline.py").read())

Crea el proyecto (o lo abre si el nombre existe), importa los clips de cámara y los segmentos de lapel, y construye Synced - Full Talk: cada clip en V1 solo como imagen (mediaType: 1), su segmento en A1 solo como sonido (mediaType: 2), mismos fotogramas de entrada y salida. recordFrame = inicio de línea de tiempo + round((desplazamiento - desplazamiento más temprano) * 24000/1001), por lo que los espacios reales entre clips se mantienen. LUT en nodo 1. El audio de prueba de la cámara se deja fuera. La línea de tiempo es 1080x1920 cuando los clips son verticales, 1920x1080 en caso contrario (anule con width/height). Si el nombre de la línea de tiempo ya está ocupado, agrega v2 en lugar de tocar la existente.

Pídale al usuario que revise algunos puntos con consonantes claras (una "p" o "t") en cada clip. Esa es la verificación real.

8. Entregue

Dígale al usuario que la línea de tiempo existe, los números por clip del paso 4 en una línea cada uno, cualquier cosa marcada y el veredicto de recorte. Luego continúe: paper-edit (omitir su paso de transcripción; <work> ya está configurado) o video-reels.

Datos que vale la pena mantener

  • La correlación de formas de onda por sí sola falló. La correlación de clip completo y de fragmentos de 20 s en una ventana amplia dio basura inconsistente cuando el micrófono de la cámara estaba a unos -65 dB de media en una sala reverberante. Primero palabras, luego una búsqueda de forma de onda estrecha, es lo que funciona.
  • El reloj de la cámara a menudo está mal. En las pruebas, la cámara estaba unos 149 s detrás de la grabadora. Algunas cámaras (p. ej., Sony) escriben creation_time en UTC (termina en Z), mientras que time_reference BWF de una grabadora es local. Trate creation_time como una pista aproximada en el mejor de los casos. La coincidencia de palabras no lo necesita.
  • La deriva es insignificante en el equipo probado: aproximadamente 0.5 ms/min, 11 ms en un clip de 21 minutos. No se necesita estiramiento de tiempo. Los clips cortos informan 0 porque un ajuste de unos segundos es solo ruido.
  • Volver a ejecutar los scripts reprodujo los segmentos hechos a mano dentro de 6 ms.
  • Metraje vertical: p. ej., una Sony que graba verticalmente graba 4K 23.976 con una matriz de visualización rotation=90. Resolve lo lee como 2160x3840 sin necesidad de corrección de rotación.
  • Ejemplo de grabadora, Tascam DR-10L: 48k 24-bit mono BWF, nuevo archivo cada 15 minutos, gemelo de seguridad _D unos 20 dB más abajo.
  • resolve_build.py de paper-edit todavía toma el sonido del archivo de cámara. En una grabación con lapel, sus líneas de tiempo llevan el audio de prueba de la cámara hasta que aprende a leer el campo "audio". Hasta entonces, dígale al usuario, o vuelva a vincular A1 a los segmentos _lav.wav; los puntos de corte son los mismos porque el tiempo del segmento es igual al tiempo del clip.
  • Whisper se ejecuta con -oj -ml 1 -sow para las marcas de tiempo de las palabras.

Relacionado

  • paper-edit: el corte preliminar, ejecute después de esto
  • video-reels: lee clips.ndjson; el campo "audio" le dice que tome el sonido del segmento (si está instalado)

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

beachyphotoandfilm-arch/video-skills

Turn raw talking-head footage into an assembled rough cut inside DaVinci Resolve. Pulls the clips off your footage drive, transcribes them locally, removes failed takes, restarts, asides and dead air, then creates a new Resolve project with two paper-edit timelines ready for your fine trim. Trigger on "paper edit", "cut my raw footage", "make a rough cut", "clean up this video", or when the user points at a folder of raw camera files for a YouTube video.

beachyphotoandfilm-arch/video-skills

Design a unique Instagram cover for each reel in your house style. Reads what the reel is about, writes a short hook headline, picks one of your own photos from a tagged photo library, lays it out like your existing covers, and proofs it in grid view at phone size. Renders locally, never with AI image generation. Can be called by a scheduling skill before reels are scheduled. Trigger on "make covers", "reel covers", "cover photo for this reel", "design the IG covers".

beachyphotoandfilm-arch/video-skills

Render finished reels out of DaVinci Resolve, write captions in the creator's voice, attach a custom Instagram cover from reel-covers, and schedule them to Instagram, TikTok and YouTube Shorts through Metricool. Handles the Drive upload hop, collision checks against the existing calendar, and cleanup. Trigger on "schedule the reels", "post these", "put these on the calendar", or after reels are approved.

beachyphotoandfilm-arch/video-skills

Build animated brand overlays (motion graphics) for a talking-head video, timed to the speaker's exact words, plus a DaVinci Resolve import file. House style is in-scene type (text beside and behind the speaker's head) plus diagrams. Transcribes the rough cut locally, picks the moments, renders transparent .mov clips, and writes an FCPXML that drops every clip onto the timeline already in position. Trigger on "make animations for this video", "add overlays/motion graphics", "animate this", "b-roll graphics for my YouTube video", or when the user shares a rough cut and asks for graphics.

beachyphotoandfilm-arch/video-skills

Cut vertical Instagram reels out of a long-form talking-head video, hook first. Picks the strongest standalone moments from the transcript, opens each reel on its punchiest line, builds vertical timelines in DaVinci Resolve framed on the speaker's face with the LUT applied, and finishes them: a hook (a held text card, or a word-by-word "build" hook with punch-in) and burned-look captions on V3; this-or-that reels get product graphics and a comment-keyword CTA card. You trim and render, nothing to import. Trigger on "make reels", "clip this for Instagram", "cut some verticals", or after a YouTube video is cut.

beachyphotoandfilm-arch/video-skills

Design YouTube thumbnails and titles for a talking-head video. Pulls graded full-res frames out of the raw footage, renders brand-styled variants in two proven layouts, and proofs them at phone size where the click actually gets decided. Trigger on "make thumbnails", "thumbnail for this video", "title and thumbnail", or after a video is cut.

beachyphotoandfilm-arch/video-skills

Run the whole YouTube video pipeline end to end, one stage at a time, stopping for the creator's approval at every gate. Paper edit, punch-ins, reels, reel covers, scheduling the reels, overlays, thumbnail and title, then scheduling the long-form video, all through Metricool. Keeps state per video so you can stop anywhere and pick up later. Trigger on "/youtube", "let's do the whole video", "run the video pipeline", "continue the <name> video", or when handed raw footage for a YouTube video.

Skills relacionados