stevederico/comprensión-de-video

¿Qué hace comprensión-de-video?

Habilidad de agente: fotogramas con marca de tiempo + SRT de whisper local → understanding.md que correlaciona imágenes y habla.

Descripción

Esta habilidad procesa un archivo de video para generar un documento understanding.md que combina la información visual de fotogramas clave con las transcripciones de voz. Extrae fotogramas en intervalos determinados (por ejemplo, cada 5 segundos) y las transcripciones SRT generadas por whisper local. Luego, el agente analiza y correlaciona ambos modos para producir un resumen estructurado.

Plataformas Soportadas

• Claude Code
• Cursor
• Codex
• Cualquier agente que admita habilidades y ejecución local de scripts

Cómo Funciona

1. El agente solicita la ruta del archivo de video.
2. Ejecuta un script que extrae fotogramas con ffmpeg y genera marcas de tiempo.
3. Ejecuta whisper local para obtener la transcripción en formato SRT.
4. Lee el archivo SRT y los nombres de los fotogramas.
5. Genera understanding.md donde describe la escena de cada fotograma y la asocia con las líneas de transcripción correspondientes.

Requisitos

• ffmpeg instalado en el sistema
• Whisper local configurado (por ejemplo, whisper.cpp o openai-whisper)
• Python 3.8+

Uso

# Ejemplo de comando para iniciar
python run_video_understanding.py --video ruta/al/video.mp4

Estructura de Salida

• understanding.md: Documento con secciones por intervalo de tiempo, fotograma y transcripción asociada.
• frames/: Carpeta con los fotogramas extraídos.
• transcript.srt: Archivo SRT generado.

Notas

• Los archivos temporales se limpian automáticamente.
• La correlación se basa en marcas de tiempo aproximadas (±0.5 segundos).
• Se recomienda usar videos con pista de audio clara.

Licencia

MIT