Cuando esta habilidad se active, comienza siempre tu primera respuesta con el emoticono :mag:.
¿Qué hace Analizador de Video?
El análisis de video es la práctica de extraer información estructurada de archivos de video: metadatos, fotogramas clave, límites de escenas, paletas de colores, datos de movimiento y características de audio. Un pipeline de análisis de video bien construido combina FFmpeg para la extracción de fotogramas y procesamiento de señales con modelos de visión por IA para la comprensión semántica del contenido visual. Esta habilidad cubre el flujo de trabajo completo desde archivos de video en bruto hasta datos procesables: usando ffprobe para inspección de metadatos, gráficos de filtros de FFmpeg para extracción de fotogramas y detección de escenas, análisis de audio para detección de silencios y volumen, y visión por IA para extraer sistemas de diseño y comprensión de contenido.
Los dos pilares del análisis de video son FFmpeg (la navaja suiza del procesamiento de medios) y los modelos de visión por IA (para entender qué hay en cada fotograma). FFmpeg maneja el trabajo mecánico: dividir el video en fotogramas, detectar cambios de escena mediante umbrales de diferencia de píxeles y extraer formas de onda de audio. La visión por IA maneja el trabajo semántico: identificar componentes de interfaz de usuario, leer texto, extraer valores de color y comprender patrones de diseño.
Cuándo usar esta habilidad
Dispara esta habilidad cuando el usuario:
- Quiera extraer fotogramas de un video en intervalos regulares o límites de escena
- Necesite analizar metadatos de video (resolución, duración, códecs, tasa de bits)
- Pregunte sobre detección de escenas o marcas de tiempo de cambio de escena
- Quiera extraer una paleta de colores o un sistema de diseño del contenido de video
- Necesite analizar pistas de audio (detección de silencio, niveles de volumen, formas de onda)
- Pregunte sobre análisis de movimiento o temporización de animaciones a partir de video
- Quiera usar visión por IA para entender el contenido de video fotograma por fotograma
- Necesite generar miniaturas o tiras de vista previa a partir de archivos de video
NO dispares esta habilidad para:
- Crear o editar videos desde cero: usa remotion-video o video-creator
- Escribir guiones de video o storyboards: usa video-scriptwriting
- Transmisión de video en vivo o procesamiento de video en tiempo real
- Codificación/transcodificación de video para distribución (es una tarea de renderizado, no de análisis)
Principios clave
-
Extraer luego analizar - Siempre separa la extracción de fotogramas (FFmpeg) del análisis semántico (visión por IA). Intentar hacer ambos en un solo paso lleva a pipelines frágiles. Extrae los fotogramas al disco primero, luego analízalos.
-
Usa ffprobe antes que ffmpeg - Antes de procesar cualquier video, inspecciónalo con ffprobe para entender sus propiedades. Ejecutar comandos de FFmpeg a ciegas en formatos desconocidos provoca fallos silenciosos y salidas corruptas.
-
Detección de escenas sobre intervalos fijos - Al analizar contenido de video, extrae fotogramas en los límites de escena en lugar de intervalos de tiempo fijos. Los fotogramas de cambio de escena capturan la diversidad visual del video con muchos menos fotogramas que la extracción de uno por segundo.
-
Salida JSON en todas partes - Usa el formato de salida JSON de ffprobe y estructura los resultados de tu análisis como JSON. Esto hace que los pipelines sean componibles y los resultados legibles por máquina.
-
Conciencia del espacio en disco - La extracción de fotogramas de video puede generar miles de archivos de imagen grandes. Siempre estima el tamaño de salida antes de extraer, usa formatos de imagen apropiados (JPEG para análisis, PNG para trabajo perfecto de píxeles) y limpia los fotogramas temporales después del análisis.
Conceptos clave
Arquitectura de pipeline de FFmpeg
FFmpeg procesa video a través de un pipeline de demuxing, decodificación, filtrado, codificación y muxing. Para el análisis, usamos principalmente las etapas de decodificación y filtrado:
Archivo de entrada -> Demuxer -> Decodificador -> Gráfico de filtros -> Salida (fotogramas/datos)
Conceptos clave de filtros para el análisis:
- Filtro
select: elige qué fotogramas generar según expresiones - Filtro
showinfo: imprime metadatos del fotograma (marcas de tiempo, tipo de imagen, etc.) - Detección
scene: puntuación de diferencia de píxeles entre fotogramas consecutivos - Filtro
fps: reduce la tasa de fotogramas para extraer a intervalos regulares
Detección de escenas
La detección de escenas funciona comparando fotogramas consecutivos usando la diferencia de píxeles. El filtro scene de FFmpeg produce una puntuación de 0.0 (idéntico) a 1.0 (completamente diferente). Un umbral de 0.3-0.4 captura cambios de escena importantes ignorando el movimiento de cámara y los cambios de iluminación.
| Umbral | Comportamiento |
|---|---|
| 0.1-0.2 | Muy sensible: capta paneos, zooms, cambios de iluminación |
| 0.3-0.4 | Equilibrado: capta cortes, transiciones, cambios importantes |
| 0.5-0.7 | Conservador: solo cortes directos y cambios dramáticos de escena |
| 0.8-1.0 | Demasiado agresivo: se pierde la mayoría de cambios de escena |
Flujo de trabajo de análisis con visión por IA
El flujo de trabajo para extraer datos estructurados de video usando visión por IA:
- Probar - Obtén metadatos del video con ffprobe (duración, resolución, fps)
- Extraer - Toma fotogramas clave en los límites de escena usando FFmpeg
- Leer - Carga cada imagen de fotograma usando la herramienta Read (admite imágenes)
- Analizar - Para cada fotograma, identifica colores, tipografía, diseño, componentes
- Agregar - Encuentra patrones consistentes entre fotogramas
- Generar - Produce un sistema de diseño estructurado o análisis de contenido
Tareas comunes
1. Instalar y verificar FFmpeg
Comprueba si FFmpeg está disponible e inspecciona su versión y capacidades.
# Verificar instalación de FFmpeg
ffmpeg -version
# Verificar instalación de ffprobe
ffprobe -version
# Instalar en macOS
brew install ffmpeg
# Instalar en Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y ffmpeg
# Verificar formatos compatibles
ffmpeg -formats 2>/dev/null | head -20
# Verificar códecs compatibles
ffmpeg -codecs 2>/dev/null | grep -i h264
2. Extraer fotogramas clave en límites de escena
Extrae solo los fotogramas donde ocurren cambios visuales significativos. Esta es la forma más eficiente de muestrear contenido de video.
# Extraer fotogramas en cambios de escena (umbral 0.3)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep showinfo
# Extraer con marcas de tiempo registradas en un archivo
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep "pts_time" > scenes/timestamps.txt
# Extraer fotogramas de escena como JPEG (archivos más pequeños, buenos para análisis)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
scenes/scene_%04d.jpg
3. Extraer fotogramas a intervalos regulares
Cuando necesitas muestras espaciadas uniformemente independientemente de los cambios de contenido.
# Extraer un fotograma por segundo
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1" frames/frame_%04d.png
# Extraer un fotograma cada 5 segundos
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1/5" frames/frame_%04d.png
# Extraer solo fotogramas I (fotogramas clave del códec)
mkdir -p keyframes
ffmpeg -i input.mp4 \
-vf "select='eq(pict_type,I)'" \
-vsync vfr \
keyframes/kf_%04d.png
# Extraer un solo fotograma en una marca de tiempo específica
ffmpeg -i input.mp4 -ss 00:01:30 -frames:v 1 thumbnail.png
# Extraer solo el primer fotograma
ffmpeg -i input.mp4 -frames:v 1 first_frame.png
4. Analizar metadatos de video con ffprobe
Inspecciona las propiedades del video antes de procesar. Usa siempre salida JSON para resultados legibles por máquina.
# Metadatos completos como JSON (streams y formato)
ffprobe -v quiet \
-print_format json \
-show_format \
-show_streams \
input.mp4
# Obtener solo la duración
ffprobe -v error \
-show_entries format=duration \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# Obtener resolución
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=width,height \
-of csv=s=x:p=0 \
input.mp4
# Obtener tasa de fotogramas
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=r_frame_rate \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# Obtener información del códec
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=codec_name,codec_long_name,profile \
-of json \
input.mp4
# Contar fotogramas totales
ffprobe -v error \
-count_frames \
-select_streams v:0 \
-show_entries stream=nb_read_frames \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
5. Detectar escenas y listar marcas de tiempo
Obtén una lista de marcas de tiempo de cambios de escena sin extraer fotogramas.
# Listar marcas de tiempo de cambios de escena
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep pts_time
# Extraer puntuaciones de escena por cada fotograma (para análisis)
ffmpeg -i input.mp4 \
-vf "select='gte(scene,0)',metadata=print" \
-f null - \
2>&1 | grep "lavfi.scene_score"
# Contar número de cambios de escena
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep -c "pts_time"
6. Extraer forma de onda de audio y detectar silencio
Analiza la pista de audio para detectar silencios, niveles de volumen y formas de onda visuales.
# Detectar periodos de silencio (útil para encontrar cortes de capítulo)
ffmpeg -i input.mp4 \
-af silencedetect=noise=-30dB:d=0.5 \
-f null - \
2>&1 | grep silence
# Generar forma de onda de audio como imagen
ffmpeg -i input.mp4 \
-filter_complex "showwavespic=s=1920x200:colors=blue" \
-frames:v 1 \
waveform.png
# Analizar niveles de volumen
ffmpeg -i input.mp4 \
-af volumedetect \
-f null - \
2>&1 | grep volume
# Extraer visualización del espectro de audio
ffmpeg -i input.mp4 \
-filter_complex "showspectrumpic=s=1920x512:color=intensity" \
-frames:v 1 \
spectrum.png
7. Flujo de trabajo de análisis con visión por IA
Extrae fotogramas y luego analízalos con la capacidad de visión de Claude para extraer información estructurada del contenido de video.
# Paso 1: Probar el video
ffprobe -v quiet -print_format json -show_format -show_streams input.mp4
# Paso 2: Extraer fotogramas de escena
mkdir -p analysis_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
analysis_frames/frame_%04d.jpg
Después de extraer los fotogramas, usa la herramienta Read para cargar cada imagen. La herramienta Read admite archivos de imagen (PNG, JPG, etc.) y los presentará visualmente. Para cada fotograma, analiza:
- Colores: Extrae valores de color hex dominantes, colores de fondo, colores de acento
- Tipografía: Identifica tamaños de fuente, pesos, alturas de línea, jerarquía de encabezados
- Diseño: Detecta patrones de cuadrícula, diseños flex, ritmos de espaciado, márgenes
- Componentes: Identifica botones, tarjetas, encabezados, navegación, formularios
- Estado de animación: Nota transiciones, estados hover, indicadores de carga
Agrega los hallazgos entre todos los fotogramas para construir un sistema de diseño consistente.
8. Extracción de sistema de diseño a partir de video
Un flujo de trabajo completo para extraer un sistema de diseño de una demo de producto o video de recorrido de interfaz de usuario.
# Paso 1: Obtener información del video
ffprobe -v quiet -print_format json -show_format input.mp4
# Paso 2: Extraer fotogramas de escena (captura cada pantalla única)
mkdir -p design_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.4)'" \
-vsync vfr \
-q:v 1 \
design_frames/screen_%04d.png
# Paso 3: También extraer a intervalos regulares para cobertura
ffmpeg -i input.mp4 \
-vf "fps=1/3" \
-q:v 1 \
design_frames/interval_%04d.png
Después de la extracción de fotogramas, analiza cada fotograma con visión por IA y compila:
{
"colors": {
"primary": "#2563EB",
"secondary": "#7C3AED",
"background": "#FFFFFF",
"surface": "#F3F4F6",
"text": "#111827",
"textSecondary": "#6B7280"
},
"typography": {
"headingFont": "Inter",
"bodyFont": "Inter",
"scale": ["12px", "14px", "16px", "20px", "24px", "32px", "48px"]
},
"spacing": {
"unit": "8px",
"scale": ["4px", "8px", "12px", "16px", "24px", "32px", "48px", "64px"]
},
"components": ["button", "card", "navbar", "sidebar", "input", "modal"]
}
Antipatrones / errores comunes
| Error | Por qué está mal | Qué hacer en su lugar |
|---|---|---|
| Extraer cada fotograma de un video | Genera miles de archivos, desperdicia disco y tiempo de análisis | Usar detección de escenas o intervalos fijos (1 fps o menos) |
| Saltar ffprobe antes de procesar | Códecs desconocidos o archivos corruptos causan fallos silenciosos en FFmpeg | Siempre probar primero para validar formato y propiedades |
| Usar PNG para extracción masiva de fotogramas | Los archivos PNG son 5-10 veces más grandes que JPEG con ganancia mínima de calidad para análisis | Usar JPEG (-q:v 2) para análisis; solo PNG para trabajo de píxeles exactos |
| Establecer el umbral de escena demasiado bajo (0.1) | Capta movimiento de cámara, cambios de luz; produce demasiados fotogramas | Comenzar con 0.3-0.4 y ajustar según los resultados |
Ignorar -vsync vfr con el filtro select | Produce fotogramas duplicados llenando vacíos en la línea de tiempo | Siempre usar -vsync vfr al usar el filtro select |
| Analizar fotogramas sin marcas de tiempo | No se pueden correlacionar los resultados del análisis con la línea de tiempo del video | Usar el filtro showinfo para capturar pts_time con cada fotograma |
| Ejecutar visión por IA en cientos de fotogramas | Excede límites de contexto y desperdicia tokens | Limitar a 10-20 fotogramas representativos por pase de análisis |
| Codificar rutas de ffmpeg de forma fija | Se rompe entre SO y métodos de instalación | Usar ffmpeg y ffprobe directamente, confiando en PATH |
Advertencias
-
-vsync vfres requerido con filtros select - Sin-vsync vfr, FFmpeg llena los fotogramas "faltantes" entre los seleccionados con duplicados para mantener una tasa de fotogramas constante. Esto significa que extraer 5 fotogramas de cambio de escena podría producir 500 archivos de salida, la mayoría duplicados. Siempre combina filtrosselectcon-vsync vfr. -
El umbral de detección de escena varía según el contenido - Un umbral de 0.3 funciona bien para cortes en video narrativo, pero el contenido animado o las grabaciones de pantalla pueden necesitar 0.4-0.5 porque las transiciones graduales producen puntuaciones de escena más bajas. Siempre verifica el conteo de fotogramas después de la extracción y ajusta el umbral.
-
El conteo de fotogramas con ffprobe es lento - Usar
-count_framescon ffprobe decodifica todo el video para contar los fotogramas con precisión. Para videos largos, esto puede tomar minutos. Usanb_framesde los metadatos del stream en su lugar (menos preciso pero instantáneo) o estima a partir de la duración y la tasa de fotogramas. -
Los parámetros de detección de silencio de audio necesitan ajuste - El umbral de ruido predeterminado de
-30dBpuede ser demasiado sensible para videos con ruido de fondo o música de bajo nivel. Ajusta el umbral según el contenido; para grabaciones limpias,-50dBpuede ser apropiado. -
La extracción de fotogramas puede agotar el espacio en disco rápidamente - Un video de 10 minutos a 30 fps produce 18,000 fotogramas. A 100 KB por JPEG, eso es ~1.8 GB. Siempre estima los requisitos de espacio antes de extraer y usa la detección de escenas para minimizar la salida.
-
La herramienta Read puede tener problemas con archivos de imagen muy grandes - Fotogramas de resolución 4K pueden ser demasiado grandes para la vista previa de la herramienta Read. Reduce su tamaño antes de leer si es necesario, o extrae a una resolución más baja con
-vf scale=1920:-1.
Referencia rápida de comandos
| Tarea | Comando |
|---|---|
| Inspeccionar video | ffprobe -v quiet -print_format json -show_format -show_streams input.mp4 |
| Detectar cambios de escena | ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -f null - 2>&1 | grep pts_time |
| Extraer en límites de escena | ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)'" -vsync vfr -q:v 2 scenes/%04d.jpg |
| Extraer un fotograma por segundo | ffmpeg -i input.mp4 -vf "fps=1" frames/%04d.png |
| Extraer un solo fotograma | ffmpeg -i input.mp4 -ss 00:01:30 -frames:v 1 thumbnail.png |
| Detectar silencio | ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=0.5 -f null - |
| Forma de onda de audio | ffmpeg -i input.mp4 -filter_complex "showwavespic=s=1920x200" -frames:v 1 waveform.png |
| Metadatos de duración | ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 input.mp4 |
Referencia de parámetros de la herramienta
Cuando uses la herramienta Read para cargar imágenes de fotogramas para análisis de visión por IA, estos parámetros son relevantes:
- input: Ruta al archivo de imagen del fotograma (PNG, JPG, JPEG, etc.)
- display: Predeterminado en true, que muestra la imagen visualmente para que la IA la vea
- imageFormat: Auto-detectado de la extensión del archivo
Después de analizar, agrega los resultados en un formato estructurado:
- Encuentra colores, patrones y componentes que aparecen consistentemente en múltiples fotogramas (estos son parte del sistema de diseño)
- Marca características que solo aparecen en fotogramas únicos (podrían ser transiciones o estados de error)
- Vincula hallazgos de vuelta a marcas de tiempo usando pts_time del filtro showinfo