¿Qué hace ECC?
Mira, comprende y actúa sobre video y audio. Ver: ingesta desde archivos locales, URLs, transmisiones RTSP/en vivo o grabación de escritorio en vivo; devuelve contexto en tiempo real y enlaces de transmisión reproducibles. Comprender: extrae fotogramas, construye índices visuales, semánticos y temporales, y busca momentos con marcas de tiempo y clips automáticos. Actuar: transcodifica y normaliza (códec, fps, resolución, relación de aspecto), realiza ediciones en la línea de tiempo (subtítulos, superposiciones de texto/imagen, marca de agua, superposiciones de audio, doblaje, traducción), genera activos multimedia (imagen, audio...)
Visión General
Esta habilidad permite a los asistentes de IA procesar, analizar y manipular contenido de video y audio de manera integral. Está diseñada para agentes como Claude Code, Cursor y Codex, proporcionando una interfaz unificada para operaciones complejas de medios.
Características Principales
Ver (Ingesta)
- Desde archivos locales: Procesa archivos de video/audio desde el sistema de archivos local.
- Desde URLs: Descarga y procesa contenido desde URLs remotas.
- Desde transmisiones RTSP/en vivo: Conéctate a transmisiones en vivo o RTSP para procesamiento en tiempo real.
- Grabación de escritorio en vivo: Captura la pantalla del escritorio en tiempo real.
- Salida: Devuelve contexto en tiempo real (metadatos, información de flujo) y enlaces de transmisión reproducibles.
Comprender (Análisis)
- Extracción de fotogramas: Extrae fotogramas clave en intervalos especificados o basados en eventos.
- Índices visuales: Construye índices visuales para facilitar la búsqueda y recuperación.
- Índices semánticos: Genera índices basados en el contenido semántico (por ejemplo, detección de objetos, reconocimiento de escenas).
- Índices temporales: Construye índices basados en el tiempo para búsqueda precisa por marcas de tiempo.
- Búsqueda de momentos: Busca momentos específicos en el video usando consultas visuales, semánticas o temporales, devolviendo marcas de tiempo y clips automáticos.
Actuar (Procesamiento)
- Transcodificación y normalización: Cambia códec, fps, resolución y relación de aspecto.
- Ediciones en la línea de tiempo:
- Subtítulos (agregar o modificar).
- Superposiciones de texto o imagen.
- Marca de agua y branding.
- Superposiciones de audio (agregar o reemplazar pistas de audio).
- Doblaje y traducción (sincronización de audio con video).
- Generación de activos: Produce activos de imagen, audio u otros formatos a partir del contenido.
Cómo Funciona
La habilidad se basa en el proyecto Media Tools y utiliza FFmpeg para el procesamiento subyacente. Los agentes de IA pueden invocar funciones específicas a través de herramientas predefinidas, gestionando todo, desde la ingesta hasta la salida final, incluyendo metadatos y estados de error.
Uso
Una vez instalada, la habilidad estará disponible para los comandos del asistente. Ejemplos:
Transcodifica este video de archivos locales a 1080p con códec H.264.Busca en la transmisión RTSP las escenas donde aparecen personas y devuelve clips de 10 segundos.Agrega subtítulos en español a este video desde la URL proporcionada.Graba mi escritorio durante 30 segundos y luego extrae los fotogramas clave.