Communitygithub.com

AiCurv/ADBCommander

Implementa capacidades especializadas de comprensión de video utilizando el z-ai-web-dev-sdk. Usa esta skill cuando el usuario necesite analizar contenido de video, entender movimiento y secuencias temporales, extraer información de fotogramas de video, describir escenas de video o realizar análisis de video basado en IA. Optimizada para MP4, AVI, MOV y otros formatos de video comunes.

¿Qué es ADBCommander?

Esta skill proporciona funcionalidades de comprensión de video utilizando el paquete z-ai-web-dev-sdk, lo que permite a los modelos de IA analizar, describir y extraer información de contenido de video, incluyendo movimiento, secuencias temporales y cambios de escena. Está diseñada para tareas como detección de acciones, extracción de líneas de tiempo de eventos, clasificación de contenido de video y análisis deportivo. La skill admite tanto el uso de la CLI de z-ai para tareas rápidas y scripts simples como el SDK para aplicaciones de producción complejas, conversaciones de múltiples turnos y procesamiento por lotes. Los formatos de video compatibles incluyen MP4, AVI, MOV, WebM, MKV y FLV, y proporciona parámetros CLI como --prompt, --image, --thinking, --output y --stream para una interacción flexible.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AiCurv/ADBCommander/tree/HEAD/skills/video-understand

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Skill de Comprensión de Video

Esta skill proporciona funcionalidades especializadas de comprensión de video utilizando el paquete z-ai-web-dev-sdk, permitiendo a los modelos de IA analizar, describir y extraer información de contenido de video, incluyendo movimiento, secuencias temporales y cambios de escena.

Ruta de la Skill

Ubicación de la Skill: {project_path}/skills/video-understand

Esta skill se encuentra en la ruta anterior dentro de tu proyecto.

Scripts de Referencia: Hay scripts de prueba de ejemplo disponibles en el directorio {Skill Location}/scripts/ para pruebas rápidas y referencia. Consulta {Skill Location}/scripts/video-understand.ts para un ejemplo funcional.

Resumen

La comprensión de video se enfoca específicamente en el análisis de contenido de video, proporcionando capacidades para:

  • Comprensión y descripción de escenas de video
  • Detección de acciones y movimiento
  • Análisis de secuencias temporales
  • Detección de eventos en videos
  • Resumición de contenido de video
  • Detección de cambios de escena
  • Seguimiento de personas y objetos a través de fotogramas
  • Análisis de contenido audiovisual (cuando sea aplicable)

IMPORTANTE: z-ai-web-dev-sdk DEBE usarse solo en código backend. Nunca lo uses en código del lado del cliente.

Prerrequisitos

El paquete z-ai-web-dev-sdk ya está instalado. Impórtalo como se muestra en los ejemplos a continuación.

Uso de la CLI (Para Tareas Simples)

Para tareas rápidas de análisis de video, puedes usar la CLI z-ai en lugar de escribir código. Esto es ideal para descripciones simples de video, pruebas o automatización.

Análisis de Video Básico

# Analiza un video desde una URL
z-ai vision --prompt "Resume lo que sucede en este video" --image "https://example.com/video.mp4"

# Nota: Usa la bandera --image también para URLs de video
z-ai vision -p "Describe los eventos clave" -i "https://example.com/presentation.mp4"

Analizar Videos Locales

# Analiza un archivo de video local
z-ai vision -p "¿Qué actividades se muestran en este video?" -i "./recording.mp4"

# Guarda la respuesta en un archivo
z-ai vision -p "Proporciona un resumen detallado" -i "./meeting.mp4" -o summary.json

Análisis de Video Avanzado

# Comprensión de escenas complejas con razonamiento
z-ai vision \
  -p "Analiza este video e identifica: 1) Eventos principales, 2) Personas y sus acciones, 3) Línea de tiempo de los momentos clave" \
  -i "./event.mp4" \
  --thinking \
  -o analysis.json

# Detección de acciones
z-ai vision \
  -p "Identifica todas las acciones realizadas por personas en este video" \
  -i "./sports.mp4" \
  --thinking

Salida en Streaming

# Transmite el análisis de video
z-ai vision -p "Describe el contenido de este video" -i "./video.mp4" --stream

Parámetros de la CLI

  • --prompt, -p <texto>: Requerido - Pregunta o instrucción sobre el video
  • --image, -i <URL o ruta>: Opcional - URL de video o ruta de archivo local (a pesar del nombre, también funciona para videos)
  • --thinking, -t: Opcional - Habilita el razonamiento de cadena de pensamiento para análisis complejos (predeterminado: deshabilitado)
  • --output, -o <ruta>: Opcional - Ruta del archivo de salida (formato JSON)
  • --stream: Opcional - Transmite la respuesta en tiempo real

Formatos de Video Compatibles

  • MP4 (.mp4) - Formato más ampliamente compatible
  • AVI (.avi) - Audio Video Interleave
  • MOV (.mov) - Formato QuickTime
  • WebM (.webm) - Formato optimizado para web
  • MKV (.mkv) - Formato Matroska
  • FLV (.flv) - Formato Flash Video

Cuándo Usar CLI vs SDK

Usa CLI para:

  • Resúmenes rápidos de video
  • Análisis de video único
  • Prueba de capacidades de comprensión de video
  • Scripts de automatización simples
  • Generación de descripciones de video

Usa SDK para:

  • Conversaciones de múltiples turnos sobre videos
  • Pipelines de procesamiento de video complejos
  • Aplicaciones de producción con manejo de errores
  • Integración personalizada con lógica de procesamiento de video
  • Procesamiento por lotes de video con flujos de trabajo personalizados

Enfoque Recomendado

Para un mejor rendimiento y fiabilidad con videos locales, considera:

  1. Subir videos a un CDN y usar URLs
  2. Para videos más cortos, convertir fotogramas clave a imágenes para un análisis más rápido
  3. Para videos largos, considera dividirlos en fragmentos o muestrear a intervalos

Implementación Básica de Comprensión de Video

Análisis de Video Único

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeVideo(videoUrl, prompt) {
  const zai = await ZAI.create();

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          {
            type: 'text',
            text: prompt
          },
          {
            type: 'video_url',
            video_url: {
              url: videoUrl
            }
          }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

// Ejemplos de uso
const summary = await analyzeVideo(
  'https://example.com/presentation.mp4',
  'Resume los puntos clave presentados en este video'
);

const actionDetection = await analyzeVideo(
  'https://example.com/sports.mp4',
  'Identifica y describe todas las acciones atléticas realizadas en este video'
);

Comprensión de Escenas de Video

import ZAI from 'z-ai-web-dev-sdk';

async function understandVideoScenes(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Analiza este video y proporciona:
1. Resumen general del contenido del video
2. Escenas o segmentos principales (con marcas de tiempo aproximadas si es posible)
3. Personas clave o personajes y sus roles
4. Acciones o eventos importantes en orden cronológico
5. Descripción del escenario y el entorno
6. Estado de ánimo o tono general`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' } // Habilita para análisis detallado
  });

  return response.choices[0]?.message?.content;
}

// Uso
const sceneAnalysis = await understandVideoScenes(
  'https://example.com/documentary.mp4'
);

Detección de Movimiento y Acciones

import ZAI from 'z-ai-web-dev-sdk';

async function detectActions(videoUrl, specificAction = null) {
  const zai = await ZAI.create();

  const prompt = specificAction
    ? `Identifica todas las instancias de "${specificAction}" en este video. Para cada instancia, describe cuándo ocurre y proporciona detalles sobre cómo se realiza.`
    : 'Identifica y describe todas las acciones y movimientos significativos en este video. Incluye quién los realiza y cuándo ocurren.';

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

// Uso
const runningActions = await detectActions(
  'https://example.com/sports.mp4',
  'corriendo'
);

const allActions = await detectActions(
  'https://example.com/activity.mp4'
);

Extracción de Línea de Tiempo de Eventos

import ZAI from 'z-ai-web-dev-sdk';

async function extractTimeline(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Crea una línea de tiempo detallada de los eventos en este video:
- Identifica momentos clave y transiciones
- Nota el tiempo aproximado (principio, medio, final o marcas de tiempo específicas si son visibles)
- Describe lo que sucede en cada punto clave
- Identifica cualquier relación de causa y efecto entre eventos

Formatea como una lista cronológica.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Clasificación de Contenido de Video

import ZAI from 'z-ai-web-dev-sdk';

async function classifyVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Clasifica el contenido de este video:
1. Categoría principal (por ejemplo, educativo, entretenimiento, deportes, noticias, tutorial)
2. Subcategoría o género
3. Audiencia objetivo
4. Estilo de contenido (profesional, casual, documental, etc.)
5. Temas o tópicos clave
6. Etiquetas sugeridas (10-15 palabras clave)

Formatea tu respuesta como JSON estructurado.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  const content = response.choices[0]?.message?.content;
  
  try {
    return JSON.parse(content);
  } catch (e) {
    return { rawResponse: content };
  }
}

Casos de Uso Avanzados

Conversación de Video de Múltiples Turnos

import ZAI from 'z-ai-web-dev-sdk';

class VideoConversation {
  constructor() {
    this.messages = [];
  }

  async initialize() {
    this.zai = await ZAI.create();
  }

  async loadVideo(videoUrl, initialQuestion) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: initialQuestion },
        { type: 'video_url', video_url: { url: videoUrl } }
      ]
    });

    return this.getResponse();
  }

  async askFollowUp(question) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: question }
      ]
    });

    return this.getResponse();
  }

  async getResponse() {
    const response = await this.zai.chat.completions.createVision({
      messages: this.messages,
      thinking: { type: 'disabled' }
    });

    const assistantMessage = response.choices[0]?.message?.content;
    
    this.messages.push({
      role: 'assistant',
      content: assistantMessage
    });

    return assistantMessage;
  }
}

// Uso
const conversation = new VideoConversation();
await conversation.initialize();

const initial = await conversation.loadVideo(
  'https://example.com/lecture.mp4',
  '¿Cuál es el tema principal de esta conferencia?'
);

const followup1 = await conversation.askFollowUp(
  '¿Puedes explicar los conceptos clave mencionados?'
);

const followup2 = await conversation.askFollowUp(
  '¿Qué ejemplos se usaron para ilustrar estos conceptos?'
);

Evaluación de Calidad de Video

import ZAI from 'z-ai-web-dev-sdk';

async function assessVideoQuality(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Evalúa la calidad de este video:
1. Calidad visual (resolución, claridad, iluminación) - Califica 1-10
2. Calidad de audio (si hay audio presente) - Califica 1-10
3. Trabajo de cámara (estabilidad, encuadre, composición) - Califica 1-10
4. Valor de producción (edición, transiciones, efectos) - Califica 1-10
5. Claridad del contenido (¿es claro el mensaje?) - Califica 1-10
6. Ritmo (demasiado rápido, demasiado lento, adecuado)
7. Problemas técnicos (artefactos, desenfoque, sincronización de audio, etc.)
8. Calificación general - 1-10
9. Recomendaciones específicas para mejorar

Proporciona retroalimentación detallada para cada criterio.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Moderación de Contenido de Video

import ZAI from 'z-ai-web-dev-sdk';

async function moderateVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Revisa este video para moderación de contenido:
1. Verifica cualquier contenido inapropiado o sensible
2. Identifica cualquier posible preocupación de seguridad
3. Nota cualquier contenido que pueda violar las pautas comunes de la comunidad
4. Evalúa la idoneidad según la edad
5. Identifica cualquier material con derechos de autor visible (logotipos, marcas, música)
6. Calificación general de seguridad: Seguro / Precaución / Revisión Requerida

Proporciona ejemplos específicos para cualquier preocupación identificada.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Generación de Transcripción de Video (Descripción Visual)

import ZAI from 'z-ai-web-dev-sdk';

async function generateVisualTranscript(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Genera una transcripción visual detallada de este video:
- Describe lo que sucede en cada escena
- Nota cualquier texto que aparezca en pantalla
- Describe elementos visuales importantes
- Menciona cualquier cambio de escena o transición
- Incluye descripciones de las acciones y expresiones de las personas

Formatea como una narrativa basada en el tiempo (por ejemplo, "Al principio...", "Luego...", "Finalmente...").`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

Análisis de Video Deportivo

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeSportsVideo(videoUrl, sport = null) {
  const zai = await ZAI.create();

  const prompt = sport
    ? `Analiza este video de ${sport} en detalle:
1. Identifica jugadores y sus posiciones
2. Describe jugadas clave y estrategias
3. Nota eventos de anotación o momentos importantes
4. Evalúa el rendimiento de los jugadores
5. Identifica cualquier violación de reglas o faltas
6. Describe el ritmo y flujo del juego`
    : `Analiza este video deportivo:
1. Identifica el deporte que se está jugando
2. Describe las acciones y jugadas clave
3. Nota cualquier anotación o evento significativo
4. Describe los movimientos y estrategias de los jugadores
5. Evaluación general del juego o partido`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Resolución de Problemas

Problemas Comunes

Error: Formato de video no compatible

  • Asegúrate de que tu archivo de video esté en uno de los formatos compatibles (MP4, AVI, MOV, WebM, MKV, FLV)
  • Intenta convertir el video a MP4 para máxima compatibilidad

Error: Archivo de video demasiado grande

  • Usa un CDN para subir videos grandes y proporciona una URL
  • Considera convertir fotogramas clave a imágenes para videos más cortos
  • Para videos largos, avanza a intervalos regulares

Error: Memoria insuficiente

  • Reduce la resolución o duración del video
  • Divide videos largos en segmentos más pequeños
  • Usa la CLI en modo streaming si es posible

Referencia de API

La clase principal para la comprensión de video es zai.chat.completions.createVision. Sus parámetros se enumeran a continuación:

ParámetroTipoRequeridoDescripción
messagesArraySíArray de objetos de mensaje con contenido y rol
messages[].roleStringSíRol del mensaje: 'user' o 'assistant'
messages[].contentArraySíArray de objetos de contenido
content[].typeStringSíTipo de contenido: 'text' o 'video_url'
content[].textStringCondicionalTexto cuando type='text'
content[].video_urlObjectCondicionalObjeto URL de video cuando type='video_url'
content[].video_url.urlStringSíURL del archivo de video
thinkingObjectNoConfiguración de razonamiento
thinking.typeStringNo'enabled' o 'disabled'

Métodos Auxiliares

ZAI.create()

  • Inicializa una nueva instancia de ZAI
  • Sin parámetros
  • Devuelve: Promise

createVision(config)

  • Crea una solicitud de comprensión de video
  • Parámetros: Ver tabla de referencia de API arriba
  • Devuelve: Promise con opciones de respuesta

Notas Adicionales

  • Mejores Prácticas de Memoria: Para videos largos (>10 minutos), considera dividirlos en segmentos de 2-3 minutos para un mejor rendimiento
  • Precisión de Marcas de Tiempo: El SDK proporciona marcas de tiempo aproximadas. Para una sincronización precisa, usa herramientas de video externas
  • Límites de Tamaño de Archivo: El SDK puede manejar archivos de hasta 500MB cuando se cargan directamente. Para archivos más grandes, usa una URL de CDN
  • Rendimiento de la Red: Los archivos de video más grandes pueden tardar más en procesarse. Para una experiencia más fluida, usa URLs en lugar de archivos locales

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

AiCurv/ADBCommander

Generate a single-file Chinese atelier-style portfolio website (horizontal-row list + hover-reveal thumb interaction, art lishu typography "Alimama DaoLiTi" via CDN, light/dark theme, hash-routed detail pages). Takes a natural-language description of the studio (name, director, discipline, works) and outputs ONE working .html file. Runs in BOTH Claude Code (writes to ~/Desktop) and GLM / online chat (outputs HTML inline). Trigger phrases include "做个中式工作室作品集", "做个隶书作品集", "lishu-portfolio-gen ...", "做个白屋风格的作品集", or when user drags this skill folder into chat asking for an atelier-style site.

AiCurv/ADBCommander

Premium calm-tech SaaS landing template — bilingual (CN/EN) literary voice over a dark forest-night palette with warm gold accent, Cormorant + Noto Serif SC, Three.js procedural forest hero, station-based scrolling narrative, custom cursor. Built for ambient-AI / creative-tool / philosophical SaaS, not loud commercial launch.

AiCurv/ADBCommander

Pro-camera HUD mockup template — full-viewport black canvas wrapping a real video with monospace overlays (corner brackets, top status bar, side AF/exposure columns, bottom timecode + aperture/shutter/ISO row, vertical 8-filter wheel, animated reticle). For cinematographer portfolios, camera-app demos, LUT pack previews, filter-look auditions. NOT a TikTok/Reels mockup, NOT a storyboard, NOT a shot list, NOT a script document. The chrome wraps real footage — never a div placeholder.

AiCurv/ADBCommander

Premium pre-launch waitlist page template — dark charcoal canvas with subtle vignette, drifting portrait video-thumbnail cards, fade-up cascades, glass nav, live-updating join counter, single email form with success/error states. Built for creative-tool / AI / niche-SaaS invite-only launches with hushed exclusive tone, not loud growth-marketing.

AiCurv/ADBCommander

Route design-related HTML artifact tasks to the right artifact skill, reference, design system generation, or export skill.

AiCurv/ADBCommander

Implement text-to-speech (TTS) capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to convert text into natural-sounding speech, create audio content, build voice-enabled applications, or generate spoken audio files. Supports multiple voices, adjustable speed, and various audio formats.

AiCurv/ADBCommander

Implement AI-powered video generation capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to generate videos from text prompts or images, create video content programmatically, or build applications that produce video outputs. Supports asynchronous task management with status polling and result retrieval.

Skills relacionados