Communitygithub.com

AiCurv/ADBCommander

Implémentez des capacités avancées de compréhension vidéo en utilisant le SDK z-ai-web-dev. Utilisez cette compétence lorsque vous devez analyser du contenu vidéo, comprendre les mouvements et séquences temporelles, extraire des informations d'images vidéo, décrire des scènes vidéo ou effectuer une analyse IA basée sur la vidéo. Optimisée pour les formats MP4, AVI, MOV et autres formats vidéo courants.

Qu'est-ce que ADBCommander ?

Cette compétence fournit une fonctionnalité dédiée de compréhension vidéo grâce au package SDK z-ai-web-dev, permettant aux modèles d'IA d'analyser, de décrire et d'extraire des informations à partir de contenu vidéo, y compris les mouvements, les séquences temporelles et les changements de scène. Elle prend en charge les environnements CLI (via `z-ai vision`) et SDK (via `ZAI.create()`). Les cas d'utilisation incluent la détection d'actions, l'extraction de chronologie d'événements, l'analyse multi-tour de vidéos, l'évaluation de la qualité, la modération de contenu sportif et la génération de transcriptions visuelles. Elle fonctionne avec des formats vidéo courants comme MP4, AVI, MOV, WebM, MKV et FLV. Le SDK est réservé au code backend uniquement. Pour une fiabilité accrue avec les vidéos locales, il est recommandé d'utiliser des URLs CDN, la conversion d'images clés pour les vidéos courtes, ou l'échantillonnage pour les vidéos longues.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AiCurv/ADBCommander/tree/HEAD/skills/video-understand

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence de Compréhension Vidéo

Cette compétence fournit une fonctionnalité spécialisée de compréhension vidéo en utilisant le package z-ai-web-dev-sdk, permettant aux modèles d'IA d'analyser, décrire et extraire des informations à partir de contenu vidéo, y compris les mouvements, les séquences temporelles et les changements de scène.

Chemin de la Compétence

Emplacement de la Compétence : {project_path}/skills/video-understand

cette compétence se trouve au chemin ci-dessus dans votre projet.

Scripts de Référence : Des exemples de scripts de test sont disponibles dans le répertoire {Skill Location}/scripts/ pour un test et une référence rapides. Voir {Skill Location}/scripts/video-understand.ts pour un exemple fonctionnel.

Aperçu

La compréhension vidéo se concentre spécifiquement sur l'analyse du contenu vidéo, offrant des capacités pour :

  • Compréhension et description de scènes vidéo
  • Détection d'actions et de mouvements
  • Analyse de séquences temporelles
  • Détection d'événements dans les vidéos
  • Résumé du contenu vidéo
  • Détection de changements de scène
  • Suivi de personnes et d'objets à travers les images
  • Analyse du contenu audio-visuel (le cas échéant)

IMPORTANT : z-ai-web-dev-sdk DOIT être utilisé uniquement dans le code backend. Ne l'utilisez jamais dans du code côté client.

Prérequis

Le package z-ai-web-dev-sdk est déjà installé. Importez-le comme indiqué dans les exemples ci-dessous.

Utilisation en Ligne de Commande (Pour Tâches Simples)

Pour des tâches rapides d'analyse vidéo, vous pouvez utiliser l'interface CLI z-ai au lieu d'écrire du code. C'est idéal pour les descriptions vidéo simples, les tests ou l'automatisation.

Analyse Vidéo de Base

# Analyser une vidéo depuis une URL
z-ai vision --prompt "Résumez ce qui se passe dans cette vidéo" --image "https://example.com/video.mp4"

# Remarque : Utilisez le flag --image pour les URLs vidéo également
z-ai vision -p "Décrivez les événements clés" -i "https://example.com/presentation.mp4"

Analyser des Vidéos Locales

# Analyser un fichier vidéo local
z-ai vision -p "Quelles activités sont montrées dans cette vidéo ?" -i "./enregistrement.mp4"

# Sauvegarder la réponse dans un fichier
z-ai vision -p "Fournissez un résumé détaillé" -i "./reunion.mp4" -o resume.json

Analyse Vidéo Avancée

# Compréhension complexe de scène avec réflexion
z-ai vision \
  -p "Analysez cette vidéo et identifiez : 1) Événements principaux, 2) Personnes et leurs actions, 3) Chronologie des moments clés" \
  -i "./evenement.mp4" \
  --thinking \
  -o analyse.json

# Détection d'actions
z-ai vision \
  -p "Identifiez toutes les actions effectuées par les personnes dans cette vidéo" \
  -i "./sports.mp4" \
  --thinking

Sortie en Streaming

# Diffuser l'analyse vidéo en streaming
z-ai vision -p "Décrivez ce contenu vidéo" -i "./video.mp4" --stream

Paramètres CLI

  • --prompt, -p <texte> : Requis - Question ou instruction concernant la vidéo
  • --image, -i <URL ou chemin> : Optionnel - URL vidéo ou chemin de fichier local (malgré le nom, cela fonctionne aussi pour les vidéos)
  • --thinking, -t : Optionnel - Active le raisonnement en chaîne de pensée pour une analyse complexe (par défaut : désactivé)
  • --output, -o <chemin> : Optionnel - Chemin du fichier de sortie (format JSON)
  • --stream : Optionnel - Diffuse la réponse en temps réel

Formats Vidéo Pris en Charge

  • MP4 (.mp4) - Format le plus largement supporté
  • AVI (.avi) - Audio Video Interleave
  • MOV (.mov) - Format QuickTime
  • WebM (.webm) - Format optimisé pour le web
  • MKV (.mkv) - Format Matroska
  • FLV (.flv) - Format Flash Video

Quand Utiliser CLI vs SDK

Utilisez CLI pour :

  • Résumés vidéo rapides
  • Analyse vidéo ponctuelle
  • Tester les capacités de compréhension vidéo
  • Scripts d'automatisation simples
  • Générer des descriptions vidéo

Utilisez SDK pour :

  • Conversations multi-tours sur des vidéos
  • Pipelines complexes de traitement vidéo
  • Applications de production avec gestion d'erreurs
  • Intégration personnalisée avec logique de traitement vidéo
  • Traitement par lots de vidéos avec workflows personnalisés

Approche Recommandée

Pour de meilleures performances et fiabilité avec les vidéos locales, envisagez :

  1. Télécharger les vidéos sur un CDN et utiliser des URLs
  2. Pour les vidéos courtes, convertir les images clés en images pour une analyse plus rapide
  3. Pour les vidéos longues, envisagez le découpage ou l'échantillonnage à intervalles

Implémentation de Base de la Compréhension Vidéo

Analyse Vidéo Unique

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeVideo(videoUrl, prompt) {
  const zai = await ZAI.create();

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          {
            type: 'text',
            text: prompt
          },
          {
            type: 'video_url',
            video_url: {
              url: videoUrl
            }
          }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

// Exemples d'utilisation
const summary = await analyzeVideo(
  'https://example.com/presentation.mp4',
  'Résumez les points clés présentés dans cette vidéo'
);

const actionDetection = await analyzeVideo(
  'https://example.com/sports.mp4',
  'Identifiez et décrivez toutes les actions athlétiques effectuées dans cette vidéo'
);

Compréhension de Scène Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function understandVideoScenes(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Analyze this video and provide:
1. Overall summary of the video content
2. Main scenes or segments (with approximate timestamps if possible)
3. Key people or characters and their roles
4. Important actions or events in chronological order
5. Setting and environment description
6. Overall mood or tone`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' } // Enable for detailed analysis
  });

  return response.choices[0]?.message?.content;
}

// Usage
const sceneAnalysis = await understandVideoScenes(
  'https://example.com/documentary.mp4'
);

Détection de Mouvement et d'Action

import ZAI from 'z-ai-web-dev-sdk';

async function detectActions(videoUrl, specificAction = null) {
  const zai = await ZAI.create();

  const prompt = specificAction
    ? `Identify all instances of "${specificAction}" in this video. For each instance, describe when it occurs and provide details about how it's performed.`
    : 'Identify and describe all significant actions and movements in this video. Include who is performing them and when they occur.';

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

// Usage
const runningActions = await detectActions(
  'https://example.com/sports.mp4',
  'running'
);

const allActions = await detectActions(
  'https://example.com/activity.mp4'
);

Extraction de Chronologie d'Événements

import ZAI from 'z-ai-web-dev-sdk';

async function extractTimeline(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Create a detailed timeline of events in this video:
- Identify key moments and transitions
- Note approximate timing (beginning, middle, end or specific timestamps if visible)
- Describe what happens at each key point
- Identify any cause-and-effect relationships between events

Format as a chronological list.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Classification de Contenu Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function classifyVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Classify this video content:
1. Primary category (e.g., educational, entertainment, sports, news, tutorial)
2. Sub-category or genre
3. Target audience
4. Content style (professional, casual, documentary, etc.)
5. Key themes or topics
6. Suggested tags (10-15 keywords)

Format your response as structured JSON.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  const content = response.choices[0]?.message?.content;
  
  try {
    return JSON.parse(content);
  } catch (e) {
    return { rawResponse: content };
  }
}

Cas d'Utilisation Avancés

Conversation Vidéo Multi-Tours

import ZAI from 'z-ai-web-dev-sdk';

class VideoConversation {
  constructor() {
    this.messages = [];
  }

  async initialize() {
    this.zai = await ZAI.create();
  }

  async loadVideo(videoUrl, initialQuestion) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: initialQuestion },
        { type: 'video_url', video_url: { url: videoUrl } }
      ]
    });

    return this.getResponse();
  }

  async askFollowUp(question) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: question }
      ]
    });

    return this.getResponse();
  }

  async getResponse() {
    const response = await this.zai.chat.completions.createVision({
      messages: this.messages,
      thinking: { type: 'disabled' }
    });

    const assistantMessage = response.choices[0]?.message?.content;
    
    this.messages.push({
      role: 'assistant',
      content: assistantMessage
    });

    return assistantMessage;
  }
}

// Usage
const conversation = new VideoConversation();
await conversation.initialize();

const initial = await conversation.loadVideo(
  'https://example.com/lecture.mp4',
  'What is the main topic of this lecture?'
);

const followup1 = await conversation.askFollowUp(
  'Can you explain the key concepts mentioned?'
);

const followup2 = await conversation.askFollowUp(
  'What examples were used to illustrate these concepts?'
);

Évaluation de la Qualité Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function assessVideoQuality(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Assess the quality of this video:
1. Visual quality (resolution, clarity, lighting) - Rate 1-10
2. Audio quality (if audio is present) - Rate 1-10
3. Camera work (stability, framing, composition) - Rate 1-10
4. Production value (editing, transitions, effects) - Rate 1-10
5. Content clarity (is the message clear?) - Rate 1-10
6. Pacing (too fast, too slow, just right)
7. Technical issues (artifacts, blur, audio sync, etc.)
8. Overall rating - 1-10
9. Specific recommendations for improvement

Provide detailed feedback for each criterion.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Modération de Contenu Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function moderateVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Review this video for content moderation:
1. Check for any inappropriate or sensitive content
2. Identify any potential safety concerns
3. Note any content that might violate common community guidelines
4. Assess age-appropriateness
5. Identify any copyrighted material visible (logos, brands, music)
6. Overall safety rating: Safe / Caution / Review Required

Provide specific examples for any concerns identified.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Génération de Transcription Visuelle

import ZAI from 'z-ai-web-dev-sdk';

async function generateVisualTranscript(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Generate a detailed visual transcript of this video:
- Describe what's happening in each scene
- Note any text that appears on screen
- Describe important visual elements
- Mention any scene changes or transitions
- Include descriptions of people's actions and expressions

Format as a time-based narrative (e.g., "At the beginning...", "Then...", "Finally...").`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

Analyse Vidéo Sportive

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeSportsVideo(videoUrl, sport = null) {
  const zai = await ZAI.create();

  const prompt = sport
    ? `Analyze this ${sport} video in detail:
1. Identify players and their positions
2. Describe key plays and strategies
3. Note scoring events or important moments
4. Assess player performance
5. Identify any rule violations or fouls
6. Describe the pace and flow of the game`
    : `Analyze this sports video:
1. Identify the sport being played
2. Describe the key actions and plays
3. Note any scoring or significant events
4. Describe player movements and strategies
5. Overall assessment of the game or match`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

AiCurv/ADBCommander

Generate a single-file Chinese atelier-style portfolio website (horizontal-row list + hover-reveal thumb interaction, art lishu typography "Alimama DaoLiTi" via CDN, light/dark theme, hash-routed detail pages). Takes a natural-language description of the studio (name, director, discipline, works) and outputs ONE working .html file. Runs in BOTH Claude Code (writes to ~/Desktop) and GLM / online chat (outputs HTML inline). Trigger phrases include "做个中式工作室作品集", "做个隶书作品集", "lishu-portfolio-gen ...", "做个白屋风格的作品集", or when user drags this skill folder into chat asking for an atelier-style site.

AiCurv/ADBCommander

Premium calm-tech SaaS landing template — bilingual (CN/EN) literary voice over a dark forest-night palette with warm gold accent, Cormorant + Noto Serif SC, Three.js procedural forest hero, station-based scrolling narrative, custom cursor. Built for ambient-AI / creative-tool / philosophical SaaS, not loud commercial launch.

AiCurv/ADBCommander

Pro-camera HUD mockup template — full-viewport black canvas wrapping a real video with monospace overlays (corner brackets, top status bar, side AF/exposure columns, bottom timecode + aperture/shutter/ISO row, vertical 8-filter wheel, animated reticle). For cinematographer portfolios, camera-app demos, LUT pack previews, filter-look auditions. NOT a TikTok/Reels mockup, NOT a storyboard, NOT a shot list, NOT a script document. The chrome wraps real footage — never a div placeholder.

AiCurv/ADBCommander

Premium pre-launch waitlist page template — dark charcoal canvas with subtle vignette, drifting portrait video-thumbnail cards, fade-up cascades, glass nav, live-updating join counter, single email form with success/error states. Built for creative-tool / AI / niche-SaaS invite-only launches with hushed exclusive tone, not loud growth-marketing.

AiCurv/ADBCommander

Route design-related HTML artifact tasks to the right artifact skill, reference, design system generation, or export skill.

AiCurv/ADBCommander

Implement text-to-speech (TTS) capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to convert text into natural-sounding speech, create audio content, build voice-enabled applications, or generate spoken audio files. Supports multiple voices, adjustable speed, and various audio formats.

AiCurv/ADBCommander

Implement AI-powered video generation capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to generate videos from text prompts or images, create video content programmatically, or build applications that produce video outputs. Supports asynchronous task management with status polling and result retrieval.

Skills associés