Communitygithub.com

Cetc2211/AcTR-app

Capacités de compréhension vidéo spécialisées utilisant le SDK z-ai-web-dev-sdk. Utilisez cette compétence lorsque l'utilisateur a besoin d'analyser du contenu vidéo, de comprendre le mouvement et les séquences temporelles, d'extraire des informations d'images vidéo, de décrire des scènes vidéo ou d'effectuer une analyse vidéo basée sur l'IA. Optimisé pour les formats MP4, AVI, MOV et autres formats vidéo courants.

Qu'est-ce que AcTR-app ?

Cette compétence fournit des fonctionnalités avancées d'analyse vidéo basées sur le package z-ai-web-dev-sdk. Compatible avec les agents IA comme Claude Code, Cursor et Codex, elle offre des capacités de compréhension complète des vidéos : analyse de scènes, détection de mouvements et d'actions, extraction d'événements, classification de contenu, et évaluation de qualité. La compétence prend en charge à la fois l'utilisation en ligne de commande (z-ai CLI) pour des tâches rapides et l'intégration SDK pour des pipelines complexes et des conversations multi-tours. Elle est optimisée pour les formats MP4, AVI, MOV, WebM, MKV et FLV, et inclut des cas d'utilisation avancés tels que la modération de contenu, la génération de transcriptions visuelles et l'analyse sportive. L'utilisateur peut alterner entre les approches CLI (résumés rapides et automatisation) et SDK (logique métier robuste, intégration sur mesure).

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Cetc2211/AcTR-app/tree/HEAD/skills/video-understand

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence de Compréhension Vidéo

Cette compétence fournit des fonctionnalités spécialisées de compréhension vidéo en utilisant le package z-ai-web-dev-sdk, permettant aux modèles d'IA d'analyser, décrire et extraire des informations du contenu vidéo, y compris le mouvement, les séquences temporelles et les changements de scène.

Chemin de la Compétence

Emplacement de la compétence : {project_path}/skills/video-understand

cette compétence se trouve au chemin ci-dessus dans votre projet.

Scripts de Référence : Des exemples de scripts de test sont disponibles dans le répertoire {Emplacement de la compétence}/scripts/ pour des tests et références rapides. Voir {Emplacement de la compétence}/scripts/video-understand.ts pour un exemple fonctionnel.

Aperçu

La compréhension vidéo se concentre spécifiquement sur l'analyse de contenu vidéo, offrant des capacités pour :

  • Compréhension et description de scènes vidéo
  • Détection d'actions et de mouvements
  • Analyse de séquences temporelles
  • Détection d'événements dans les vidéos
  • Résumé de contenu vidéo
  • Détection de changements de scène
  • Suivi de personnes et d'objets à travers les images
  • Analyse de contenu audio-visuel (le cas échéant)

IMPORTANT : z-ai-web-dev-sdk DOIT être utilisé uniquement dans le code backend. Ne l'utilisez jamais dans le code côté client.

Prérequis

Le package z-ai-web-dev-sdk est déjà installé. Importez-le comme indiqué dans les exemples ci-dessous.

Utilisation CLI (Pour les Tâches Simples)

Pour des tâches d'analyse vidéo rapides, vous pouvez utiliser l'interface en ligne de commande z-ai au lieu d'écrire du code. C'est idéal pour des descriptions vidéo simples, des tests ou de l'automatisation.

Analyse Vidéo de Base

# Analyser une vidéo depuis une URL
z-ai vision --prompt "Résumez ce qui se passe dans cette vidéo" --image "https://example.com/video.mp4"

# Note : Utilisez l'option --image pour les URLs de vidéos également
z-ai vision -p "Décrivez les événements clés" -i "https://example.com/presentation.mp4"

Analyser des Vidéos Locales

# Analyser un fichier vidéo local
z-ai vision -p "Quelles activités sont montrées dans cette vidéo ?" -i "./recording.mp4"

# Enregistrer la réponse dans un fichier
z-ai vision -p "Fournissez un résumé détaillé" -i "./meeting.mp4" -o summary.json

Analyse Vidéo Avancée

# Compréhension de scène complexe avec réflexion
z-ai vision \
  -p "Analysez cette vidéo et identifiez : 1) Événements principaux, 2) Personnes et leurs actions, 3) Chronologie des moments clés" \
  -i "./event.mp4" \
  --thinking \
  -o analysis.json

# Détection d'actions
z-ai vision \
  -p "Identifiez toutes les actions effectuées par les personnes dans cette vidéo" \
  -i "./sports.mp4" \
  --thinking

Sortie en Streaming

# Streamer l'analyse vidéo
z-ai vision -p "Décrivez le contenu de cette vidéo" -i "./video.mp4" --stream

Paramètres CLI

  • --prompt, -p <texte> : Requis - Question ou instruction concernant la vidéo
  • --image, -i <URL ou chemin> : Optionnel - URL de la vidéo ou chemin du fichier local (malgré le nom, cela fonctionne aussi pour les vidéos)
  • --thinking, -t : Optionnel - Active le raisonnement en chaîne de pensée pour une analyse complexe (par défaut : désactivé)
  • --output, -o <chemin> : Optionnel - Chemin du fichier de sortie (format JSON)
  • --stream : Optionnel - Streamer la réponse en temps réel

Formats Vidéo Pris en Charge

  • MP4 (.mp4) - Format le plus largement pris en charge
  • AVI (.avi) - Audio Video Interleave
  • MOV (.mov) - Format QuickTime
  • WebM (.webm) - Format optimisé pour le web
  • MKV (.mkv) - Format Matroska
  • FLV (.flv) - Format Flash Video

Quand Utiliser CLI vs SDK

Utilisez CLI pour :

  • Résumés vidéo rapides
  • Analyse vidéo unique
  • Test des capacités de compréhension vidéo
  • Scripts d'automatisation simples
  • Génération de descriptions vidéo

Utilisez SDK pour :

  • Conversations multi-tours sur des vidéos
  • Pipelines de traitement vidéo complexes
  • Applications de production avec gestion des erreurs
  • Intégration personnalisée avec la logique de traitement vidéo
  • Traitement par lots de vidéos avec flux de travail personnalisés

Approche Recommandée

Pour de meilleures performances et fiabilité avec des vidéos locales, envisagez :

  1. Télécharger les vidéos sur un CDN et utiliser des URLs
  2. Pour les vidéos plus courtes, convertir les images clés en images pour une analyse plus rapide
  3. Pour les vidéos longues, envisager le découpage ou l'échantillonnage à intervalles

Implémentation de Base de la Compréhension Vidéo

Analyse Vidéo Unique

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeVideo(videoUrl, prompt) {
  const zai = await ZAI.create();

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          {
            type: 'text',
            text: prompt
          },
          {
            type: 'video_url',
            video_url: {
              url: videoUrl
            }
          }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

// Exemples d'utilisation
const summary = await analyzeVideo(
  'https://example.com/presentation.mp4',
  'Résumez les points clés présentés dans cette vidéo'
);

const actionDetection = await analyzeVideo(
  'https://example.com/sports.mp4',
  'Identifiez et décrivez toutes les actions athlétiques effectuées dans cette vidéo'
);

Compréhension de Scène Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function understandVideoScenes(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Analysez cette vidéo et fournissez :
1. Résumé général du contenu vidéo
2. Principales scènes ou segments (avec horodatages approximatifs si possible)
3. Personnages ou personnes clés et leurs rôles
4. Actions ou événements importants dans l'ordre chronologique
5. Description du cadre et de l'environnement
6. Ambiance ou ton général`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' } // Activer pour une analyse détaillée
  });

  return response.choices[0]?.message?.content;
}

// Utilisation
const sceneAnalysis = await understandVideoScenes(
  'https://example.com/documentary.mp4'
);

Détection de Mouvement et d'Action

import ZAI from 'z-ai-web-dev-sdk';

async function detectActions(videoUrl, specificAction = null) {
  const zai = await ZAI.create();

  const prompt = specificAction
    ? `Identifiez toutes les instances de "${specificAction}" dans cette vidéo. Pour chaque instance, décrivez quand elle se produit et fournissez des détails sur la façon dont elle est effectuée.`
    : 'Identifiez et décrivez toutes les actions et mouvements significatifs dans cette vidéo. Incluez qui les effectue et quand ils se produisent.';

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

// Utilisation
const runningActions = await detectActions(
  'https://example.com/sports.mp4',
  'running'
);

const allActions = await detectActions(
  'https://example.com/activity.mp4'
);

Extraction de Chronologie d'Événements

import ZAI from 'z-ai-web-dev-sdk';

async function extractTimeline(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Créez une chronologie détaillée des événements dans cette vidéo :
- Identifiez les moments clés et les transitions
- Notez le moment approximatif (début, milieu, fin ou horodatages spécifiques si visibles)
- Décrivez ce qui se passe à chaque point clé
- Identifiez les relations de cause à effet entre les événements

Formatez comme une liste chronologique.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Classification de Contenu Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function classifyVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Classifiez le contenu de cette vidéo :
1. Catégorie principale (par ex., éducatif, divertissement, sports, actualités, tutoriel)
2. Sous-catégorie ou genre
3. Public cible
4. Style de contenu (professionnel, décontracté, documentaire, etc.)
5. Thèmes ou sujets clés
6. Tags suggérés (10-15 mots-clés)

Formatez votre réponse en JSON structuré.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  const content = response.choices[0]?.message?.content;
  
  try {
    return JSON.parse(content);
  } catch (e) {
    return { rawResponse: content };
  }
}

Cas d'Utilisation Avancés

Conversation Vidéo Multi-tours

import ZAI from 'z-ai-web-dev-sdk';

class VideoConversation {
  constructor() {
    this.messages = [];
  }

  async initialize() {
    this.zai = await ZAI.create();
  }

  async loadVideo(videoUrl, initialQuestion) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: initialQuestion },
        { type: 'video_url', video_url: { url: videoUrl } }
      ]
    });

    return this.getResponse();
  }

  async askFollowUp(question) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: question }
      ]
    });

    return this.getResponse();
  }

  async getResponse() {
    const response = await this.zai.chat.completions.createVision({
      messages: this.messages,
      thinking: { type: 'disabled' }
    });

    const assistantMessage = response.choices[0]?.message?.content;
    
    this.messages.push({
      role: 'assistant',
      content: assistantMessage
    });

    return assistantMessage;
  }
}

// Utilisation
const conversation = new VideoConversation();
await conversation.initialize();

const initial = await conversation.loadVideo(
  'https://example.com/lecture.mp4',
  'Quel est le sujet principal de ce cours ?'
);

const followup1 = await conversation.askFollowUp(
  'Pouvez-vous expliquer les concepts clés mentionnés ?'
);

const followup2 = await conversation.askFollowUp(
  'Quels exemples ont été utilisés pour illustrer ces concepts ?'
);

Évaluation de la Qualité Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function assessVideoQuality(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Évaluez la qualité de cette vidéo :
1. Qualité visuelle (résolution, netteté, éclairage) - Notez 1-10
2. Qualité audio (si l'audio est présent) - Notez 1-10
3. Travail de caméra (stabilité, cadrage, composition) - Notez 1-10
4. Valeur de production (montage, transitions, effets) - Notez 1-10
5. Clarté du contenu (le message est-il clair ?) - Notez 1-10
6. Rythme (trop rapide, trop lent, juste bien)
7. Problèmes techniques (artefacts, flou, synchronisation audio, etc.)
8. Note globale - 1-10
9. Recommandations spécifiques pour l'amélioration

Fournissez des retours détaillés pour chaque critère.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Modération de Contenu Vidéo

import ZAI from 'z-ai-web-dev-sdk';

async function moderateVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Examinez cette vidéo pour la modération du contenu :
1. Vérifiez la présence de tout contenu inapproprié ou sensible
2. Identifiez les préoccupations potentielles en matière de sécurité
3. Notez tout contenu qui pourrait violer les directives communautaires courantes
4. Évaluez l'adéquation à l'âge
5. Identifiez tout matériel protégé par le droit d'auteur visible (logos, marques, musique)
6. Note de sécurité globale : Sûr / Prudence / Révision requise

Fournissez des exemples spécifiques pour toute préoccupation identifiée.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Génération de Transcription Visuelle

import ZAI from 'z-ai-web-dev-sdk';

async function generateVisualTranscript(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Générez une transcription visuelle détaillée de cette vidéo :
- Décrivez ce qui se passe dans chaque scène
- Notez tout texte qui apparaît à l'écran
- Décrivez les éléments visuels importants
- Mentionnez les changements de scène ou transitions
- Incluez des descriptions des actions et expressions des personnes

Formatez comme un récit basé sur le temps (par ex., "Au début...", "Ensuite...", "Enfin...").`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

Analyse de Vidéo Sportive

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeSportsVideo(videoUrl, sport = null) {
  const zai = await ZAI.create();

  const prompt = sport
    ? `Analysez cette vidéo de ${sport} en détail :
1. Identifiez les joueurs et leurs positions
2. Décrivez les jeux et stratégies clés
3. Notez les événements de score ou moments importants
4. Évaluez la performance des joueurs
5. Identifiez toute violation de règles ou fautes
6. Décrivez le rythme et le flux du jeu`
    : `Analysez cette vidéo sportive :
1. Identifiez le sport pratiqué
2. Décrivez les actions et jeux clés
3. Notez les scores ou événements significatifs
4. Décrivez les mouvements des joueurs et les stratégies
5. Évaluation globale du jeu ou du match`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Cetc2211/AcTR-app

Generate a single-file Chinese atelier-style portfolio website (horizontal-row list + hover-reveal thumb interaction, art lishu typography "Alimama DaoLiTi" via CDN, light/dark theme, hash-routed detail pages). Takes a natural-language description of the studio (name, director, discipline, works) and outputs ONE working .html file. Runs in BOTH Claude Code (writes to ~/Desktop) and GLM / online chat (outputs HTML inline). Trigger phrases include "做个中式工作室作品集", "做个隶书作品集", "lishu-portfolio-gen ...", "做个白屋风格的作品集", or when user drags this skill folder into chat asking for an atelier-style site.

Cetc2211/AcTR-app

Premium calm-tech SaaS landing template — bilingual (CN/EN) literary voice over a dark forest-night palette with warm gold accent, Cormorant + Noto Serif SC, Three.js procedural forest hero, station-based scrolling narrative, custom cursor. Built for ambient-AI / creative-tool / philosophical SaaS, not loud commercial launch.

Cetc2211/AcTR-app

Pro-camera HUD mockup template — full-viewport black canvas wrapping a real video with monospace overlays (corner brackets, top status bar, side AF/exposure columns, bottom timecode + aperture/shutter/ISO row, vertical 8-filter wheel, animated reticle). For cinematographer portfolios, camera-app demos, LUT pack previews, filter-look auditions. NOT a TikTok/Reels mockup, NOT a storyboard, NOT a shot list, NOT a script document. The chrome wraps real footage — never a div placeholder.

Cetc2211/AcTR-app

Premium pre-launch waitlist page template — dark charcoal canvas with subtle vignette, drifting portrait video-thumbnail cards, fade-up cascades, glass nav, live-updating join counter, single email form with success/error states. Built for creative-tool / AI / niche-SaaS invite-only launches with hushed exclusive tone, not loud growth-marketing.

Cetc2211/AcTR-app

Route design-related HTML artifact tasks to the right artifact skill, reference, design system generation, or export skill.

Cetc2211/AcTR-app

Implement text-to-speech (TTS) capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to convert text into natural-sounding speech, create audio content, build voice-enabled applications, or generate spoken audio files. Supports multiple voices, adjustable speed, and various audio formats.

Cetc2211/AcTR-app

Implement AI-powered video generation capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to generate videos from text prompts or images, create video content programmatically, or build applications that produce video outputs. Supports asynchronous task management with status polling and result retrieval.

Skills associés