Compétence de Compréhension Vidéo
Cette compétence offre une fonctionnalité spécialisée de compréhension vidéo utilisant le package z-ai-web-dev-sdk, permettant aux modèles d'IA d'analyser, décrire et extraire des informations de contenu vidéo, y compris le mouvement, les séquences temporelles et les changements de scène.
Chemin de la Compétence
Emplacement de la Compétence : {project_path}/skills/video-understand
Cette compétence se trouve au chemin ci-dessus dans votre projet.
Scripts de Référence : Des scripts de test d'exemple sont disponibles dans le répertoire {Emplacement de la Compétence}/scripts/ pour des tests et une référence rapides. Voir {Emplacement de la Compétence}/scripts/video-understand.ts pour un exemple fonctionnel.
Aperçu
La compréhension vidéo se concentre spécifiquement sur l'analyse de contenu vidéo, offrant des capacités pour :
- Compréhension et description de scènes vidéo
- Détection d'actions et de mouvements
- Analyse de séquences temporelles
- Détection d'événements dans les vidéos
- Résumé de contenu vidéo
- Détection de changements de scène
- Suivi de personnes et d'objets à travers les images
- Analyse de contenu audiovisuel (le cas échéant)
IMPORTANT : z-ai-web-dev-sdk DOIT être utilisé uniquement dans le code backend. Ne l'utilisez jamais dans du code côté client.
Prérequis
Le package z-ai-web-dev-sdk est déjà installé. Importez-le comme indiqué dans les exemples ci-dessous.
Utilisation CLI (Pour les Tâches Simples)
Pour des tâches rapides d'analyse vidéo, vous pouvez utiliser l'interface CLI z-ai au lieu d'écrire du code. Ceci est idéal pour des descriptions vidéo simples, des tests ou l'automatisation.
Analyse Vidéo de Base
# Analyser une vidéo depuis une URL
z-ai vision --prompt "Résumez ce qui se passe dans cette vidéo" --image "https://example.com/video.mp4"
# Remarque : Utilisez le drapeau --image pour les URL vidéo également
z-ai vision -p "Décrivez les événements clés" -i "https://example.com/presentation.mp4"
Analyser des Vidéos Locales
# Analyser un fichier vidéo local
z-ai vision -p "Quelles activités sont montrées dans cette vidéo ?" -i "./enregistrement.mp4"
# Sauvegarder la réponse dans un fichier
z-ai vision -p "Fournissez un résumé détaillé" -i "./reunion.mp4" -o resume.json
Analyse Vidéo Avancée
# Compréhension de scène complexe avec réflexion
z-ai vision \
-p "Analysez cette vidéo et identifiez : 1) Les événements principaux, 2) Les personnes et leurs actions, 3) La chronologie des moments clés" \
-i "./evenement.mp4" \
--thinking \
-o analyse.json
# Détection d'action
z-ai vision \
-p "Identifiez toutes les actions effectuées par les personnes dans cette vidéo" \
-i "./sports.mp4" \
--thinking
Sortie en Flux
# Diffuser l'analyse vidéo en continu
z-ai vision -p "Décrivez ce contenu vidéo" -i "./video.mp4" --stream
Paramètres CLI
--prompt, -p <texte>: Requis - Question ou instruction concernant la vidéo--image, -i <URL ou chemin>: Optionnel - URL de la vidéo ou chemin de fichier local (malgré le nom, cela fonctionne aussi pour les vidéos)--thinking, -t: Optionnel - Activer le raisonnement en chaîne de pensée pour une analyse complexe (par défaut : désactivé)--output, -o <chemin>: Optionnel - Chemin du fichier de sortie (format JSON)--stream: Optionnel - Diffuser la réponse en temps réel
Formats Vidéo Pris en Charge
- MP4 (.mp4) - Format le plus largement supporté
- AVI (.avi) - Audio Video Interleave
- MOV (.mov) - Format QuickTime
- WebM (.webm) - Format optimisé pour le web
- MKV (.mkv) - Format Matroska
- FLV (.flv) - Format Flash Video
Quand Utiliser CLI vs SDK
Utilisez CLI pour :
- Résumés vidéo rapides
- Analyse vidéo ponctuelle
- Tester les capacités de compréhension vidéo
- Scripts d'automatisation simples
- Génération de descriptions vidéo
Utilisez SDK pour :
- Conversations multi-tours sur les vidéos
- Pipelines de traitement vidéo complexes
- Applications de production avec gestion des erreurs
- Intégration personnalisée avec une logique de traitement vidéo
- Traitement vidéo par lots avec des flux de travail personnalisés
Approche Recommandée
Pour de meilleures performances et fiabilité avec les vidéos locales, envisagez :
- Télécharger les vidéos sur un CDN et utiliser des URLs
- Pour les vidéos plus courtes, convertir les images clés en images pour une analyse plus rapide
- Pour les vidéos longues, envisagez de les découper en morceaux ou de les échantillonner à intervalles
Implémentation de Base de la Compréhension Vidéo
Analyse Vidéo Unique
import ZAI from 'z-ai-web-dev-sdk';
async function analyzeVideo(videoUrl, prompt) {
const zai = await ZAI.create();
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{
type: 'text',
text: prompt
},
{
type: 'video_url',
video_url: {
url: videoUrl
}
}
]
}
],
thinking: { type: 'disabled' }
});
return response.choices[0]?.message?.content;
}
// Exemples d'utilisation
const summary = await analyzeVideo(
'https://example.com/presentation.mp4',
'Résumez les points clés présentés dans cette vidéo'
);
const actionDetection = await analyzeVideo(
'https://example.com/sports.mp4',
'Identifiez et décrivez toutes les actions athlétiques effectuées dans cette vidéo'
);
Compréhension de Scène Vidéo
import ZAI from 'z-ai-web-dev-sdk';
async function understandVideoScenes(videoUrl) {
const zai = await ZAI.create();
const prompt = `Analysez cette vidéo et fournissez :
1. Résumé général du contenu vidéo
2. Scènes ou segments principaux (avec des horodatages approximatifs si possible)
3. Personnes ou personnages clés et leurs rôles
4. Actions ou événements importants dans l'ordre chronologique
5. Description du cadre et de l'environnement
6. Ambiance ou ton général`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' } // Activer pour une analyse détaillée
});
return response.choices[0]?.message?.content;
}
// Utilisation
const sceneAnalysis = await understandVideoScenes(
'https://example.com/documentary.mp4'
);
Détection de Mouvement et d'Action
import ZAI from 'z-ai-web-dev-sdk';
async function detectActions(videoUrl, specificAction = null) {
const zai = await ZAI.create();
const prompt = specificAction
? `Identifiez toutes les instances de "${specificAction}" dans cette vidéo. Pour chaque instance, décrivez quand elle se produit et fournissez des détails sur la façon dont elle est effectuée.`
: 'Identifiez et décrivez toutes les actions et mouvements significatifs dans cette vidéo. Incluez qui les exécute et quand ils se produisent.';
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
// Utilisation
const runningActions = await detectActions(
'https://example.com/sports.mp4',
'running'
);
const allActions = await detectActions(
'https://example.com/activity.mp4'
);
Extraction de Chronologie d'Événements
import ZAI from 'z-ai-web-dev-sdk';
async function extractTimeline(videoUrl) {
const zai = await ZAI.create();
const prompt = `Créez une chronologie détaillée des événements dans cette vidéo :
- Identifiez les moments clés et les transitions
- Notez le timing approximatif (début, milieu, fin ou horodatages spécifiques si visibles)
- Décrivez ce qui se passe à chaque point clé
- Identifiez les relations de cause à effet entre les événements
Formatez sous forme de liste chronologique.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Classification de Contenu Vidéo
import ZAI from 'z-ai-web-dev-sdk';
async function classifyVideo(videoUrl) {
const zai = await ZAI.create();
const prompt = `Classez ce contenu vidéo :
1. Catégorie principale (par exemple, éducatif, divertissement, sports, actualités, tutoriel)
2. Sous-catégorie ou genre
3. Public cible
4. Style de contenu (professionnel, décontracté, documentaire, etc.)
5. Thèmes ou sujets clés
6. Étiquettes suggérées (10-15 mots-clés)
Formatez votre réponse en JSON structuré.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'disabled' }
});
const content = response.choices[0]?.message?.content;
try {
return JSON.parse(content);
} catch (e) {
return { rawResponse: content };
}
}
Cas d'Utilisation Avancés
Conversation Vidéo Multi-Tours
import ZAI from 'z-ai-web-dev-sdk';
class VideoConversation {
constructor() {
this.messages = [];
}
async initialize() {
this.zai = await ZAI.create();
}
async loadVideo(videoUrl, initialQuestion) {
this.messages.push({
role: 'user',
content: [
{ type: 'text', text: initialQuestion },
{ type: 'video_url', video_url: { url: videoUrl } }
]
});
return this.getResponse();
}
async askFollowUp(question) {
this.messages.push({
role: 'user',
content: [
{ type: 'text', text: question }
]
});
return this.getResponse();
}
async getResponse() {
const response = await this.zai.chat.completions.createVision({
messages: this.messages,
thinking: { type: 'disabled' }
});
const assistantMessage = response.choices[0]?.message?.content;
this.messages.push({
role: 'assistant',
content: assistantMessage
});
return assistantMessage;
}
}
// Utilisation
const conversation = new VideoConversation();
await conversation.initialize();
const initial = await conversation.loadVideo(
'https://example.com/lecture.mp4',
'Quel est le sujet principal de cette conférence ?'
);
const followup1 = await conversation.askFollowUp(
'Pouvez-vous expliquer les concepts clés mentionnés ?'
);
const followup2 = await conversation.askFollowUp(
'Quels exemples ont été utilisés pour illustrer ces concepts ?'
);
Évaluation de la Qualité Vidéo
import ZAI from 'z-ai-web-dev-sdk';
async function assessVideoQuality(videoUrl) {
const zai = await ZAI.create();
const prompt = `Évaluez la qualité de cette vidéo :
1. Qualité visuelle (résolution, clarté, éclairage) - Notez de 1 à 10
2. Qualité audio (si l'audio est présent) - Notez de 1 à 10
3. Travail de la caméra (stabilité, cadrage, composition) - Notez de 1 à 10
4. Valeur de production (montage, transitions, effets) - Notez de 1 à 10
5. Clarté du contenu (le message est-il clair ?) - Notez de 1 à 10
6. Rythme (trop rapide, trop lent, juste comme il faut)
7. Problèmes techniques (artefacts, flou, synchronisation audio, etc.)
8. Note globale - 1 à 10
9. Recommandations spécifiques pour l'amélioration
Fournissez des commentaires détaillés pour chaque critère.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Modération de Contenu Vidéo
import ZAI from 'z-ai-web-dev-sdk';
async function moderateVideo(videoUrl) {
const zai = await ZAI.create();
const prompt = `Examinez cette vidéo pour la modération de contenu :
1. Vérifiez la présence de tout contenu inapproprié ou sensible
2. Identifiez tout problème potentiel de sécurité
3. Notez tout contenu pouvant enfreindre les directives communautaires courantes
4. Évaluez la pertinence par rapport à l'âge
5. Identifiez tout matériel protégé par des droits d'auteur visible (logos, marques, musique)
6. Note de sécurité globale : Sûr / Prudence / Examen requis
Fournissez des exemples spécifiques pour tout problème identifié.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Génération de Transcription Visuelle
import ZAI from 'z-ai-web-dev-sdk';
async function generateVisualTranscript(videoUrl) {
const zai = await ZAI.create();
const prompt = `Générez une transcription visuelle détaillée de cette vidéo :
- Décrivez ce qui se passe dans chaque scène
- Notez tout texte qui apparaît à l'écran
- Décrivez les éléments visuels importants
- Mentionnez tout changement de scène ou transition
- Incluez des descriptions des actions et des expressions des personnes
Formatez sous forme de récit basé sur le temps (par exemple, "Au début...", "Ensuite...", "Enfin...").`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'disabled' }
});
return response.choices[0]?.message?.content;
}
Analyse Vidéo Sportive
import ZAI from 'z-ai-web-dev-sdk';
async function analyzeSportsVideo(videoUrl, sport = null) {
const zai = await ZAI.create();
const prompt = sport
? `Analysez cette vidéo de ${sport} en détail :
1. Identifiez les joueurs et leurs positions
2. Décrivez les actions et stratégies clés
3. Notez les événements de score ou les moments importants
4. Évaluez la performance des joueurs
5. Identifiez les violations de règles ou les fautes
6. Décrivez le rythme et le déroulement du jeu`
: `Analysez cette vidéo sportive :
1. Identifiez le sport pratiqué
2. Décrivez les actions et jeux clés
3. Notez tout score ou événement significatif
4. Décrivez les mouvements des joueurs et les stratégies
5. Évaluation globale du jeu ou du match`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}