Skill für Videoverständnis
Dieses Skill bietet spezialisierte Videoverständnisfunktionen mithilfe des z-ai-web-dev-sdk-Pakets und ermöglicht es KI-Modellen, Videoinhalte zu analysieren, zu beschreiben und Informationen daraus zu extrahieren, einschließlich Bewegung, zeitlicher Abläufe und Szenenwechsel.
Skills-Pfad
Skill-Speicherort: {project_path}/skills/video-understand
Dieses Skill befindet sich unter oben genanntem Pfad in Ihrem Projekt.
Referenzskripte: Beispiel-Testskripte sind im Verzeichnis {Skill Location}/scripts/ für schnelle Tests und als Referenz verfügbar. Siehe {Skill Location}/scripts/video-understand.ts für ein funktionierendes Beispiel.
Übersicht
Video Understanding konzentriert sich speziell auf die Analyse von Videoinhalten und bietet Fähigkeiten für:
- Verständnis und Beschreibung von Videoszenen
- Erkennung von Aktionen und Bewegungen
- Analyse zeitlicher Abläufe
- Ereigniserkennung in Videos
- Zusammenfassung von Videoinhalten
- Erkennung von Szenenwechseln
- Verfolgung von Personen und Objekten über Frames hinweg
- Analyse audiovisueller Inhalte (sofern zutreffend)
WICHTIG: z-ai-web-dev-sdk DARF NUR im Backend-Code verwendet werden. Nicht im clientseitigen Code verwenden.
Voraussetzungen
Das z-ai-web-dev-sdk-Paket ist bereits installiert. Importieren Sie es wie in den folgenden Beispielen gezeigt.
CLI-Nutzung (für einfache Aufgaben)
Für schnelle Videoanalyseaufgaben können Sie die z-ai-CLI anstelle von Code verwenden. Dies ist ideal für einfache Videobeschreibungen, Tests oder Automatisierung.
Grundlegende Videoanalyse
# Ein Video von einer URL analysieren
z-ai vision --prompt "Fasse zusammen, was in diesem Video passiert" --image "https://example.com/video.mp4"
# Hinweis: Verwenden Sie den --image-Flag auch für Video-URLs
z-ai vision -p "Beschreibe die wichtigsten Ereignisse" -i "https://example.com/presentation.mp4"
Lokale Videos analysieren
# Eine lokale Videodatei analysieren
z-ai vision -p "Welche Aktivitäten werden in diesem Video gezeigt?" -i "./recording.mp4"
# Antwort in Datei speichern
z-ai vision -p "Erstelle eine detaillierte Zusammenfassung" -i "./meeting.mp4" -o summary.json
Erweiterte Videoanalyse
# Komplexes Szenenverständnis mit Denkprozess
z-ai vision \
-p "Analysiere dieses Video und identifiziere: 1) Hauptereignisse, 2) Personen und ihre Aktionen, 3) Zeitleiste der Schlüsselmomente" \
-i "./event.mp4" \
--thinking \
-o analysis.json
# Aktionserkennung
z-ai vision \
-p "Identifiziere alle Aktionen, die von Personen in diesem Video ausgeführt werden" \
-i "./sports.mp4" \
--thinking
Streaming-Ausgabe
# Die Videoanalyse streamen
z-ai vision -p "Beschreibe diesen Videoinhalt" -i "./video.mp4" --stream
CLI-Parameter
--prompt, -p <text>: Erforderlich - Frage oder Anweisung zum Video--image, -i <URL oder Pfad>: Optional - Video-URL oder lokaler Dateipfad (trotz des Namens funktioniert es auch für Videos)--thinking, -t: Optional - Aktiviert schrittweises Denken für komplexe Analysen (Standard: deaktiviert)--output, -o <Pfad>: Optional - Ausgabedateipfad (JSON-Format)--stream: Optional - Streamt die Antwort in Echtzeit
Unterstützte Videoformate
- MP4 (.mp4) - Am weitesten unterstütztes Format
- AVI (.avi) - Audio Video Interleave
- MOV (.mov) - QuickTime-Format
- WebM (.webm) - Weboptimiertes Format
- MKV (.mkv) - Matroska-Format
- FLV (.flv) - Flash-Video-Format
Wann CLI vs. SDK verwenden
CLI verwenden für:
- Schnelle Videozusammenfassungen
- Einmalige Videoanalysen
- Testen der Videoverständnisfähigkeiten
- Einfache Automatisierungsskripte
- Generieren von Videobeschreibungen
SDK verwenden für:
- Mehrschrittige Unterhaltungen über Videos
- Komplexe Videoverarbeitungspipelines
- Produktionsanwendungen mit Fehlerbehandlung
- Benutzerdefinierte Integration mit Videoverarbeitungslogik
- Batch-Videoverarbeitung mit benutzerdefinierten Workflows
Empfohlener Ansatz
Für eine bessere Leistung und Zuverlässigkeit bei lokalen Videos sollten Sie Folgendes in Betracht ziehen:
- Videos auf ein CDN hochladen und URLs verwenden
- Bei kürzeren Videos Schlüsselbilder zur schnelleren Analyse in Bilder konvertieren
- Bei langen Videos eine Aufteilung oder Abtastung in Intervallen in Betracht ziehen
Grundlegende Implementierung des Videoverständnisses
Einzel-Videoanalyse
import ZAI from 'z-ai-web-dev-sdk';
async function analyzeVideo(videoUrl, prompt) {
const zai = await ZAI.create();
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{
type: 'text',
text: prompt
},
{
type: 'video_url',
video_url: {
url: videoUrl
}
}
]
}
],
thinking: { type: 'disabled' }
});
return response.choices[0]?.message?.content;
}
// Anwendungsbeispiele
const summary = await analyzeVideo(
'https://example.com/presentation.mp4',
'Fasse die wichtigsten Punkte zusammen, die in diesem Video präsentiert werden'
);
const actionDetection = await analyzeVideo(
'https://example.com/sports.mp4',
'Identifiziere und beschreibe alle sportlichen Aktionen, die in diesem Video ausgeführt werden'
);
Videoszenen verstehen
import ZAI from 'z-ai-web-dev-sdk';
async function understandVideoScenes(videoUrl) {
const zai = await ZAI.create();
const prompt = `Analysiere dieses Video und gib:
1. Eine allgemeine Zusammenfassung des Videoinhalts
2. Die Hauptszenen oder -segmente (mit ungefähren Zeitstempeln, falls möglich)
3. Die wichtigsten Personen oder Charaktere und ihre Rollen
4. Wichtige Aktionen oder Ereignisse in chronologischer Reihenfolge
5. Beschreibung des Schauplatzes und der Umgebung
6. Die allgemeine Stimmung oder den Ton`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' } // Für detaillierte Analyse aktivieren
});
return response.choices[0]?.message?.content;
}
// Verwendung
const sceneAnalysis = await understandVideoScenes(
'https://example.com/documentary.mp4'
);
Bewegungs- und Aktionserkennung
import ZAI from 'z-ai-web-dev-sdk';
async function detectActions(videoUrl, specificAction = null) {
const zai = await ZAI.create();
const prompt = specificAction
? `Identifiziere alle Vorkommen von "${specificAction}" in diesem Video. Beschreibe für jedes Vorkommen, wann es auftritt, und gib Details darüber, wie es ausgeführt wird.`
: 'Identifiziere und beschreibe alle bedeutenden Aktionen und Bewegungen in diesem Video. Gib an, wer sie ausführt und wann sie auftreten.';
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
// Verwendung
const runningActions = await detectActions(
'https://example.com/sports.mp4',
'rennen'
);
const allActions = await detectActions(
'https://example.com/activity.mp4'
);
Ereignis-Zeitleisten-Extraktion
import ZAI from 'z-ai-web-dev-sdk';
async function extractTimeline(videoUrl) {
const zai = await ZAI.create();
const prompt = `Erstelle eine detaillierte Zeitleiste der Ereignisse in diesem Video:
- Identifiziere Schlüsselmomente und Übergänge
- Notiere die ungefähre Zeit (Anfang, Mitte, Ende oder spezifische Zeitstempel, falls sichtbar)
- Beschreibe, was an jedem Schlüsselpunkt passiert
- Identifiziere Ursache-Wirkungs-Beziehungen zwischen Ereignissen
Formatiere als chronologische Liste.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Videoinhaltsklassifizierung
import ZAI from 'z-ai-web-dev-sdk';
async function classifyVideo(videoUrl) {
const zai = await ZAI.create();
const prompt = `Klassifiziere diesen Videoinhalt:
1. Primäre Kategorie (z.B. lehrreich, Unterhaltung, Sport, Nachrichten, Tutorial)
2. Unterkategorie oder Genre
3. Zielgruppe
4. Inhaltsstil (professionell, lässig, dokumentarisch, etc.)
5. Hauptthemen oder -schwerpunkte
6. Vorgeschlagene Tags (10-15 Schlüsselwörter)
Formatiere deine Antwort als strukturiertes JSON.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'disabled' }
});
const content = response.choices[0]?.message?.content;
try {
return JSON.parse(content);
} catch (e) {
return { rawResponse: content };
}
}
Erweiterte Anwendungsfälle
Mehrschrittiges Videogespräch
import ZAI from 'z-ai-web-dev-sdk';
class VideoConversation {
constructor() {
this.messages = [];
}
async initialize() {
this.zai = await ZAI.create();
}
async loadVideo(videoUrl, initialQuestion) {
this.messages.push({
role: 'user',
content: [
{ type: 'text', text: initialQuestion },
{ type: 'video_url', video_url: { url: videoUrl } }
]
});
return this.getResponse();
}
async askFollowUp(question) {
this.messages.push({
role: 'user',
content: [
{ type: 'text', text: question }
]
});
return this.getResponse();
}
async getResponse() {
const response = await this.zai.chat.completions.createVision({
messages: this.messages,
thinking: { type: 'disabled' }
});
const assistantMessage = response.choices[0]?.message?.content;
this.messages.push({
role: 'assistant',
content: assistantMessage
});
return assistantMessage;
}
}
// Verwendung
const conversation = new VideoConversation();
await conversation.initialize();
const initial = await conversation.loadVideo(
'https://example.com/lecture.mp4',
'Was ist das Hauptthema dieser Vorlesung?'
);
const followup1 = await conversation.askFollowUp(
'Kannst du die wichtigsten genannten Konzepte erklären?'
);
const followup2 = await conversation.askFollowUp(
'Welche Beispiele wurden verwendet, um diese Konzepte zu veranschaulichen?'
);
Videoqualitätsbewertung
import ZAI from 'z-ai-web-dev-sdk';
async function assessVideoQuality(videoUrl) {
const zai = await ZAI.create();
const prompt = `Bewerte die Qualität dieses Videos:
1. Bildqualität (Auflösung, Klarheit, Beleuchtung) - Bewertung 1-10
2. Audioqualität (falls Audio vorhanden) - Bewertung 1-10
3. Kameraführung (Stabilität, Bildausschnitt, Komposition) - Bewertung 1-10
4. Produktionswert (Schnitt, Übergänge, Effekte) - Bewertung 1-10
5. Inhaltsklarheit (Ist die Botschaft klar?) - Bewertung 1-10
6. Tempo (zu schnell, zu langsam, genau richtig)
7. Technische Probleme (Artefakte, Unschärfe, Audio-Sync, etc.)
8. Gesamtbewertung - 1-10
9. Spezifische Verbesserungsvorschläge
Gib detailliertes Feedback zu jedem Kriterium.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Videoinhaltsmoderation
import ZAI from 'z-ai-web-dev-sdk';
async function moderateVideo(videoUrl) {
const zai = await ZAI.create();
const prompt = `Überprüfe dieses Video auf Inhaltsmoderation:
1. Prüfe auf unangemessene oder sensible Inhalte
2. Identifiziere mögliche Sicherheitsbedenken
3. Notiere Inhalte, die gegen allgemeine Community-Richtlinien verstoßen könnten
4. Bewerte die Alterseignung
5. Identifiziere sichtbares urheberrechtlich geschütztes Material (Logos, Marken, Musik)
6. Gesamtsicherheitsbewertung: Sicher / Vorsicht / Überprüfung erforderlich
Gib konkrete Beispiele für alle identifizierten Bedenken.`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}
Videotranskript-Generierung (visuelle Beschreibung)
import ZAI from 'z-ai-web-dev-sdk';
async function generateVisualTranscript(videoUrl) {
const zai = await ZAI.create();
const prompt = `Erstelle ein detailliertes visuelles Transkript dieses Videos:
- Beschreibe, was in jeder Szene passiert
- Notiere jeglichen Text, der auf dem Bildschirm erscheint
- Beschreibe wichtige visuelle Elemente
- Erwähne Szenenwechsel oder Übergänge
- Füge Beschreibungen der Aktionen und Ausdrücke von Personen hinzu
Formatiere als zeitbasierte Erzählung (z.B. "Am Anfang...", "Dann...", "Schließlich...").`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'disabled' }
});
return response.choices[0]?.message?.content;
}
Sportvideoanalyse
import ZAI from 'z-ai-web-dev-sdk';
async function analyzeSportsVideo(videoUrl, sport = null) {
const zai = await ZAI.create();
const prompt = sport
? `Analysiere dieses ${sport}-Video im Detail:
1. Identifiziere Spieler und ihre Positionen
2. Beschreibe wichtige Spielzüge und Strategien
3. Notiere Torereignisse oder wichtige Momente
4. Bewerte die Spielerleistung
5. Identifiziere Regelverstöße oder Fouls
6. Beschreibe das Tempo und den Spielfluss`
: `Analysiere dieses Sportvideo:
1. Identifiziere die ausgeübte Sportart
2. Beschreibe die wichtigsten Aktionen und Spielzüge
3. Notiere Tore oder bedeutende Ereignisse
4. Beschreibe Spielerbewegungen und -strategien
5. Gesamtbewertung des Spiels oder Matches`;
const response = await zai.chat.completions.createVision({
messages: [
{
role: 'user',
content: [
{ type: 'text', text: prompt },
{ type: 'video_url', video_url: { url: videoUrl } }
]
}
],
thinking: { type: 'enabled' }
});
return response.choices[0]?.message?.content;
}