Communitygithub.com

Cetc2211/AcTR-app

Implementieren Sie spezialisierte Videoanalyse-Funktionen mit dem z-ai-web-dev-sdk. Verwenden Sie diese Fähigkeit, wenn der Benutzer Videoinhalte analysieren, Bewegungen und zeitliche Abfolgen verstehen, Informationen aus Videobildern extrahieren, Videoszenen beschreiben oder eine KI-gestützte Videoanalyse durchführen muss. Optimiert für MP4, AVI, MOV und andere gängige Videoformate.

Was ist AcTR-app?

Diese Fähigkeit 'Video Understanding' ermöglicht es KI-Agenten, Videoinhalte tiefgehend zu analysieren – von Szenenbeschreibungen über Bewegungs- und Aktionserkennung bis hin zur Extraktion von Ereigniszeitlinien und visuellen Transkripten. Sie basiert auf dem `z-ai-web-dev-sdk`, das ausschließlich im Backend eingesetzt werden darf. Die Fähigkeit unterstützt gängige Videoformate wie MP4, AVI, MOV, WebM, MKV und FLV. Sie bietet sowohl eine einfache CLI-Schnittstelle für schnelle Analysen als auch ein umfangreiches SDK für komplexe, mehrschrittige Workflows, einschließlich Mehrfach-Konversationen über ein Video, Qualitätsbewertung, Content-Moderation und Sportanalyse. Die Implementierung nutzt die `createVision`-Methode des SDKs, um Videodaten zusammen mit textuellen Prompts an das KI-Modell zu senden, und kann optional Chain-of-Thought-Reasoning für detailliertere Ergebnisse aktivieren.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Cetc2211/AcTR-app/tree/HEAD/skills/video-understand

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Fähigkeit: Videoanalyse (Video Understanding)

Diese Fähigkeit bietet spezialisierte Funktionen zur Videoanalyse unter Verwendung des Pakets z-ai-web-dev-sdk und ermöglicht es KI-Modellen, Videoinhalte zu analysieren, zu beschreiben und daraus Informationen zu extrahieren – einschließlich Bewegungen, zeitlicher Abfolgen und Szenenwechsel.

Skills-Pfad

Fähigkeits-Speicherort: {project_path}/skills/video-verstehen

Diese Fähigkeit befindet sich unter dem obigen Pfad in Ihrem Projekt.

Referenzskripte: Beispieltestskripte finden Sie im Verzeichnis {Fähigkeits-Speicherort}/scripts/ für schnelle Tests und als Referenz. Siehe {Fähigkeits-Speicherort}/scripts/video-verstehen.ts für ein funktionierendes Beispiel.

Überblick

Die Videoanalyse konzentriert sich speziell auf die Analyse von Videoinhalten und bietet folgende Möglichkeiten:

  • Szenenverständnis und -beschreibung von Videos
  • Erkennung von Aktionen und Bewegungen
  • Analyse zeitlicher Abfolgen
  • Ereigniserkennung in Videos
  • Zusammenfassung von Videoinhalten
  • Erkennung von Szenenwechseln
  • Personen- und Objektverfolgung über Bildausschnitte hinweg
  • Analyse audiovisueller Inhalte (falls zutreffend)

WICHTIG: Das z-ai-web-dev-sdk DARF NUR im Backend-Code verwendet werden. Verwenden Sie es niemals im clientseitigen Code.

Voraussetzungen

Das Paket z-ai-web-dev-sdk ist bereits installiert. Importieren Sie es wie in den folgenden Beispielen gezeigt.

CLI-Verwendung (für einfache Aufgaben)

Für schnelle Videoanalyseaufgaben können Sie die z-ai-CLI anstelle von Code verwenden. Dies ist ideal für einfache Videobeschreibungen, Tests oder Automatisierung.

Einfache Videoanalyse

# Ein Video von einer URL analysieren
z-ai vision --prompt "Fasse zusammen, was in diesem Video passiert" --image "https://example.com/video.mp4"

# Hinweis: Verwenden Sie das --image-Flag auch für Video-URLs
z-ai vision -p "Beschreibe die wichtigsten Ereignisse" -i "https://example.com/praesentation.mp4"

Lokale Videos analysieren

# Eine lokale Videodatei analysieren
z-ai vision -p "Welche Aktivitäten werden in diesem Video gezeigt?" -i "./aufnahme.mp4"

# Antwort in Datei speichern
z-ai vision -p "Erstelle eine detaillierte Zusammenfassung" -i "./meeting.mp4" -o zusammenfassung.json

Erweiterte Videoanalyse

# Komplexes Szenenverständnis mit Denkprozess (thinking)
z-ai vision \
  -p "Analysiere dieses Video und identifiziere: 1) Hauptereignisse, 2) Personen und ihre Aktionen, 3) Zeitstrahl der wichtigsten Momente" \
  -i "./ereignis.mp4" \
  --thinking \
  -o analyse.json

# Aktionserkennung
z-ai vision \
  -p "Identifiziere alle Aktionen, die von Personen in diesem Video ausgeführt werden" \
  -i "./sport.mp4" \
  --thinking

Streaming-Ausgabe

# Die Videoanalyse streamen
z-ai vision -p "Beschreibe den Inhalt dieses Videos" -i "./video.mp4" --stream

CLI-Parameter

  • --prompt, -p <text>: Erforderlich - Frage oder Anweisung zum Video
  • --image, -i <URL oder Pfad>: Optional - Video-URL oder lokaler Dateipfad (trotz des Namens funktioniert es auch für Videos)
  • --thinking, -t: Optional - Aktiviert schrittweises Denken für komplexe Analysen (standardmäßig deaktiviert)
  • --output, -o <Pfad>: Optional - Ausgabedateipfad (JSON-Format)
  • --stream: Optional - Streamt die Antwort in Echtzeit

Unterstützte Videoformate

  • MP4 (.mp4) - Am weitesten verbreitetes Format
  • AVI (.avi) - Audio Video Interleave
  • MOV (.mov) - QuickTime-Format
  • WebM (.webm) - Web-optimiertes Format
  • MKV (.mkv) - Matroska-Format
  • FLV (.flv) - Flash-Video-Format

Wann CLI vs. SDK verwenden?

CLI verwenden für:

  • Schnelle Videozusammenfassungen
  • Einmalige Videoanalysen
  • Testen der Videoverständnisfähigkeiten
  • Einfache Automatisierungsskripte
  • Erstellen von Videobeschreibungen

SDK verwenden für:

  • Mehrschrittige Konversationen über Videos
  • Komplexe Videoverarbeitungspipelines
  • Produktionsanwendungen mit Fehlerbehandlung
  • Benutzerdefinierte Integration mit Videoverarbeitungslogik
  • Batch-Videoverarbeitung mit benutzerdefinierten Workflows

Empfohlener Ansatz

Für eine bessere Leistung und Zuverlässigkeit bei lokalen Videos sollten Sie Folgendes in Betracht ziehen:

  1. Hochladen von Videos auf ein CDN und Verwenden von URLs
  2. Bei kürzeren Videos Konvertieren von Schlüsselbildern in Bilder für eine schnellere Analyse
  3. Bei langen Videos Aufteilen oder Stichproben in Intervallen

Grundlegende Implementierung der Videoanalyse

Einzelne Videoanalyse

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeVideo(videoUrl, prompt) {
  const zai = await ZAI.create();

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          {
            type: 'text',
            text: prompt
          },
          {
            type: 'video_url',
            video_url: {
              url: videoUrl
            }
          }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

// Anwendungsbeispiele
const summary = await analyzeVideo(
  'https://example.com/praesentation.mp4',
  'Fasse die wichtigsten Punkte dieses Videos zusammen'
);

const actionDetection = await analyzeVideo(
  'https://example.com/sport.mp4',
  'Identifiziere und beschreibe alle sportlichen Aktionen in diesem Video'
);

Videoszenen verstehen

import ZAI from 'z-ai-web-dev-sdk';

async function understandVideoScenes(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Analysiere dieses Video und liefere:
1. Gesamtzusammenfassung des Videoinhalts
2. Hauptszenen oder -abschnitte (mit ungefähren Zeitstempeln, falls möglich)
3. Schlüsselpersonen oder -charaktere und ihre Rollen
4. Wichtige Aktionen oder Ereignisse in chronologischer Reihenfolge
5. Beschreibung der Umgebung und des Settings
6. Gesamtstimmung oder -ton`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' } // Für detaillierte Analyse aktivieren
  });

  return response.choices[0]?.message?.content;
}

// Verwendung
const sceneAnalysis = await understandVideoScenes(
  'https://example.com/dokumentation.mp4'
);

Bewegungs- und Aktionserkennung

import ZAI from 'z-ai-web-dev-sdk';

async function detectActions(videoUrl, specificAction = null) {
  const zai = await ZAI.create();

  const prompt = specificAction
    ? `Identifiziere alle Vorkommen von "${specificAction}" in diesem Video. Beschreibe für jedes Vorkommen, wann es auftritt, und gib Details dazu, wie es ausgeführt wird.`
    : 'Identifiziere und beschreibe alle signifikanten Aktionen und Bewegungen in diesem Video. Gib an, wer sie ausführt und wann sie auftreten.';

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

// Verwendung
const runningActions = await detectActions(
  'https://example.com/sport.mp4',
  'rennen'
);

const allActions = await detectActions(
  'https://example.com/aktivitaet.mp4'
);

Extraktion von Ereigniszeitlinien

import ZAI from 'z-ai-web-dev-sdk';

async function extractTimeline(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Erstelle eine detaillierte Zeitlinie der Ereignisse in diesem Video:
- Identifiziere Schlüsselmomente und Übergänge
- Notiere die ungefähre Zeitangabe (Anfang, Mitte, Ende oder spezifische Zeitstempel, falls sichtbar)
- Beschreibe, was an jedem Schlüsselpunkte passiert
- Identifiziere etwaige Ursache-Wirkungs-Beziehungen zwischen Ereignissen

Formatiere als chronologische Liste.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Klassifizierung von Videoinhalten

import ZAI from 'z-ai-web-dev-sdk';

async function classifyVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Klassifiziere diesen Videoinhalt:
1. Primäre Kategorie (z. B. Bildung, Unterhaltung, Sport, Nachrichten, Tutorial)
2. Unterkategorie oder Genre
3. Zielgruppe
4. Inhaltsstil (professionell, locker, dokumentarisch usw.)
5. Schlüsselthemen oder -inhalte
6. Vorgeschlagene Tags (10-15 Schlüsselwörter)

Formatiere deine Antwort als strukturiertes JSON.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  const content = response.choices[0]?.message?.content;
  
  try {
    return JSON.parse(content);
  } catch (e) {
    return { rawResponse: content };
  }
}

Fortgeschrittene Anwendungsfälle

Mehrschrittige Videokonversation

import ZAI from 'z-ai-web-dev-sdk';

class VideoConversation {
  constructor() {
    this.messages = [];
  }

  async initialize() {
    this.zai = await ZAI.create();
  }

  async loadVideo(videoUrl, initialQuestion) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: initialQuestion },
        { type: 'video_url', video_url: { url: videoUrl } }
      ]
    });

    return this.getResponse();
  }

  async askFollowUp(question) {
    this.messages.push({
      role: 'user',
      content: [
        { type: 'text', text: question }
      ]
    });

    return this.getResponse();
  }

  async getResponse() {
    const response = await this.zai.chat.completions.createVision({
      messages: this.messages,
      thinking: { type: 'disabled' }
    });

    const assistantMessage = response.choices[0]?.message?.content;
    
    this.messages.push({
      role: 'assistant',
      content: assistantMessage
    });

    return assistantMessage;
  }
}

// Verwendung
const conversation = new VideoConversation();
await conversation.initialize();

const initial = await conversation.loadVideo(
  'https://example.com/vorlesung.mp4',
  'Was ist das Hauptthema dieser Vorlesung?'
);

const followup1 = await conversation.askFollowUp(
  'Kannst du die wichtigsten Konzepte erklären?'
);

const followup2 = await conversation.askFollowUp(
  'Welche Beispiele wurden zur Veranschaulichung dieser Konzepte verwendet?'
);

Videoqualitätsbewertung

import ZAI from 'z-ai-web-dev-sdk';

async function assessVideoQuality(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Bewerte die Qualität dieses Videos:
1. Bildqualität (Auflösung, Klarheit, Beleuchtung) - Bewerte 1-10
2. Audioqualität (falls Audio vorhanden) - Bewerte 1-10
3. Kameraführung (Stabilität, Bildausschnitt, Komposition) - Bewerte 1-10
4. Produktionswert (Schnitt, Übergänge, Effekte) - Bewerte 1-10
5. Inhaltsklarheit (ist die Botschaft klar?) - Bewerte 1-10
6. Tempo (zu schnell, zu langsam, genau richtig)
7. Technische Probleme (Artefakte, Unschärfe, Audio-Sync usw.)
8. Gesamtbewertung - 1-10
9. Spezifische Verbesserungsvorschläge

Gib detailliertes Feedback für jedes Kriterium.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Video-Inhaltsmoderation

import ZAI from 'z-ai-web-dev-sdk';

async function moderateVideo(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Überprüfe dieses Video auf Inhaltsmoderation:
1. Prüfe auf unangemessene oder sensible Inhalte
2. Identifiziere mögliche Sicherheitsbedenken
3. Notiere Inhalte, die gegen übliche Community-Richtlinien verstoßen könnten
4. Bewerte die Altersfreigabe
5. Identifiziere sichtbares urheberrechtlich geschütztes Material (Logos, Marken, Musik)
6. Gesamtsicherheitsbewertung: Sicher / Vorsicht / Prüfung erforderlich

Gib konkrete Beispiele für alle festgestellten Bedenken an.`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Erstellung visueller Transkripte

import ZAI from 'z-ai-web-dev-sdk';

async function generateVisualTranscript(videoUrl) {
  const zai = await ZAI.create();

  const prompt = `Erstelle ein detailliertes visuelles Transkript dieses Videos:
- Beschreibe, was in jeder Szene passiert
- Notiere jeglichen Text, der auf dem Bildschirm erscheint
- Beschreibe wichtige visuelle Elemente
- Erwähne Szenenwechsel oder Übergänge
- Füge Beschreibungen der Aktionen und Gesichtsausdrücke der Personen hinzu

Formatiere als zeitbasierte Erzählung (z. B. "Am Anfang...", "Dann...", "Schließlich...").`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'disabled' }
  });

  return response.choices[0]?.message?.content;
}

Sportvideoanalyse

import ZAI from 'z-ai-web-dev-sdk';

async function analyzeSportsVideo(videoUrl, sport = null) {
  const zai = await ZAI.create();

  const prompt = sport
    ? `Analysiere dieses ${sport}-Video im Detail:
1. Identifiziere Spieler und ihre Positionen
2. Beschreibe Schlüsselspielzüge und Strategien
3. Notiere Punktgewinne oder wichtige Momente
4. Bewerte die Spielerleistung
5. Identifiziere Regelverstöße oder Fouls
6. Beschreibe das Tempo und den Spielfluss`
    : `Analysiere dieses Sportvideo:
1. Identifiziere die ausgeübte Sportart
2. Beschreibe die wichtigsten Aktionen und Spielzüge
3. Notiere Punkte oder bedeutende Ereignisse
4. Beschreibe Spielerbewegungen und Strategien
5. Gesamtbewertung des Spiels oder Wettkampfs`;

  const response = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    thinking: { type: 'enabled' }
  });

  return response.choices[0]?.message?.content;
}

Stream-Verarbeitung

import ZAI from 'z-ai-web-dev-sdk';

async function streamVideoAnalysis(videoUrl, prompt) {
  const zai = await ZAI.create();

  const stream = await zai.chat.completions.createVision({
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: prompt },
          { type: 'video_url', video_url: { url: videoUrl } }
        ]
      }
    ],
    stream: true
  });

  let fullResponse = '';
  for await (const chunk of stream) {
    const content = chunk.choices[0]?.delta?.content || '';
    fullResponse += content;
    process.stdout.write(content); // In Echtzeit ausgeben
  }

  return fullResponse;
}

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Cetc2211/AcTR-app

Generate a single-file Chinese atelier-style portfolio website (horizontal-row list + hover-reveal thumb interaction, art lishu typography "Alimama DaoLiTi" via CDN, light/dark theme, hash-routed detail pages). Takes a natural-language description of the studio (name, director, discipline, works) and outputs ONE working .html file. Runs in BOTH Claude Code (writes to ~/Desktop) and GLM / online chat (outputs HTML inline). Trigger phrases include "做个中式工作室作品集", "做个隶书作品集", "lishu-portfolio-gen ...", "做个白屋风格的作品集", or when user drags this skill folder into chat asking for an atelier-style site.

Cetc2211/AcTR-app

Premium calm-tech SaaS landing template — bilingual (CN/EN) literary voice over a dark forest-night palette with warm gold accent, Cormorant + Noto Serif SC, Three.js procedural forest hero, station-based scrolling narrative, custom cursor. Built for ambient-AI / creative-tool / philosophical SaaS, not loud commercial launch.

Cetc2211/AcTR-app

Pro-camera HUD mockup template — full-viewport black canvas wrapping a real video with monospace overlays (corner brackets, top status bar, side AF/exposure columns, bottom timecode + aperture/shutter/ISO row, vertical 8-filter wheel, animated reticle). For cinematographer portfolios, camera-app demos, LUT pack previews, filter-look auditions. NOT a TikTok/Reels mockup, NOT a storyboard, NOT a shot list, NOT a script document. The chrome wraps real footage — never a div placeholder.

Cetc2211/AcTR-app

Premium pre-launch waitlist page template — dark charcoal canvas with subtle vignette, drifting portrait video-thumbnail cards, fade-up cascades, glass nav, live-updating join counter, single email form with success/error states. Built for creative-tool / AI / niche-SaaS invite-only launches with hushed exclusive tone, not loud growth-marketing.

Cetc2211/AcTR-app

Route design-related HTML artifact tasks to the right artifact skill, reference, design system generation, or export skill.

Cetc2211/AcTR-app

Implement text-to-speech (TTS) capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to convert text into natural-sounding speech, create audio content, build voice-enabled applications, or generate spoken audio files. Supports multiple voices, adjustable speed, and various audio formats.

Cetc2211/AcTR-app

Implement AI-powered video generation capabilities using the z-ai-web-dev-sdk. Use this skill when the user needs to generate videos from text prompts or images, create video content programmatically, or build applications that produce video outputs. Supports asynchronous task management with status polling and result retrieval.

Verwandte Skills