Video-Verständnis

Was macht Video-Verständnis?

Erstellen Sie die gemeinsame Evidenzschicht einmal. Behalten Sie Beobachtungen in der Quellzeit und überlassen Sie redaktionelle Entscheidungen den nachgelagerten Skills.

Dieser Skill ist eine Voraussetzung für /video-cut, /video-to-shorts, /video-add-captions, /video-add-content-cards und /video-add-graphic-motion. Führen Sie ihn zuerst aus, damit diese Skills dieselbe validierte Evidenz und Zeitachse verwenden.

Abhängigkeiten

Erfordert ffmpeg/ffprobe, Python und faster-whisper für die Transkription. Überprüfen Sie diese vor der Medienverarbeitung.

Arbeitsablauf

1. Initialisieren Sie ein Projekt aus der Originalquelle:

   python scripts/init_project.py pfad/zu/quelle.mp4 pfad/zu/mein-video-projekt
   

   Dies erstellt input/, review/00-video-understanding/, final/, den minimalen maschinenlesbaren work/-Baum, eine Identitätszeitachse, project.json, Mediadaten und START-HERE.md. Es werden keine Ordner für nicht ausgewählte Bearbeitungsvorgänge erstellt.

2. Untersuchen Sie erneut, nur wenn die Quelle eine explizite Metadatenaktualisierung benötigt:

   python scripts/probe.py input/origianl-video.mp4 work/understand/media.json
   

3. Extrahieren Sie 16 kHz Mono-Audio und transkribieren Sie es:

   ffmpeg -y -i input/original-video.mp4 -ac 1 -ar 16000 work/cache/audio16k.wav
   python scripts/transcribe.py work/cache/audio16k.wav work/understand/transcript medium `
     --lang auto --cache-dir work/cache/faster-whisper
   

   Verwenden Sie --lang auto für unbekannte oder gemischte Sprache. Leiten Sie die gesprochene Sprache niemals aus der Sprache der Benutzereingabe ab. Geben Sie eine feste Sprache wie --lang zh nur an, wenn das Audio selbst oder explizite Benutzermetadaten dies bestätigen. Behalten Sie Modell-Downloads im projektspezifischen work/cache/faster-whisper/-Cache. Faster-whisper kann gelegentlich ein punktuelles Wort mit gleichen Start-/Endwerten ausgeben; der gemeinsame Zeitachsen-Mapper erhält es als 1 ms-Intervall, sodass Untertitel und abgeleitete Elemente keinen Text verlieren.

4. Generieren Sie objektive Metriken und semantische Kandidaten:

   python scripts/analyze.py work/understand/transcript.json work/understand/analysis.json
   

5. Lesen Sie die Quelle, das Transkript und die Analyse. Erstellen Sie work/understand/understanding.json mit faktischen Zusammenfassungen, Quellzeitbereichen, Konfidenz und Transkriptbelegen. Verschreiben Sie keine Schnitte, Karten oder Darstellungen.

6. Validieren Sie vor der Verwendung durch nachgelagerte Skills:

   python scripts/validate.py understanding work/understand/understanding.json work/understand/transcript.json
   

7. Erstellen Sie nur diese nützlichen Überprüfungsartefakte unter review/00-video-understanding/: video-summary.md, transcript.srt und contact-sheet.jpg. Überprüfen Sie Metadaten, Zeitstempel, Beweisreferenzen und sichtbare Frames. Ersetzen Sie keine PNG- oder Ad-hoc-Dateinamen durch die Protokollnamen.

8. Markieren Sie den check.status des Verständnisvorgangs als pass erst, nachdem die Überprüfungsartefakte und der semantische Beweis validiert wurden. Der Vorgangslebenszyklus status und das Prüfergebnis sind getrennt; schreiben Sie niemals verified in check.status.

Verträge

• Lesen Sie project-schema.md beim Erstellen oder Validieren von project.json.
• Lesen Sie timeline-schema.md beim Zuordnen von Quell- und Programmzeit.
• Lesen Sie understanding-schema.md vor dem Erstellen semantischen Verständnisses.
• Verwenden Sie understanding.example.json als kompaktes Beispiel.

Alle dauerhaften maschinenlesbaren Dateien befinden sich in work/understand/. Behandeln Sie work/cache/ als löschbar.