video-analysis
Wandelt ein Video in das um, was ein Modell lesen kann: eine numerische Messung jedes Einzelbildes, zeitgestempelte Kontaktbögen, ein Transkript, eine Audio-Zeitleiste und Spektrogramm-Bilder, gefolgt von einer daraus erstellten Aufschlüsselung. Es ist ein Workflow über das Analysetool, nicht das Tool selbst (das private Skript des Besitzers wird nicht mitgeliefert; der Port für Studierende folgt TOOLS_SPEC). Es bearbeitet, rendert oder wendet niemals einen Stil an.
Regeln, die über dem Rest dieser Datei stehen
- Eingaben sind schreibgeschützt. Vor und nachher wird ein Hash erstellt (
input.sha256=sha256_after); Ausgaben gehen nur unteranalysis/<video>/. Lade nur die vom Benutzer angegebene URL herunter, benenne Quelle und Datei; es ist eine Referenzkopie, die nie weiterverteilt wird; ein Plattform-Wasserzeichen, Endcard und Jingle werden von Statistiken ausgeschlossen und aufgelistet. - Der Deckungsgrad wird zuerst genannt. Jeder Bericht beginnt mit einem Deckungsblock: vollständig vs. Stichprobe, dekodierte Einzelbilder von erwarteten, was ausgeschlossen wurde, was NICHT ausgeführt wurde. Eine Stichprobe wird niemals als vollständige Abdeckung dargestellt. Ein Durchlauf mit Stichproben darf keine Schnittanzahlen oder Rhythmusangaben als gemessene Tatsache zitieren.
- Führe das Tool aus; nimm niemals mit ffmpeg eine manuelle Stichprobe. Wenn das Tool fehlt, gib
blocked: tool_missingan und frage nach; ein manueller Fallback ist nur als explizit gekennzeichnetersampled-Durchlauf ohne Zählungen erlaubt. - Lies, bevor du schreibst: Sieh dir JEDES Blatt und JEDES Audiobild an; zoome 3- bis 6-mal; entscheide über jeden
check-Schnittpunkt anhand der Einzelbilder; korrigiere falsche Zählungen und gib dies an. - Lokal, kostenlos, privat. Keine kostenpflichtige Videoanalyse-API, kein Hochladen des Videos, seiner Einzelbilder oder seines Tons, keine Song-Identifikation aus der Ferne für
privateMaterialien, ohne einen datierten Kostenvoranschlag und vorherige Genehmigung (paid-generation-gate). Hebräische Sprache wird aufheerzwungen; vertraue niemals einem einzigen ASR-Durchlauf bei Namen, Marken und Zahlen. - Eine Song-Übereinstimmung ist keine Lizenz. Melde „identifiziert als X, Synchronisationserlaubnis nicht bestätigt“ oder „nicht identifiziert“; erfinde niemals einen Titel. AudioSet-ähnliche Labels sind Schätzungen („wahrscheinlich ein Whoosh“); Tempo und Tonart sind Schätzungen mit halber/doppelter Geschwindigkeit, die überprüft werden.
- Nur eine schwere Aufgabe gleichzeitig unter
render_lock; alles über etwa 2 Minuten läuft im Hintergrund mit einem Log und einer ETA; keine Laufzeitgarantie (Batch des Besitzers: 9–23 Min pro Video unter Last, maschinenabhängig). Skills sind Workflow, keine Erlaubnis: Benutzer- und Projekteinschränkungen überschreiben diese Datei.
Tool-Schnittstelle, die dieser Skill erwartet (TOOLS_SPEC video-analysis; überprüfen mit --help)
python tools/analyze.py <video|URL|folder> --out analysis/<video> [--detail quick|standard|full]
[--asr auto|always|never] [--no-song-id] [--no-audio-ai] [--check]
python tools/frames.py <video> --at <t> --pad 0.25 --out analysis/<video> # jedes Einzelbild eines kurzen Fensters
Ausgabevertrag (references/output-contract.md): analysis/<video>/{measurements.json, frames.csv, sheets/ (index.json + images), transcript.json, audio.json} + breakdown.md.
Workflow
| # | Schritt | Artefakt |
|---|---|---|
| 0 | Frage nur, was den Durchlauf ändert: ganze Analyse oder eine einzelne Frage (Schnitte / Transkript / Song)? Vertrauliches Material (private)? Welche Sprache für die Analyse? Bei einem Ordner: liste ihn zuerst auf; überschreibe niemals eine frühere Analyse | scope line |
| 1 | Preflight (analyze --check / doctor): Erfasse OS, ffmpeg, erkannte ASR-Route (CPU / Vulkan / CUDA / MLX; none bei Nicht-Erkennung), das Vulkan-Umgebungsflag; keine Route = blocked nur für das Transkript | environment-Block |
| 2 | Führe im Hintergrund unter dem Lock aus. --detail: quick für Korpus/lange Vorträge, standard als Standard, full für Bewegtgrafiken, sehr schnelle Schnitte oder eine Referenz zum Übertragen (references/thresholds.md). Mehrere Videos: ein Batch, dann ein Agent pro Video (nur sein Ordner, breakdown.md als Ausgabe, Frist, Antwort <= 10 Zeilen) | Analyse-Ordner |
| 3 | python scripts/validate_analysis.py analysis/<video> --stage produced | PASS oder die fehlschlagenden Komponenten |
| 4 | Lies: alle Blätter, alle Audiobilder; zoome nur bei auffälligen Geräten; löse check-Punkte auf; korrigiere die Zählung (pacing.override + review.corrections); überprüfe Tempo halb/doppelt | review-Block |
| 5 | python scripts/validate_analysis.py analysis/<video> --video <source>; exit 0 erforderlich, um Zahlen als Fakten darzustellen | Validierungsbericht |
| 6 | Schreibe breakdown.md in der Sprache des Benutzers gemäß references/reading-and-breakdown.md (zuerst Deckungsgrad, 7 Abschnitte, Unsicherheiten zuletzt) | breakdown.md |
| 7 | Melde: Dateipfad, 5–10 Zeilen, die Korrekturen, was nicht festgestellt werden konnte; biete den nächsten Skill (reference-style-transfer, ein type skill) an, anstatt ihn auszuführen | Nachricht |
Gates
Zustände sind pass | fail | blocked | n/a mit einem Grund. Ein Timeout, eine leere Stichprobe oder eine fehlende Eingabe ist blocked, niemals pass. Ein erfolgreicher Tool-Aufruf ist Ausführungsnachweis; eingesehene Blätter sind Erscheinungsnachweis.
| Gate | Prädikat | Nachweis | Wenn falsch | Verantwortlich | Erneute Prüfung wenn |
|---|---|---|---|---|---|
| G1 Maschinenprofil | ASR-Route erkannt und aufgezeichnet; Vulkan-Route zeichnet GGML_VK_DISABLE_COOPMAT auf (Besitzers AMD-Treiber benötigt =1; andere Treiber ungetestet) | measurements.environment von doctor/--check | Falle auf die CPU-Route zurück und sage es; nimm niemals eine GPU an | dieser Skill + doctor | neue Maschine, Treiber oder Modell |
| G2 Vertrag gültig | alle fünf Komponenten bestehen oder sind n/a mit Grund | validate_analysis.py exit 0 (--video angegeben) | repariere oder führe die Komponente erneut aus; melde INSUFFICIENT mit dem fehlenden Teil | validate_analysis.py | jeder erneute Durchlauf oder manuelle Bearbeitung |
| G3 Deckungsangabe | Bericht beginnt mit Modus, dekodierte/erwartete Einzelbilder, Ausschlüsse, nicht ausgeführte Liste, claims_not_allowed | erster Block von breakdown.md | füge es hinzu; stufe Behauptungen auf „Stichprobe“ herab | dieser Skill | jeder Bericht |
| G4 Schnitterkennungs-Regression | jede Änderung eines Detektor-Schwellwerts behält F1 >= Basislinie des gelabelten Satzes (historisch 0,89 des Besitzers = P 0,87 / R 0,91 bei 20 handgeprüften Anzeigen, 339 Schnittpunkte, privat, nicht reproduziert; bekannte Schwachstelle: kinetische Typografie und Stücke mit durchgehender Kamera) | cut_regression.py --pair ... --min-f1 0.89 exit 0 mit >= 100 Wahrheitspunkten | mache die Schwellwertänderung rückgängig | cut_regression.py | jede Detektoränderung; niemals nach Augenmaß |
| G5 Eingaben unberührt | Quell-Hash vorher und nachher identisch | validate_analysis.py --video | stelle die Datei aus dem Original wieder her, führe erneut aus | validate_analysis.py | jeder Durchlauf |
| G6 Lies vor dem Schreiben | jedes Keyframe/Übersichtsblatt und Audiobild angesehen; jeder check-Punkt aufgelöst; Zählungen anhand der Einzelbilder verifiziert | review-Block vollständig (Phase reviewed) | gehe zurück und sieh sie an | dieser Skill | jede Analyse |
| G7 Datenschutz und Rechte | private Eingabe: keine Song-Identifikation aus der Ferne, keine Cloud-ASR, kein Frame-Upload; Übereinstimmung = keine Lizenz | song_id.status, asr.route | lösche das Auszug-Log, führe lokal erneut aus | dieser Skill | jeder Durchlauf |
Zahlen und Grenzen, die mit ihrem Gültigkeitsbereich zu zitieren sind
- Schnitterkennung: nur die Abstimmung des Besitzers (G4); die automatische Schnittanzahl war bei etwa 60 % der Anzeigen-Promovideos falsch, bis sie anhand der Einzelbilder verifiziert wurde; ein Beispiel mit kinetischer Typografie ergab automatisch 108 Schnitte/Minute gegenüber 42 aus den Bögen.
- ASR (Maschine des Besitzers, E08, ein Durchlauf, gelesene Sprache): Vulkan 5,82 Audio-Sekunden pro Wand-Sekunde, CPU CT2 int8 0,84, WER 17,7–19,4 %:
references/volatile-facts.md(datiert; läuft am 31.12.2026 ab). - Audioanalyse läuft nur echt: Beats/BPM/Tonart benötigen >= 3 s Musik; gesungener Gesang benötigt den No-VAD-Lyrics-Durchlauf (nur sichere Segmente, markiert als „SUNG LYRICS“).
Referenzen (laden bei)
references/output-contract.md– Schreiben, Portieren oder Debuggen einer Ausgabedatei; Lesen eines Validierungsberichts.references/thresholds.md– Abstimmung oder Portierung des Detektors, Wahl von--detail, Erklären einer falschen Zählung.references/reading-and-breakdown.md– vor dem Lesen von Bögen und vor dem Schreiben der Analyse.references/volatile-facts.md– vor dem Zitieren einer Geschwindigkeit, WER, Preis, Lizenz oder Tool-Fakt (datiertes Modul).agent-content/references/asr-routes.md(kanonische ASR-Routen, Eigentum anderweitig) undhebrew-captions-asr(Untertitel-qualität Transkripte);reference-style-transferkonsumiert die Ordner dieses Skills.- Skripte:
scripts/validate_analysis.py(Vertragsprüfung,--self-check),scripts/cut_regression.py(F1-Gate,--self-check); beide schlagen standardmäßig fehl (exit 0 / 1 / 2).