/daniel-video-annotate
Eingabe: eine Videodatei sowie Angaben, warum jeder Schritt ausgeführt wird (ein Ticket, ein Merge-Request, die Nachricht des Benutzers). Ausgabe, neben der Eingabe: <name>-trimmed.mp4 und <name>-explained.mp4. Die Eingabedatei wird nie verändert.
Das erklärte Video spielt die Aufnahme ab und hält bei jeder Pause den Frame für die Haltezeit, dimmt den Bildschirm um ein eingerahmtes Steuerelement und zeigt einen einzeiligen Text in einem schwarzen Balken unter oder über der Aufnahme an. Der Balken macht das Video höher, sodass die Aufnahme nie überdeckt wird.
annotate.py befindet sich neben dieser Datei. In den folgenden Befehlen steht A für python3 "${CLAUDE_CONFIG_DIR:-$HOME/.claude}/skills/daniel-video-annotate/annotate.py". Es benötigt nur ffmpeg, ffprobe und die Python-Standardbibliothek. <work> ist ein Arbeitsordner: das Sitzungs-Scratchpad, falls vorhanden, sonst ${TMPDIR:-/tmp}/video-annotate/<name>/.
Wenn das Video auf der Entwicklungs-VM liegt, kopieren Sie es zuerst mit dvm get <remote path> <local dir> herunter.
0. Lesegeschwindigkeit wählen
Die Haltezeit gibt an, wie lange jeder Text auf dem Bildschirm lesbar bleibt. Jede Pause hält 1,5 s plus die Zeit, um den Text bei der angegebenen Lesegeschwindigkeit zu lesen, mindestens jedoch 2,5 s. Verwenden Sie die vom Benutzer angegebene Geschwindigkeit in Wörtern pro Minute, sonst 350 Wörter pro Minute. Fragen Sie nicht nach. Wenn der Benutzer eine feste Haltezeit in Sekunden angegeben hat, verwenden Sie diese für jede Pause.
Abgeschlossen, wenn Sie eine Lesegeschwindigkeit oder eine feste Haltezeit haben.
1. Standzeiten herausschneiden
A trim <video> <name>-trimmed.mp4
Es findet jeden Abschnitt, in dem das Bild 1,5 s oder länger stillsteht, behält die erste Sekunde jedes Abschnitts und schneidet den Rest heraus. Es gibt die Anzahl der Abschnitte sowie die Dauer vor und nach dem Schnitt aus. Überspringen Sie diesen Schritt, wenn der Benutzer die Standzeiten behalten möchte, und verwenden Sie das Original als <trimmed> unten.
Jede Zeitangabe in den späteren Schritten bezieht sich auf <trimmed>. Ein erneutes Trimmen verschiebt alle Zeitangaben, daher wiederholen Sie die Schritte 2 bis 6 nach jedem neuen Trimmen.
2. Den Ablauf verstehen
A sheets <trimmed> <work>/sheets
Es erstellt Kontaktabzüge mit je sechs Bildern, ein Bild pro Sekunde, wobei die exakte Zeit in jedes Bild eingebrannt ist. Lesen Sie jeden Kontaktabzug. Lesen Sie das Ticket oder eine andere Quelle für den Grund jedes Schrittes.
Abgeschlossen, wenn Sie der Reihe nach sagen können, was die Person auf dem Bildschirm tut, welchen Wert jede Aktion setzt und welches Ergebnis den Zweck der Aufnahme belegt.
3. Pausen wählen
Pausieren Sie einmal für jede Entscheidung (ein ausgewählter Wert, ein gedrückter Button, eine absichtlich geöffnete Seite) und einmal für jedes Ergebnis, das den Zweck belegt. Überspringen Sie Navigation, die keine Entscheidung beinhaltet.
Finden Sie für jede Pause den Frame und den Rahmen:
A frames <trimmed> <work>/frames 23.0 23.2 23.4 23.6
Es schreibt ein PNG in voller Größe pro Zeitangabe, benannt nach der exakten Zeit, mit einem roten Gitter alle 100 px und den Pixelkoordinaten an der oberen und linken Kante.
- Wählen Sie einen stabilen Frame. Aufnahmen enthalten halb gerenderte Frames, z. B. ein Panel, das nach einem Klick für einige Frames leer ist. Gehen Sie in 0,2-s-Schritten vor, bis das Steuerelement und seine Umgebung vollständig dargestellt sind.
- Wählen Sie bei einer Auswahl aus einer Liste den Frame, in dem die Liste geöffnet und der Cursor auf der Option ist. Wenn dieser Frame halb gerendert ist, verwenden Sie den Frame direkt danach, in dem das Feld den neuen Wert anzeigt.
- Lesen Sie den Rahmen als
[x, y, Breite, Höhe]aus den Gitterbeschriftungen, in Quell-Pixeln. Das Read-Tool verkleinert große Bilder, daher sind anhand des angezeigten Bildes gemessene Positionen falsch; die Beschriftungen bleiben korrekt. - Rahmen Sie das einzelne Steuerelement ein, über das der Text spricht, mit ein paar Pixeln Rand. Eine Pause kann
boxauslassen, dann wird nichts abgedunkelt.
Abgeschlossen, wenn jede Pause einen Frame hat, den Sie angesehen haben, und einen Rahmen, der aus diesem Frame ausgelesen wurde.
4. Bildunterschriften schreiben
Ein Satz pro Pause. Er sagt, was wir tun und warum, oder was der Bildschirm jetzt zeigt und warum. Nennen Sie das konkrete Objekt: die Zeile, das Feld, den alten und den neuen Wert.
Nehmen Sie das "Warum" aus der Quelle. Wenn die Quelle den Grund für einen Schritt nicht angibt, schreiben Sie, was sichtbar ist, und listen Sie diese Bildunterschrift im Bericht als abgeleitet auf. Wenden Sie den Skill writing-tics auf die Bildunterschriften an. Halten Sie jede unter etwa 180 Zeichen, da der Balken so hoch ist wie die längste Bildunterschrift.
5. Rendern
Schreiben Sie <work>/spec.json, eine Liste in zeitlicher Reihenfolge:
[
{"at": 12.0, "box": [399, 569, 180, 29], "caption": "Wir ändern die Größe von Artikel 1 von M auf L in der Tabelle, was L an den Server sendet."},
{"at": 23.6, "box": [659, 500, 192, 24], "caption": "..."}
]
at ist die Zeit in Sekunden in <trimmed>. Setzen Sie dann hold für jede Pause:
A holds <work>/spec.json [--wpm <Geschwindigkeit>]
Es schreibt die Haltezeit jeder Pause in die Spezifikation und gibt sie neben der Wortanzahl aus. Bei einer festen Haltezeit setzen Sie hold selbst für jede Pause. Eine Pause ohne hold hält 6 Sekunden.
A annotate <trimmed> <work>/spec.json <name>-explained.mp4 [--position top|bottom] [--clearance <Zeilen>]
Der Textbalken erscheint dort, wo der Benutzer es wünscht. Ohne Angabe erscheint er unten.
--position bottomist die Voreinstellung. Videoplayer zeichnen ihre Steuerelemente über die Unterkante, daher erhält der Balken einen leeren Raum unter dem Text:--clearanceZeilen davon, standardmäßig 3, was die Steuerelemente eines kleinen eingebetteten Players freihält.--position topplatziert den Balken über der Aufnahme, wo kein Player Steuerelemente zeichnet. Es wird kein Freiraum benötigt.
Die Rahmen bleiben in den Koordinaten von <trimmed> für beide Positionen.
6. Jede Pause prüfen
A check <name>-explained.mp4 <work>/spec.json <work>/check
Es schreibt einen Frame aus der Mitte jeder Pause. Lesen Sie jeden einzelnen. Der Rahmen muss auf dem Steuerelement sitzen, der Text muss vollständig und nicht am rechten Rand abgeschnitten sein, und der Frame muss der von Ihnen gewählte stabile Frame sein. Korrigieren Sie die Spezifikation und rendern Sie erneut, bis jede Pause besteht.
7. Bericht
Geben Sie den Pfad, die Größe und die Dauer des erklärten Videos an, dann die Bildunterschriften in der Reihenfolge, jeweils mit dem eingerahmten Steuerelement. Sagen Sie, welche Bildunterschriften abgeleitet sind. Sagen Sie, dass Sie einen Frame pro Pause geprüft haben und nicht die Wiedergabe angesehen haben.
Grenzen
- Die Ausgabe hat keinen Ton. Informieren Sie den Benutzer, wenn die Eingabe eine Tonspur hatte.
- Die Bildrate ist die durchschnittliche Bildrate der Eingabe, gerundet und zwischen 5 und 30 Bildern pro Sekunde gehalten.
trimschneidet nur ein vollständig stillstehendes Bild. Ein Ladekreis, ein Fortschrittsbalken, ein blinkender Cursor oder eine Uhr halten das Bild in Bewegung, daher bleiben diese Standzeiten erhalten. Eine Standzeit, die von einer kleinen Änderung unterbrochen wird, wird als mehrere einsekündige Teile beibehalten.trimschneidet nur Frames innerhalb eines stillen Abschnitts und behält den ersten Frame jeder Änderung. Eine Änderung kleiner als die--noise-Toleranz (Standard 0,003), z. B. ein einzelnes kleines Zeichen, gilt als still und kann geschnitten werden. Schritt 2 ist die Prüfung: Jede Aktion muss in den Kontaktabzügen erscheinen. Senken Sie--noiseauf 0,001, wenn eine Aktion fehlt.
Fehler
| Was Sie sehen | Ursache | Behebung |
|---|---|---|
this ffmpeg build has no drawtext filter | ffmpeg wurde ohne libfreetype erstellt | Installieren Sie eine vollständige Version, z. B. brew install ffmpeg |
no font file found | Keiner der bekannten macOS- oder Linux-Schriftartenpfade existiert | Übergeben Sie --font /pfad/zur/schrift.ttf an sheets, frames und annotate |
Unrecognized option 'fps_mode' | ffmpeg ist älter als 5.1 | Aktualisieren Sie ffmpeg |
no still stretches found, nothing written | Das Bild steht nie für 1,5 s still | Verwenden Sie das Original als <trimmed> oder senken Sie --min-freeze |
| Das getrimmte Video wirkt immer noch langsam | Animierte Standzeiten wurden behalten oder eine Sekunde pro Abschnitt summiert sich | Senken Sie --keep auf 0,5 |
| Das getrimmte Video springt zu schnell, um folgen zu können | Eine Sekunde pro Bild ist für diese Aufnahme zu kurz | Erhöhen Sie --keep auf 2 und --min-freeze auf 3 |
Pause N bei Ts ist nach dem Ende des Videos | Die Zeiten stammen vom Original und nicht von <trimmed> | Lesen Sie die Zeiten erneut aus sheets und frames von <trimmed> |
Pause N Feld ... ist außerhalb des Frames oder das Feld verfehlt das Steuerelement in check | Das Feld wurde an einem verkleinerten Bild gemessen | Lesen Sie es aus den Gitterbeschriftungen des frames-PNG |
| Der Text ist am rechten Rand abgeschnitten | Die Schriftart ist breiter als vom Skript angenommen | Übergeben Sie --wrap 80 oder eine niedrigere Zahl an annotate |
| Die Steuerelemente des Players überdecken den Text | Der Raum unter dem Text ist kürzer als die Steuerelemente | Erhöhen Sie --clearance auf 5 oder übergeben Sie --position top |
Pause N würde bei ... liegen, nach dem Ende | check wurde das getrimmte Video übergeben | Übergeben Sie das erklärte Video |
Jeder andere ffmpeg failed | Unbekannt | Führen Sie A selftest aus. Es trimmt und annotiert einen generierten Clip, daher bedeutet ein Erfolg, dass ffmpeg funktioniert und die Eingabe oder Spezifikation fehlerhaft ist |
dvm get --help schlägt mit einem scp-Fehler fehl | dvm get übergibt jedes Argument an scp | Führen Sie dvm help aus |
macOS hat keinen timeout-Befehl. Ein einminütiges 720p-Video rendert in wenigen Sekunden, daher führen Sie die Befehle einfach aus.