Communitygithub.com

daniel-video-annotate

Verwandelt eine Bildschirmaufnahme in eine erklärte Version, indem Standzeiten geschnitten, bei jeder Schlüsselaktion pausiert, das Steuerelement eingerahmt und mit einer Bildunterschrift versehen wird, die beschreibt, was gemacht wird und warum.

Was ist daniel-video-annotate?

Diese Fähigkeit (Skill) erstellt aus einer Bildschirmaufnahme ein erklärtes Video. Sie schneidet zuerst alle Standzeiten (Pausen) heraus, in denen sich auf dem Bildschirm nichts bewegt. Anschließend identifiziert sie anhand von Kontaktabzügen und Einzelbildern die wichtigen Aktionen des Nutzers (z. B. Klicks, Auswahlen, Seitennavigation). Für jede dieser Aktionen wird ein eigener Pausenfram erzeugt. In diesem Frame wird das relevante Steuerelement (z. B. Button, Dropdown) mit einem roten Kasten hervorgehoben, der Rest des Bildschirms abgedunkelt und ein kurzer, erklärender Text in einem schwarzen Balken am unteren oder oberen Bildrand eingeblendet. Die Bearbeitung erfolgt vollständig lokal mit `ffmpeg`, `ffprobe` und der Python-Standardbibliothek. Der Skill eignet sich hervorragend, um z. B. Bug-Reports, Code-Reviews oder Tutorials aufzubereiten und unterstützt die Eingabe einer Lesegeschwindigkeit oder einer festen Pausendauer. Das Ausgangsmaterial bleibt unverändert. Der Skill erzeugt zwei Ausgabedateien: eine getrimmte Version (`<name>-trimmed.mp4`) und die endgültige erklärte Version (`<name>-explained.mp4`).

Funktioniert mit✓Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/dancodes/skills-agents/tree/HEAD/skills/daniel-video-annotate

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

/daniel-video-annotate

Eingabe: eine Videodatei sowie Angaben, warum jeder Schritt ausgeführt wird (ein Ticket, ein Merge-Request, die Nachricht des Benutzers). Ausgabe, neben der Eingabe: <name>-trimmed.mp4 und <name>-explained.mp4. Die Eingabedatei wird nie verändert.

Das erklärte Video spielt die Aufnahme ab und hält bei jeder Pause den Frame für die Haltezeit, dimmt den Bildschirm um ein eingerahmtes Steuerelement und zeigt einen einzeiligen Text in einem schwarzen Balken unter oder über der Aufnahme an. Der Balken macht das Video höher, sodass die Aufnahme nie überdeckt wird.

annotate.py befindet sich neben dieser Datei. In den folgenden Befehlen steht A für python3 "${CLAUDE_CONFIG_DIR:-$HOME/.claude}/skills/daniel-video-annotate/annotate.py". Es benötigt nur ffmpeg, ffprobe und die Python-Standardbibliothek. <work> ist ein Arbeitsordner: das Sitzungs-Scratchpad, falls vorhanden, sonst ${TMPDIR:-/tmp}/video-annotate/<name>/.

Wenn das Video auf der Entwicklungs-VM liegt, kopieren Sie es zuerst mit dvm get <remote path> <local dir> herunter.

0. Lesegeschwindigkeit wählen

Die Haltezeit gibt an, wie lange jeder Text auf dem Bildschirm lesbar bleibt. Jede Pause hält 1,5 s plus die Zeit, um den Text bei der angegebenen Lesegeschwindigkeit zu lesen, mindestens jedoch 2,5 s. Verwenden Sie die vom Benutzer angegebene Geschwindigkeit in Wörtern pro Minute, sonst 350 Wörter pro Minute. Fragen Sie nicht nach. Wenn der Benutzer eine feste Haltezeit in Sekunden angegeben hat, verwenden Sie diese für jede Pause.

Abgeschlossen, wenn Sie eine Lesegeschwindigkeit oder eine feste Haltezeit haben.

1. Standzeiten herausschneiden

A trim <video> <name>-trimmed.mp4

Es findet jeden Abschnitt, in dem das Bild 1,5 s oder länger stillsteht, behält die erste Sekunde jedes Abschnitts und schneidet den Rest heraus. Es gibt die Anzahl der Abschnitte sowie die Dauer vor und nach dem Schnitt aus. Überspringen Sie diesen Schritt, wenn der Benutzer die Standzeiten behalten möchte, und verwenden Sie das Original als <trimmed> unten.

Jede Zeitangabe in den späteren Schritten bezieht sich auf <trimmed>. Ein erneutes Trimmen verschiebt alle Zeitangaben, daher wiederholen Sie die Schritte 2 bis 6 nach jedem neuen Trimmen.

2. Den Ablauf verstehen

A sheets <trimmed> <work>/sheets

Es erstellt Kontaktabzüge mit je sechs Bildern, ein Bild pro Sekunde, wobei die exakte Zeit in jedes Bild eingebrannt ist. Lesen Sie jeden Kontaktabzug. Lesen Sie das Ticket oder eine andere Quelle für den Grund jedes Schrittes.

Abgeschlossen, wenn Sie der Reihe nach sagen können, was die Person auf dem Bildschirm tut, welchen Wert jede Aktion setzt und welches Ergebnis den Zweck der Aufnahme belegt.

3. Pausen wählen

Pausieren Sie einmal für jede Entscheidung (ein ausgewählter Wert, ein gedrückter Button, eine absichtlich geöffnete Seite) und einmal für jedes Ergebnis, das den Zweck belegt. Überspringen Sie Navigation, die keine Entscheidung beinhaltet.

Finden Sie für jede Pause den Frame und den Rahmen:

A frames <trimmed> <work>/frames 23.0 23.2 23.4 23.6

Es schreibt ein PNG in voller Größe pro Zeitangabe, benannt nach der exakten Zeit, mit einem roten Gitter alle 100 px und den Pixelkoordinaten an der oberen und linken Kante.

  • Wählen Sie einen stabilen Frame. Aufnahmen enthalten halb gerenderte Frames, z. B. ein Panel, das nach einem Klick für einige Frames leer ist. Gehen Sie in 0,2-s-Schritten vor, bis das Steuerelement und seine Umgebung vollständig dargestellt sind.
  • Wählen Sie bei einer Auswahl aus einer Liste den Frame, in dem die Liste geöffnet und der Cursor auf der Option ist. Wenn dieser Frame halb gerendert ist, verwenden Sie den Frame direkt danach, in dem das Feld den neuen Wert anzeigt.
  • Lesen Sie den Rahmen als [x, y, Breite, Höhe] aus den Gitterbeschriftungen, in Quell-Pixeln. Das Read-Tool verkleinert große Bilder, daher sind anhand des angezeigten Bildes gemessene Positionen falsch; die Beschriftungen bleiben korrekt.
  • Rahmen Sie das einzelne Steuerelement ein, über das der Text spricht, mit ein paar Pixeln Rand. Eine Pause kann box auslassen, dann wird nichts abgedunkelt.

Abgeschlossen, wenn jede Pause einen Frame hat, den Sie angesehen haben, und einen Rahmen, der aus diesem Frame ausgelesen wurde.

4. Bildunterschriften schreiben

Ein Satz pro Pause. Er sagt, was wir tun und warum, oder was der Bildschirm jetzt zeigt und warum. Nennen Sie das konkrete Objekt: die Zeile, das Feld, den alten und den neuen Wert.

Nehmen Sie das "Warum" aus der Quelle. Wenn die Quelle den Grund für einen Schritt nicht angibt, schreiben Sie, was sichtbar ist, und listen Sie diese Bildunterschrift im Bericht als abgeleitet auf. Wenden Sie den Skill writing-tics auf die Bildunterschriften an. Halten Sie jede unter etwa 180 Zeichen, da der Balken so hoch ist wie die längste Bildunterschrift.

5. Rendern

Schreiben Sie <work>/spec.json, eine Liste in zeitlicher Reihenfolge:

[
  {"at": 12.0, "box": [399, 569, 180, 29], "caption": "Wir ändern die Größe von Artikel 1 von M auf L in der Tabelle, was L an den Server sendet."},
  {"at": 23.6, "box": [659, 500, 192, 24], "caption": "..."}
]

at ist die Zeit in Sekunden in <trimmed>. Setzen Sie dann hold für jede Pause:

A holds <work>/spec.json [--wpm <Geschwindigkeit>]

Es schreibt die Haltezeit jeder Pause in die Spezifikation und gibt sie neben der Wortanzahl aus. Bei einer festen Haltezeit setzen Sie hold selbst für jede Pause. Eine Pause ohne hold hält 6 Sekunden.

A annotate <trimmed> <work>/spec.json <name>-explained.mp4 [--position top|bottom] [--clearance <Zeilen>]

Der Textbalken erscheint dort, wo der Benutzer es wünscht. Ohne Angabe erscheint er unten.

  • --position bottom ist die Voreinstellung. Videoplayer zeichnen ihre Steuerelemente über die Unterkante, daher erhält der Balken einen leeren Raum unter dem Text: --clearance Zeilen davon, standardmäßig 3, was die Steuerelemente eines kleinen eingebetteten Players freihält.
  • --position top platziert den Balken über der Aufnahme, wo kein Player Steuerelemente zeichnet. Es wird kein Freiraum benötigt.

Die Rahmen bleiben in den Koordinaten von <trimmed> für beide Positionen.

6. Jede Pause prüfen

A check <name>-explained.mp4 <work>/spec.json <work>/check

Es schreibt einen Frame aus der Mitte jeder Pause. Lesen Sie jeden einzelnen. Der Rahmen muss auf dem Steuerelement sitzen, der Text muss vollständig und nicht am rechten Rand abgeschnitten sein, und der Frame muss der von Ihnen gewählte stabile Frame sein. Korrigieren Sie die Spezifikation und rendern Sie erneut, bis jede Pause besteht.

7. Bericht

Geben Sie den Pfad, die Größe und die Dauer des erklärten Videos an, dann die Bildunterschriften in der Reihenfolge, jeweils mit dem eingerahmten Steuerelement. Sagen Sie, welche Bildunterschriften abgeleitet sind. Sagen Sie, dass Sie einen Frame pro Pause geprüft haben und nicht die Wiedergabe angesehen haben.

Grenzen

  • Die Ausgabe hat keinen Ton. Informieren Sie den Benutzer, wenn die Eingabe eine Tonspur hatte.
  • Die Bildrate ist die durchschnittliche Bildrate der Eingabe, gerundet und zwischen 5 und 30 Bildern pro Sekunde gehalten.
  • trim schneidet nur ein vollständig stillstehendes Bild. Ein Ladekreis, ein Fortschrittsbalken, ein blinkender Cursor oder eine Uhr halten das Bild in Bewegung, daher bleiben diese Standzeiten erhalten. Eine Standzeit, die von einer kleinen Änderung unterbrochen wird, wird als mehrere einsekündige Teile beibehalten.
  • trim schneidet nur Frames innerhalb eines stillen Abschnitts und behält den ersten Frame jeder Änderung. Eine Änderung kleiner als die --noise-Toleranz (Standard 0,003), z. B. ein einzelnes kleines Zeichen, gilt als still und kann geschnitten werden. Schritt 2 ist die Prüfung: Jede Aktion muss in den Kontaktabzügen erscheinen. Senken Sie --noise auf 0,001, wenn eine Aktion fehlt.

Fehler

Was Sie sehenUrsacheBehebung
this ffmpeg build has no drawtext filterffmpeg wurde ohne libfreetype erstelltInstallieren Sie eine vollständige Version, z. B. brew install ffmpeg
no font file foundKeiner der bekannten macOS- oder Linux-Schriftartenpfade existiertÜbergeben Sie --font /pfad/zur/schrift.ttf an sheets, frames und annotate
Unrecognized option 'fps_mode'ffmpeg ist älter als 5.1Aktualisieren Sie ffmpeg
no still stretches found, nothing writtenDas Bild steht nie für 1,5 s stillVerwenden Sie das Original als <trimmed> oder senken Sie --min-freeze
Das getrimmte Video wirkt immer noch langsamAnimierte Standzeiten wurden behalten oder eine Sekunde pro Abschnitt summiert sichSenken Sie --keep auf 0,5
Das getrimmte Video springt zu schnell, um folgen zu könnenEine Sekunde pro Bild ist für diese Aufnahme zu kurzErhöhen Sie --keep auf 2 und --min-freeze auf 3
Pause N bei Ts ist nach dem Ende des VideosDie Zeiten stammen vom Original und nicht von <trimmed>Lesen Sie die Zeiten erneut aus sheets und frames von <trimmed>
Pause N Feld ... ist außerhalb des Frames oder das Feld verfehlt das Steuerelement in checkDas Feld wurde an einem verkleinerten Bild gemessenLesen Sie es aus den Gitterbeschriftungen des frames-PNG
Der Text ist am rechten Rand abgeschnittenDie Schriftart ist breiter als vom Skript angenommenÜbergeben Sie --wrap 80 oder eine niedrigere Zahl an annotate
Die Steuerelemente des Players überdecken den TextDer Raum unter dem Text ist kürzer als die SteuerelementeErhöhen Sie --clearance auf 5 oder übergeben Sie --position top
Pause N würde bei ... liegen, nach dem Endecheck wurde das getrimmte Video übergebenÜbergeben Sie das erklärte Video
Jeder andere ffmpeg failedUnbekanntFühren Sie A selftest aus. Es trimmt und annotiert einen generierten Clip, daher bedeutet ein Erfolg, dass ffmpeg funktioniert und die Eingabe oder Spezifikation fehlerhaft ist
dvm get --help schlägt mit einem scp-Fehler fehldvm get übergibt jedes Argument an scpFühren Sie dvm help aus

macOS hat keinen timeout-Befehl. Ein einminütiges 720p-Video rendert in wenigen Sekunden, daher führen Sie die Befehle einfach aus.

Verwandte Skills