Communitygithub.com

UI-Referenzerfassung

Sammle Pixel-Referenzen für UI-Elemente, die der Code nicht zeigen kann, oder um einen Nachbau mit dem Original zu vergleichen, mithilfe von Frames und zeitgesteuerter OCR aus Bildschirmaufnahmen, wiederhergestellten Aufnahmen aus früheren Claude Code-Sitzungsprotokollen, einer lokalen Instanz der App (wie in Produktion gebaut) sowie Web-Recherche für Drittanbieter-Apps, ergänzt durch Side-by-Side-Vergleichsbilder und Kontaktabzüge.

Was ist UI-Referenzerfassung?

Dieses Skill („UI Reference Capture”) hilft KI-Agenten, Pixel-genaue visuelle Referenzen einer Produktoberfläche zu erfassen, wenn der Quellcode allein nicht ausreicht – etwa bei Laufzeitverhalten, Animationen, Daten von Drittanbietern oder fehlenden Screenshots. Es ist für Entwickler konzipiert, die Claude Code, Cursor oder Codex verwenden und sicherstellen möchten, dass ihr Nachbau exakt mit der echten App übereinstimmt. Das Skill verarbeitet Bildschirmaufnahmen (.mov/.mp4) durch Frame-Extraktion und OCR (Apple Vision auf macOS), um genaue Text-Timelines und UI-Zustände zu ermitteln. Es kann auch Bilder aus früheren Claude Code-Sitzungen wiederherstellen, lokale App-Instanzen erfassen (isoliert mit echten Build-Parametern) oder öffentliche Quellen für Drittanbieter-Apps durchsuchen. Wichtig: Es greift nie auf den persönlichen Browser des Prüfers zu, sondern arbeitet offline oder in isolierten Umgebungen. Die Ergebnisse werden als strukturierte Markdown-Dateien (z. B. `analysis.md`, `ocr-timeline.txt`) mit genauen Zeitstempeln, gemessenen Verzögerungen und gekennzeichneten Änderungen (z. B. geschwärzte Kundendaten) gespeichert. Side-by-Side-Vergleiche (`pair.py`) prüfen die Pixel-Übereinstimmung zwischen Nachbau und Referenz. Das Skill vermeidet typische Fehler wie falsche Skalierung (Retina vs. logische Pixel) und stellt sicher, dass keine sensiblen Daten in das Arbeitsrepository gelangen.

Funktioniert mit✓Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/josueh04/product-video-skills/tree/HEAD/skills/ui-reference-capture

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht UI-Referenzerfassung?

Der Code liefert Struktur, Styles, Strings und Icons. Er liefert nicht, was zur Laufzeit passiert (was ein Backend antwortet, in welcher Reihenfolge Dinge erscheinen, wie lange die echte App wartet), und er sagt nichts über die UI eines anderen Unternehmens. Dieses Skill füllt diese Lücken mit Referenzen, in einer festen Reihenfolge der Präferenz, und improvisiert niemals im persönlichen Browser eines Prüfers.

Diese letzte Regel hat eine Geschichte. In der Produktion, aus der diese Skills stammen, wurde einem Agenten Zugriff auf den eigenen, eingeloggten Browser des Prüfers gewährt, um eine Live-App zu erfassen. Die Live-Abläufe hingen, der Agent führte weiterhin „Aufräumschritte" aus, nachdem der Prüfer „Stopp" gesagt hatte, hinterließ verstreute Elemente in einem Test-Workspace, und die Sitzung endete nach etwa 68 Minuten schlecht, ohne dass etwas Brauchbares erstellt wurde. Dieselben Aufnahmen wurden später in Minuten aus dem Sitzungsprotokoll wiederhergestellt. Offline-Referenzen zuerst; ein Browser nur, wenn der Benutzer einen explizit anfordert, isoliert, und gestoppt, sobald er „Stopp" sagt.

Wo Dinge hinkommen

  • Eingaben (Aufnahmen, Exporte, Screenshots, die der Benutzer übergibt): Kopiere sie sofort nach ihrem Eintreffen in products/<slug>/references/<name>/. Download-Ordner und die temporären Aufnahmeordner des Betriebssystems werden bereinigt; eine Aufnahme in der Quellproduktion befand sich in einem Ordner, den das System gelöscht hätte. macOS-Aufnahmenamen enthalten ein schmales geschütztes Leerzeichen (U+202F) vor AM/PM: Finde sie mit einem Glob, nicht durch Eingabe des Namens.
  • Arbeitsmaterial (tausende Frames, wiederhergestellte Aufnahmen, rohe OCR): Ein Scratch-Ordner außerhalb jedes Repos, z. B. $TMPDIR/pvs-<slug>-<name>/.
  • Ergebnisse, die es wert sind, aufbewahrt zu werden (die OCR-Zeitleiste, Schlüssel-Frames mit echten Daten beschnitten, die Analyse): references/<name>/, zitiert aus SOURCES.md.

Aufnahmen und Aufzeichnungen eines echten Workspaces enthalten echte Kundennamen, E-Mails, Telefonnummern, interne IDs und Gespräche anderer Personen. Sie gelangen niemals in das Workbench-Repo, und das Video zeigt sie nicht: Abschnitt 1 Schritt 6 listet, was geändert werden muss.

Technik auswählen

VorhandenTechnikLese
Eine Bildschirmaufnahme des Produkts1. Aufnahme analysierenreferences/recording-analysis.md
Frühere Sitzungen, die die App betrachtet haben2. Aufnahmen aus Protokollen wiederherstellendiese Datei, Abschnitt 2
Eine App, die lokal ausgeführt werden kann3. Lokale Instanz wie in Produktion gebautreferences/local-instance.md
Produkt eines anderen Unternehmens4. Web-Recherche, nur öffentliche Quellenreferences/third-party-ui-prompt.md
Nichts (ein Telefonat, eine Endkarte, generierter Text)Aus dem Kit entwerfen und markierenproduct-truth (mock)

Probiere sie in dieser Reihenfolge aus. Bevor du jemanden bittest, aufzunehmen, überprüfe Abschnitt 2: Aufnahmen könnten bereits existieren. Wenn keiner der vier funktioniert, sage das; falle nicht auf den Browser des Prüfers zurück.

1. Eine Bildschirmaufnahme analysieren

PVS_HOME="$(cd "$(cd "${CLAUDE_SKILL_DIR}" && pwd -P)/../.." && pwd)"
S="$PVS_HOME/skills/ui-reference-capture/scripts"
W="$TMPDIR/pvs-acme-board"                                    # scratch, außerhalb des Repos
bash "$S/frames.sh" references/board/rec.mov "$W" --fps 10 --logical-width 1440
bash "$S/ocr.sh" "$W/logical" "$W/ocr.jsonl"                  # nur macOS
"$PVS_HOME/bin/pvs-py" "$S/ocr_events.py" "$W/ocr.jsonl" references/board/ocr-timeline.txt --fps 10 \
  --region "panel=0.6,0,1,[email protected]"
"$PVS_HOME/bin/pvs-py" "$S/grid.py" sheet "$W/overview.png" "$W/logical" --every 20 --cols 4
  1. frames.sh schreibt kleine Thumbnails (Änderungserkennung) und Frames in der logischen Breite der App (eine Retina-Aufnahme ist 2x: die logische Breite ist die Hälfte der Pixelbreite), sodass ein Frame-Pixel einem CSS-Px des nachgebauten Apps entspricht.
  2. ocr.sh kompiliert ocr.swift (Apple Vision) einmal in einen Cache-Ordner und schreibt eine JSON-Zeile pro Frame. Unter Linux beendet es sich mit „unsupported": Lese stattdessen die Kontaktabzüge.
  3. ocr_events.py wandelt Frame-für-Frame-OCR in stabile Spannen um, start-end [region] text. Diese Zeitleiste liefert die exakten Strings, die die echte App anzeigt und wann, was besser ist als Raten aus einem Video mit dem bloßen Auge.
  4. grid.py sheet erstellt Kontaktabzüge: eine Übersicht alle 2 s, dann dichte 10-fps-Blätter pro Phase. grid.py overlay zeichnet ein logisches Pixel-Raster auf ein Frame zur Messung.
  5. Speichere Schlüssel-Frames als references/<name>/frames/<t>-<state>.jpg (von echten Daten beschnitten).
  6. Schreibe references/<name>/analysis.md mit der Struktur aus references/recording-analysis.md: die echte Zeitleiste mit exakten Strings, gemessener Bewegung (wie lange ein Panel zum Öffnen braucht, wie lange der Cursor ruht), einer „muss für das Video geändert werden"-Tabelle (echte Namen, E-Mails, Telefone, Workspaces, interne IDs, lange Wartezeiten, OS-Chrome wie das Dock) und Produktlücken, die anzusprechen sind, bevor jemand darauf aufbaut (ein Schritt, den die Geschichte benötigt, den die Aufnahme aber als fehlschlagend zeigt).

Aufnahmen verstecken Lücken, wenn Wartezeiten komprimiert sind; notiere jede Wartezeit, die du verkürzt hast.

2. Aufnahmen aus früheren Sitzungen wiederherstellen

Jedes Bild, das ein Tool in einer Claude Code-Sitzung zurückgegeben hat (Browser-Screenshots, Fensteraufnahmen, gelesene Bilder) und jedes in den Chat eingefügte Bild ist im JSONL dieser Sitzung gespeichert.

"$PVS_HOME/bin/pvs-py" "$S/recover_transcript_images.py" ~/.claude/projects/<project>/<session>.jsonl \
  [--from-line N] [--tool screenshot]

Ohne Ausgabeordner schreibt es in einen frischen temporären Ordner und lehnt jeden Ordner innerhalb eines Git-Arbeitsbaums ab, da diese Aufnahmen echte Konten zeigen. Es schreibt index.tsv (Datei, Zeit, Tool, Eingabe), damit du die benötigten Bildschirme findest. Überprüfe sie in Kontaktabzügen (grid.py sheet <out> <dir> --labels name), kopiere dann nur die bereinigten, mit echten Daten beschnittenen, in references/<name>/. In der Quellproduktion wurde ein gesamtes Video aus 117 wiederhergestellten Bildern plus dem Code erstellt.

3. Eine lokale Instanz wie in Produktion gebaut

Die treueste Referenz, wenn die App auf dem Rechner des Benutzers ausgeführt werden kann: Baue sie aus dem Produktions-Commit mit den Produktions-Build-Argumenten, seede sie mit fiktiven Daten, isoliere sie von jedem gemeinsamen System und erfasse sie mit einem Headless-Browser. Lies references/local-instance.md bevor du beginnst; der Benutzer muss der Ausführung seiner App zustimmen, und es werden niemals seine Konten oder gemeinsamen Datenbanken verwendet.

4. Drittanbieter-UI

Für Bildschirme eines anderen Unternehmens starte einen Recherche-Subagenten mit references/third-party-ui-prompt.md: nur öffentliche Quellen (offizielle Dokumentation, Hilfeseiten, Pressemappen, Marketing-Screenshots, öffentliche Embed-Demos des Anbieters), niemals ein Login, niemals ein Absenden oder Buchen, etwa 30 Minuten. Jeder Wert kommt als verifiziert, gemessen oder abgeleitet markiert zurück. Bevorzuge die eigene Komponente des Produkts, wenn es eine hat (ein Produkt, das eine Vorschau einer Chat-App rendert, hat eine Vorschaukomponente; verwende sie, anstatt die Chat-App nachzubauen). Zeige einen vollständigen Drittanbieter-Bildschirm nur, wenn er eine echte Integration beweist; sonst verwende Logos und Badges innerhalb des Produkts.

Parität: Beweise, dass der Nachbau übereinstimmt

"$PVS_HOME/bin/pvs-py" "$S/pair.py" snapshots/nocam-12.4s.png references/board/frames/12.4-board.png \
  640 40 1100 300 "$W/pair-board-header.png" --ref-scale 2 --logical-width 1440 --render-width 1920

Nimm unseren Schnappschuss mit der Kamera im Maßstab 1 (eine Kopie der Komposition mit #camera{transform:none!important}), schneide denselben logischen Bereich aus beiden aus und staple sie. Das Skript gibt die mittlere absolute Differenz pro Kanal aus; iteriere, bis sie aufhört zu fallen und das gestapelte Bild keine Verschiebung zeigt. Miss in App-Px und konvertiere explizit: Verwirrende Maßstäbe waren eine wiederkehrende Quelle falscher Koordinaten.

Regeln und warum

  • Niemals der persönliche Browser oder das Profil des Prüfers, und nichts, was daraus entnommen wurde (Schriftarten, Icons, Speicher). Wenn jemand Stopp sagt, stoppe sofort jede Browseraktion, einschließlich des Aufräumens.
  • Niemals anmelden, niemals Tokens oder Browserspeicher lesen. Wenn eine Aufnahme einen Login erfordert, gibt die Person ihr eigenes Passwort in ihrer eigenen Sitzung ein, oder die Aufnahme findet nicht statt.
  • Wiederhergestelltes und aufgezeichnetes Material bleibt privat. Zuerst temporärer Ordner, nur beschnittene Kopien.
  • Markiere jeden abgeleiteten Wert. Eine Referenz, die zur Hälfte geraten ist, muss sagen, welche Hälfte.

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

josueh04/product-video-skills

Extract, once per product, everything every video of it reuses and write it to kit/ and product.yaml (design tokens, font subsets as woff2, icon subsets as SVG from the product's own icon packages, logos in light, dark and app-tile variants from the repo, a fictional cast proposed once for veto and then frozen, the canonical-names map, pronunciations, banned terms and the read-only tool list). Use it when a product is set up or its kit is missing or incomplete, when a video needs an icon, font or logo that is not in kit/ yet, when someone asks for demo names, fake customers, phone numbers or emails, when a brand word is mispronounced or an old product name shows up, and when checking that demo data is fictional.

josueh04/product-video-skills

Interview the user about a product, then create products/<slug>/ with its own git history, a filled product.yaml and linked skills, fetch its sources and build its kit. Run only when the user types /product-new.

josueh04/product-video-skills

Back every sentence of a video's narration (audio/lines.tsv) and every screen it shows with a citation into the pinned source code (role/path:line@sha) or a docs URL, mark what is visible in the UI versus backend-only, flag restricted or unreleased features, and cut or rewrite anything unbacked; writes the video's TRUTH.md and checks it with truth_check.py. Use it whenever a script or narration is drafted or edited, before voice is generated, before a build, when someone asks "can we say this?", "is this true?", "does the product really do X?", when a reviewer asks for a feature or a claim the product may not support, and when a source document (pitch deck, PRD, marketing page) makes claims the video wants to repeat.

josueh04/product-video-skills

Check a rendered product video before anyone else sees it: worker-pattern flicker, black frames, loudness and true peak, clipping, clicks at clip edges, overlapping narration, speech to text against the script, banned terms and legacy names, camera zoom, contact sheets, frame strips at transitions and parity against the approved version; then write qa/REPORT.json, the only thing deliver.py accepts. Use it after every HyperFrames render, whenever someone asks "is the render clean", "QA this", "check the video", "check the audio", "why does it flicker", "there is a click", "compare v3 with v2", "did the approved part change", or before showing, sending, uploading or delivering any MP4, even when the request does not say QA. Also use it to triage a defect a reviewer reported in a render.

josueh04/product-video-skills

Write a product video's narration and turn it into voice clips with word timings, pronunciation fixes, sound effects and even loudness. The script becomes a table of moments and then audio/lines.tsv (one clip per sentence, with role and speed columns); tts.py voices it with ElevenLabs or the free macOS say voice, maps brand respellings back to the on-screen spelling, normalizes every clip and writes audio/timings.json for the composer; make_sfx.py builds typing tracks from real keystrokes and places recorded click and pop sounds. Use it whenever a video needs a script, narration, voice-over, lines.tsv, timings.json, TTS, a new take, a voice or casting choice, a pronunciation fix ("it says the name wrong"), a changed sentence, a tone note ("too hype", "sounds cut off"), audio levels, a click at the end of a clip, typing or click sounds, or when the build stage asks for the voice. Also use it for silent loops, which still need a moment table and SFX.

josueh04/product-video-skills

The animation rules that keep HyperFrames' parallel render workers from dropping, flashing or flickering elements, plus a static lint (lint_motion.py) that finds the violations in a video's template before it costs a render. Use it whenever you write or edit GSAP tweens, timelines, cursors, camera moves, typing, scrolls or pop-ups in a HyperFrames composition or a video's src/template.tpl, whenever a render shows flicker, stutter, an element that vanishes on some frames, a title that flashes, or a "WORKER PATTERN" line from scan_render.py or qa.py, and whenever the preview looks right but the MP4 does not. Also use it to review someone else's timeline code before rendering.

josueh04/product-video-skills

Pin a product's source code (read-only exports in sources/ plus sources.lock), confirm that the pinned commit is what runs in production, and map every screen of a video brief to its route, components, i18n strings and state, written to the video's SOURCES.md. Use it whenever a video needs to know where a screen lives in the code, when sources/ is missing or stale, before ui-spec-from-code or product-truth start on a video, after the product's frontend changed ("what changed", "which videos are affected", "refresh the sources", "is this checkout current", "which commit is in prod"), and when there is no code and you need an inventory of the no-code references (recordings, recovered captures, docs) a screen can be rebuilt from.

josueh04/product-video-skills

Compose a narrated product demo in HyperFrames: the stage (the product UI rebuilt at its real viewport and scaled to 1080p, camera, rack focus with veil, chapter titles, cursor and clicks, typing, streaming text, pop-ups, toasts, scrolls, end screen and lockup) and the build.py that anchors every beat to a word of the narration. Use it whenever you write or edit a video's video/build.py, src/template.tpl or src/app.css, place a beat on a word, add a chapter, a click, a pop-up or a push-in, frame a screen, build the end screen or lockup, snapshot setup beats, or render a draft or delivery MP4 of a product video in this workbench. Also use it when someone says "the cursor is off", "too zoomed in", "too fast", "it feels chaotic", "the title flashes", "sync the UI to the voice", or asks for a walkthrough, demo or pitch video of a UI.

josueh04/product-video-skills

Turn a product's real frontend code into 1:1 rebuild specs for a video, one read-only subagent per screen, each returning static HTML, CSS with every variable resolved to its literal value and cited (role/path:line@sha), every state, transitions with exact durations and easings, icons from the code's own icon sets, and the exact i18n strings; plus resolve_tokens.py to write the product's design tokens to kit/tokens.css. Use it whenever a screen of the product has to appear in a video, when writing or fixing video/src/app.css or the template markup, when someone asks for exact sizes, colors, fonts, paddings, animations or icons of a screen, when a rebuilt screen "looks off" next to the real app, and when the design tokens or theme of a product need extracting. Framework adapters cover Angular with PrimeNG (proven), React, Vue, Tailwind and plain HTML (unproven).

josueh04/product-video-skills

Say where this session stands in the Product Video Skills workbench (setup state, which product and video the current folder belongs to, the stage of every video) and the exact next command to type. Also answers "how do I..." questions about the workbench from its docs.

josueh04/product-video-skills

Coordinate the build of one or more signed videos of the current product with subagents (source recon, product truth, UI specs, voice, one builder per video), re-run QA itself, then deliver. A light coordinator that never builds itself. Run only when the user types /video-build.

josueh04/product-video-skills

Start a new video of the current product - create videos/<video>/, write BRIEF.md, the feature coverage matrix (COVERAGE.md) and the claims sheet (CLAIMS.md), propose chapters, then stop for the reviewer's sign-off. Never builds. Run only when the user types /video-new.

josueh04/product-video-skills

Turn a batch of reviewer feedback on the product's videos into one table per video, fix every video that got notes in parallel (one subagent each) while keeping approved parts, re-run QA and parity, bump versions and deliver. Run only when the user types /video-review.

josueh04/product-video-skills

Check this machine and install the pinned video toolchain of the Product Video Skills workbench (HyperFrames CLI, its rendering Chrome and its agent skills from the same release, the Python environment, the speech model for QA), then run the self-check. Safe to run again. `/video-setup check` only reports.

Verwandte Skills