Was macht UI-Referenzerfassung?
Der Code liefert Struktur, Styles, Strings und Icons. Er liefert nicht, was zur Laufzeit passiert (was ein Backend antwortet, in welcher Reihenfolge Dinge erscheinen, wie lange die echte App wartet), und er sagt nichts über die UI eines anderen Unternehmens. Dieses Skill füllt diese Lücken mit Referenzen, in einer festen Reihenfolge der Präferenz, und improvisiert niemals im persönlichen Browser eines Prüfers.
Diese letzte Regel hat eine Geschichte. In der Produktion, aus der diese Skills stammen, wurde einem Agenten Zugriff auf den eigenen, eingeloggten Browser des Prüfers gewährt, um eine Live-App zu erfassen. Die Live-Abläufe hingen, der Agent führte weiterhin „Aufräumschritte" aus, nachdem der Prüfer „Stopp" gesagt hatte, hinterließ verstreute Elemente in einem Test-Workspace, und die Sitzung endete nach etwa 68 Minuten schlecht, ohne dass etwas Brauchbares erstellt wurde. Dieselben Aufnahmen wurden später in Minuten aus dem Sitzungsprotokoll wiederhergestellt. Offline-Referenzen zuerst; ein Browser nur, wenn der Benutzer einen explizit anfordert, isoliert, und gestoppt, sobald er „Stopp" sagt.
Wo Dinge hinkommen
- Eingaben (Aufnahmen, Exporte, Screenshots, die der Benutzer übergibt): Kopiere sie sofort nach ihrem Eintreffen in
products/<slug>/references/<name>/. Download-Ordner und die temporären Aufnahmeordner des Betriebssystems werden bereinigt; eine Aufnahme in der Quellproduktion befand sich in einem Ordner, den das System gelöscht hätte. macOS-Aufnahmenamen enthalten ein schmales geschütztes Leerzeichen (U+202F) vor AM/PM: Finde sie mit einem Glob, nicht durch Eingabe des Namens. - Arbeitsmaterial (tausende Frames, wiederhergestellte Aufnahmen, rohe OCR): Ein Scratch-Ordner außerhalb jedes Repos, z. B.
$TMPDIR/pvs-<slug>-<name>/. - Ergebnisse, die es wert sind, aufbewahrt zu werden (die OCR-Zeitleiste, Schlüssel-Frames mit echten Daten beschnitten, die Analyse):
references/<name>/, zitiert aus SOURCES.md.
Aufnahmen und Aufzeichnungen eines echten Workspaces enthalten echte Kundennamen, E-Mails, Telefonnummern, interne IDs und Gespräche anderer Personen. Sie gelangen niemals in das Workbench-Repo, und das Video zeigt sie nicht: Abschnitt 1 Schritt 6 listet, was geändert werden muss.
Technik auswählen
| Vorhanden | Technik | Lese |
|---|---|---|
| Eine Bildschirmaufnahme des Produkts | 1. Aufnahme analysieren | references/recording-analysis.md |
| Frühere Sitzungen, die die App betrachtet haben | 2. Aufnahmen aus Protokollen wiederherstellen | diese Datei, Abschnitt 2 |
| Eine App, die lokal ausgeführt werden kann | 3. Lokale Instanz wie in Produktion gebaut | references/local-instance.md |
| Produkt eines anderen Unternehmens | 4. Web-Recherche, nur öffentliche Quellen | references/third-party-ui-prompt.md |
| Nichts (ein Telefonat, eine Endkarte, generierter Text) | Aus dem Kit entwerfen und markieren | product-truth (mock) |
Probiere sie in dieser Reihenfolge aus. Bevor du jemanden bittest, aufzunehmen, überprüfe Abschnitt 2: Aufnahmen könnten bereits existieren. Wenn keiner der vier funktioniert, sage das; falle nicht auf den Browser des Prüfers zurück.
1. Eine Bildschirmaufnahme analysieren
PVS_HOME="$(cd "$(cd "${CLAUDE_SKILL_DIR}" && pwd -P)/../.." && pwd)"
S="$PVS_HOME/skills/ui-reference-capture/scripts"
W="$TMPDIR/pvs-acme-board" # scratch, außerhalb des Repos
bash "$S/frames.sh" references/board/rec.mov "$W" --fps 10 --logical-width 1440
bash "$S/ocr.sh" "$W/logical" "$W/ocr.jsonl" # nur macOS
"$PVS_HOME/bin/pvs-py" "$S/ocr_events.py" "$W/ocr.jsonl" references/board/ocr-timeline.txt --fps 10 \
--region "panel=0.6,0,1,[email protected]"
"$PVS_HOME/bin/pvs-py" "$S/grid.py" sheet "$W/overview.png" "$W/logical" --every 20 --cols 4
frames.shschreibt kleine Thumbnails (Änderungserkennung) und Frames in der logischen Breite der App (eine Retina-Aufnahme ist 2x: die logische Breite ist die Hälfte der Pixelbreite), sodass ein Frame-Pixel einem CSS-Px des nachgebauten Apps entspricht.ocr.shkompiliertocr.swift(Apple Vision) einmal in einen Cache-Ordner und schreibt eine JSON-Zeile pro Frame. Unter Linux beendet es sich mit „unsupported": Lese stattdessen die Kontaktabzüge.ocr_events.pywandelt Frame-für-Frame-OCR in stabile Spannen um,start-end [region] text. Diese Zeitleiste liefert die exakten Strings, die die echte App anzeigt und wann, was besser ist als Raten aus einem Video mit dem bloßen Auge.grid.py sheeterstellt Kontaktabzüge: eine Übersicht alle 2 s, dann dichte 10-fps-Blätter pro Phase.grid.py overlayzeichnet ein logisches Pixel-Raster auf ein Frame zur Messung.- Speichere Schlüssel-Frames als
references/<name>/frames/<t>-<state>.jpg(von echten Daten beschnitten). - Schreibe
references/<name>/analysis.mdmit der Struktur ausreferences/recording-analysis.md: die echte Zeitleiste mit exakten Strings, gemessener Bewegung (wie lange ein Panel zum Öffnen braucht, wie lange der Cursor ruht), einer „muss für das Video geändert werden"-Tabelle (echte Namen, E-Mails, Telefone, Workspaces, interne IDs, lange Wartezeiten, OS-Chrome wie das Dock) und Produktlücken, die anzusprechen sind, bevor jemand darauf aufbaut (ein Schritt, den die Geschichte benötigt, den die Aufnahme aber als fehlschlagend zeigt).
Aufnahmen verstecken Lücken, wenn Wartezeiten komprimiert sind; notiere jede Wartezeit, die du verkürzt hast.
2. Aufnahmen aus früheren Sitzungen wiederherstellen
Jedes Bild, das ein Tool in einer Claude Code-Sitzung zurückgegeben hat (Browser-Screenshots, Fensteraufnahmen, gelesene Bilder) und jedes in den Chat eingefügte Bild ist im JSONL dieser Sitzung gespeichert.
"$PVS_HOME/bin/pvs-py" "$S/recover_transcript_images.py" ~/.claude/projects/<project>/<session>.jsonl \
[--from-line N] [--tool screenshot]
Ohne Ausgabeordner schreibt es in einen frischen temporären Ordner und lehnt jeden Ordner innerhalb eines Git-Arbeitsbaums ab, da diese Aufnahmen echte Konten zeigen. Es schreibt index.tsv (Datei, Zeit, Tool, Eingabe), damit du die benötigten Bildschirme findest. Überprüfe sie in Kontaktabzügen (grid.py sheet <out> <dir> --labels name), kopiere dann nur die bereinigten, mit echten Daten beschnittenen, in references/<name>/. In der Quellproduktion wurde ein gesamtes Video aus 117 wiederhergestellten Bildern plus dem Code erstellt.
3. Eine lokale Instanz wie in Produktion gebaut
Die treueste Referenz, wenn die App auf dem Rechner des Benutzers ausgeführt werden kann: Baue sie aus dem Produktions-Commit mit den Produktions-Build-Argumenten, seede sie mit fiktiven Daten, isoliere sie von jedem gemeinsamen System und erfasse sie mit einem Headless-Browser. Lies references/local-instance.md bevor du beginnst; der Benutzer muss der Ausführung seiner App zustimmen, und es werden niemals seine Konten oder gemeinsamen Datenbanken verwendet.
4. Drittanbieter-UI
Für Bildschirme eines anderen Unternehmens starte einen Recherche-Subagenten mit references/third-party-ui-prompt.md: nur öffentliche Quellen (offizielle Dokumentation, Hilfeseiten, Pressemappen, Marketing-Screenshots, öffentliche Embed-Demos des Anbieters), niemals ein Login, niemals ein Absenden oder Buchen, etwa 30 Minuten. Jeder Wert kommt als verifiziert, gemessen oder abgeleitet markiert zurück. Bevorzuge die eigene Komponente des Produkts, wenn es eine hat (ein Produkt, das eine Vorschau einer Chat-App rendert, hat eine Vorschaukomponente; verwende sie, anstatt die Chat-App nachzubauen). Zeige einen vollständigen Drittanbieter-Bildschirm nur, wenn er eine echte Integration beweist; sonst verwende Logos und Badges innerhalb des Produkts.
Parität: Beweise, dass der Nachbau übereinstimmt
"$PVS_HOME/bin/pvs-py" "$S/pair.py" snapshots/nocam-12.4s.png references/board/frames/12.4-board.png \
640 40 1100 300 "$W/pair-board-header.png" --ref-scale 2 --logical-width 1440 --render-width 1920
Nimm unseren Schnappschuss mit der Kamera im Maßstab 1 (eine Kopie der Komposition mit #camera{transform:none!important}), schneide denselben logischen Bereich aus beiden aus und staple sie. Das Skript gibt die mittlere absolute Differenz pro Kanal aus; iteriere, bis sie aufhört zu fallen und das gestapelte Bild keine Verschiebung zeigt. Miss in App-Px und konvertiere explizit: Verwirrende Maßstäbe waren eine wiederkehrende Quelle falscher Koordinaten.
Regeln und warum
- Niemals der persönliche Browser oder das Profil des Prüfers, und nichts, was daraus entnommen wurde (Schriftarten, Icons, Speicher). Wenn jemand Stopp sagt, stoppe sofort jede Browseraktion, einschließlich des Aufräumens.
- Niemals anmelden, niemals Tokens oder Browserspeicher lesen. Wenn eine Aufnahme einen Login erfordert, gibt die Person ihr eigenes Passwort in ihrer eigenen Sitzung ein, oder die Aufnahme findet nicht statt.
- Wiederhergestelltes und aufgezeichnetes Material bleibt privat. Zuerst temporärer Ordner, nur beschnittene Kopien.
- Markiere jeden abgeleiteten Wert. Eine Referenz, die zur Hälfte geraten ist, muss sagen, welche Hälfte.