Was macht Browser-Video-Aufzeichnung?
Abhängigkeitsmodell
Unterteile den Workflow in drei Ebenen:
- Browsersteuerung und Quellbilder: Verwende den Codex-In-App-Browser über das Browser-Skill/die MCP. Verwende kein Chrome, wenn der Nutzer nach dem Codex-Browser fragt oder das Projekt dagegen spricht. Die Browser-Ebene liefert echte Screenshots und echte Klick-/Scroll-/Navigationszustände.
- Lokaler Videorenderer: Verwende das gebündelte Python-Skript, um Screenshots in ein MP4 mit natürlichem macOS-Cursor, subtiler Klick-Skalierung und ruhigem Zoom-Follow-Framing zu rendern. Dies erfordert keine Bildschirmaufzeichnungs-MCP.
- Optionale native Rekorder-Integration: Verwende eine native Aufzeichnungs-MCP nur, wenn sie aufrufbar und explizit nützlich ist, um eine echte App-Aufnahme zu starten/stoppen oder ein generiertes Projekt zu öffnen. Falls nicht verfügbar, blockiert oder unfähig, die Codex-Browser-Oberfläche aufzunehmen, falle auf den Screenshot-zu-Video-Renderer zurück und erkläre den Fallback.
Eigenständige Ausführung
Dieses Skill reicht für eine andere Codex-Instanz aus, um das Python-Rendering durchzuführen, solange der gesamte Skill-Ordner installiert ist, einschließlich scripts/render_browser_demo.py. Codex sollte das gebündelte Skript ausführen, anstatt den Renderer neu zu erstellen.
Erforderliche lokale Werkzeuge:
python3- Python-Paket
Pillow ffmpegundffprobe
Die optionale macOS-Cursor-Extraktion verwendet swift und /usr/sbin/screencapture. Falls diese nicht verfügbar sind, stelle ein transparentes PNG über cursor_asset bereit und setze cursor_hotspot in der Konfiguration.
Das Browser-Skill/die MCP wird weiterhin benötigt, um frische Codex-In-App-Browser-Screenshots zu erhalten. Falls nicht verfügbar, verwende die beste verfügbare Browser-Automatisierungs-Screenshot-Quelle und gib den Fallback an.
Optionale native Rekorder-Unterstützung
Für native App-Aufzeichnung überprüfe, ob die MCP folgendes unterstützt:
- Verwende
frameRate: 60. - Verwende
resolutionRawValue: "4K". - Verwende
ratioPresetRawValue: "4:3"für Bereichsaufnahmen. - Verwende einen expliziten
selectedRegionOnScreen, wenn auf einen eingebetteten Browser-Viewport zugeschnitten wird.
Für den lokalen Renderer bedeutet 4K 4:3 3840x2880. Wenn ein nativer Rekorder ein 4K-Enum bereitstellt, behandle es als appseitige Auflösungsvoreinstellung und kombiniere es mit der 4:3-Bereichsauswahl bei der Aufnahme über diese MCP.
Aufzeichnungs-Workflow
Verwende zuerst browser:control-in-app-browser. Nach dem Laden der Dokumentation steuere den In-App-Browser mit der Node/Browser-API:
- Setze den Viewport auf
1920x1440für die 4:3 4K-Ausgabe und setze ihn vor dem Abschluss zurück. - Navigiere zur angeforderten Seite und führe tatsächliche Klicks, Rücksprünge, Suchen und Scrollvorgänge aus.
- Speichere nach jeder wichtigen Zustandsänderung reine Browser-Screenshots. Verwende Namen wie
01-results-top.png,02-after-card-click.png,03-back-results.png. - Notiere die Viewport-Koordinaten jedes Klick-/Scroll-Ziels. Der endgültige Cursor-Pfad sollte auf diesen Punkten landen, pausieren, klicken und dann zum nächsten bedeutenden Punkt weitergehen.
Vermeide Desktop-Koordinaten-Automatisierung, es sei denn der Nutzer benötigt explizit System-UI. Die Sichtbarkeit des Codex-Browsers bietet möglicherweise keine aufnahmefähige macOS-Oberfläche; Screenshots von der Browser-API sind die zuverlässige Quelle.
Bewegungsregeln
Lass den Cursor zielgerichtet wirken:
- Verwende spärliche, meist gerade Cursor-Pfade.
- Halte kurz vor dem Klick auf dem Ziel inne.
- Irre nicht über nicht zusammenhängende UI-Elemente.
- Lass den Seitenübergang nach dem Klick stattfinden, nicht davor.
- Verwende nur subtiles Klick-Feedback: Skalierungs-Dipp/Rückprall, keine dekorativen Ringe, es sei denn, dies wurde angefordert.
- Halte das Zoom-Follow ruhiger als den Cursor. Die Kamera sollte den angeklickten Inhalt einrahmen, nicht jeder kleinen Mausbewegung hinterherjagen.
Standard visuelles Ziel:
- Echter macOS-Zeiger, extrahiert aus dem Compositor, oder ein vorhandenes transparentes Cursor-Asset.
- Cursor-Skalierung
3.0, entsprechend dem großen Cursor-Stil, der häufig in bearbeiteten Demo-Aufzeichnungen verwendet wird. - Klick-Animation-Stärke
15für einen subtilen Klick-Skalierungs-Dipp. - Rotationsstärke bis zu
8deg, nur aus horizontaler Geschwindigkeit.
Render-Skript
Verwende scripts/render_browser_demo.py für deterministische 60-fps 4:3 4K-Ausgabe:
python3 /pfad/zu/browser-video-recording/scripts/render_browser_demo.py \
--config /tmp/browser-demo-config.json \
--output /tmp/browser-demo-4x3-4k-60fps.mp4
Generiere eine Startkonfiguration:
python3 /pfad/zu/browser-video-recording/scripts/render_browser_demo.py --write-template
Die Konfiguration liefert:
shots: Zuordnung von Zustandsnamen zu Screenshot-PNG-Pfaden.scene_starts:[Zeit, ShotName, Übergang]-Einträge.cursor_keys:[Zeit, x, y]-Viewport-Koordinaten-Einträge.camera_keys:[Zeit, x, y, Zoom]-Einträge.click_times: Klick-Zeitstempel.duration,fps,output_size,source_size,cursor_scale.
Bevorzugte Standardwerte:
{
"fps": 60,
"output_size": [3840, 2880],
"source_size": [1920, 1440]
}
Wenn cursor_asset ausgelassen wird, zeigt das Skript kurz eine einfarbige Überlagerung und verwendet screencapture, um den echten aktuellen macOS-Cursor in ein transparentes PNG zu extrahieren. Dies ist lokale Rendering-Unterstützung, keine MCP-Abhängigkeit.
Überprüfung
Überprüfe immer das ausgelieferte Video:
ffprobe -v error \
-show_entries stream=codec_name,width,height,r_frame_rate \
-show_entries format=duration,size \
-of json /pfad/zu/ausgabe.mp4
Extrahiere mindestens ein Miniaturbild aus der Mitte des Videos und überprüfe es:
ffmpeg -y -ss 8 -i /pfad/zu/ausgabe.mp4 -frames:v 1 -update 1 /tmp/browser-demo-thumb.png
Bestätige:
- Auflösung entspricht der angeforderten Ausgabe, normalerweise
3840x2880für 4:3 4K. - Bildrate ist
60/1oder gleichwertig. - Dauer entspricht der Anfrage.
- Cursor ist sichtbar, natürlich und auf dem Ziel.
- Das Video ist auf den Browser-Inhalt zugeschnitten, nicht auf den Desktop.
- Die Browser-Viewport-Überschreibung wurde zurückgesetzt.