autoRecording
Verwandle eine Web-App in ein fertiges Demovideo. Du schreibst eine Story-Datei, die beschreibt, was gezeigt und was gesagt werden soll; die Skripte übernehmen die Aufzeichnung, das Zeichnen, die Kodierung, die Vertonung und die Prüfung. Das Video kann stumm oder vertont sein – auf Mandarin, Englisch, Japanisch, Koreanisch, Deutsch, Französisch, Spanisch, Italienisch, Portugiesisch oder Russisch, gesprochen von einem lokalen Modell (GPU oder CPU) oder einem vom Nutzer bereitgestellten Remote-Dienst.
story.py ──demo_record.py──► timeline.json + frames/*.jpg
│
demo_render.py ──► silent.mp4 (1920×1080, 60 fps)
│
demo_voice.py ──► silent-配音版.mp4 / silent-narrated.mp4 (optional)
0. Frage, bevor du anfängst
Starte nicht mit der Aufnahme, bevor diese Fragen beantwortet sind. Verwende in Claude Code AskUserQuestion; unter Codex oder einem anderen Agenten frage in einfachen Worten und warte auf die Antwort.
- Vertonung? Stummvideo oder gesprochene Vertonung. Wenn der Nutzer keine Vertonung benötigt, überspringe alle Vertonungsschritte; das stumme Video ist das Lieferergebnis.
- Sprache der Vertonung (und der Untertitel, die das zu lesende Skript sind): 普通话 / English / 日本語 / 한국어 / Deutsch / français / español / italiano / português / русский. Standard: die Sprache der App und der Sprache, in der der Nutzer schreibt.
- Engine. Biete an, was diese Maschine tatsächlich kann – führe zuerst
python3 scripts/demo_env.pyaus und biete nur die Engines an, die als verfügbar aufgelistet werden:- lokal Qwen3-TTS (本机 GPU): beste Qualität; benötigt eine NVIDIA GPU mit ~6 GB freiem VRAM und die Qwen-Modelle.
- lokal Kokoro (本机 CPU): keine GPU nötig, funktioniert unter Windows und macOS; gutes Mandarin und Englisch; Stimmen sind fest (kein Klonen).
- Remote-API: Der Nutzer stellt den Anbieter (OpenAI-kompatiblen Endpunkt inkl. selbst gehostetem, ElevenLabs oder Alibaba DashScope Qwen-TTS), den Schlüssel und optional eine Basis-URL, ein Modell und eine Stimmen-ID zur Verfügung. Faustregel: Ein lokales Modell, das bereit ist → verwende es; der Nutzer bietet einen API-Schlüssel → verwende die API; keines von beidem → frage, ob Kokoro installiert werden soll (kleiner Download) oder ob es stumm sein soll.
- Stimme, falls die Engine eine Auswahl bietet: Biete 3–5 Stimmen mit je einer Zeile an (z. B. Qwen
serena/ryan, Kokorozf_039/zm_013/af_maple, eine OpenAI-Stimmen-ID), mit einer sinnvollen Voreinstellung.
Schreibe die Antworten in die Story-Datei – LANGUAGE und VOICE = {'engine': …, 'speaker': …} – damit das gleiche Video wieder erstellt werden kann. Ein Remote-Schlüssel wird niemals in die Story geschrieben: Setze ihn in die Umgebung oder demo_env.py key.
Unverhandelbar
- Nimm niemals den Live-Dienst oder echte Daten des Nutzers auf. Starte eine Wegwerfinstanz auf einem anderen Port mit einem eigenen Datenverzeichnis (
launch()in der Story-Datei) oder einem dedizierten Demo-Datensatz. Wenn die App nicht isoliert werden kann, frage nach. - Prüfe in Zahlen, nicht durch Anschauen von Bildern.
demo_render.py --checkunddemo_voice.py checksind die Wahrheitsquelle. Behaupter nicht, ein Video sei fertig, während einer der beiden注意:Probleme meldet. - Berühre keinen laufenden Dienst. Wenn der gewählte Port bereits belegt ist, wähle einen anderen Port; stoppe niemals den Prozess eines anderen.
- Die Vertonung ist optional und ihre Engine ist die Wahl des Nutzers. Qwen benötigt eine NVIDIA GPU; Kokoro läuft auf jeder CPU; Remote-Dienste benötigen einen Schlüssel und senden die Untertitel an diesen Dienst – sage das, bevor du einen verwendest.
Layout
SKILL.md diese Datei
scripts/demo_env.py Maschine prüfen; Python für die Fähigkeit bereitstellen; Modelle holen; Schlüssel merken
scripts/demo_record.py App steuern und Frames + Timeline aufzeichnen
scripts/demo_render.py Stummvideo zeichnen und kodieren; numerische Prüfungen
demo_voice.py Vertonung: Zeilen, Anker, Takes, Hören, Bauen, Prüfen
scripts/demo_tts.py Die Engines: Kokoro (CPU) und die Remote-Dienste
scripts/demo_text.py Wie Untertitel gesprochen, gezählt und verglichen werden, pro Sprache
scripts/demo_common.py Gemeinsame Pfade, Einstellungen, Browser, Geheimnisse
story_template.py Kopiere dies, um eine Story für eine App zu schreiben
examples/selftest/ Eine Seite und zwei Stories (Mandarin story.py, Englisch story-en.py)
references/ environment.md, director.md, narration.md, engines.md
Alle Befehle unten beziehen sich auf das Verzeichnis dieser Fähigkeit; unter Windows schreibe py -3 (oder python), wo python3 steht. Installiere als persönliche Fähigkeit, indem du es nach ~/.claude/skills/autoDemoRecordingSkill (Claude Code) oder ~/.agents/skills/autoDemoRecordingSkill (Codex) klonst.
1. Maschine prüfen
cd ~/.claude/skills/autoDemoRecordingSkill
python3 scripts/demo_env.py # schreibgeschützt: was ist da, was fehlt, wie bekommt man es, welche Engines können sprechen
python3 scripts/demo_env.py setup # Pakete für Aufnahme/Rendering/Prüfung (ein paar hundert MB)
python3 scripts/demo_env.py setup --models # + Whisper large-v3 und CAM++ Prüfungen (~3 GB)
python3 scripts/demo_env.py setup --kokoro # + Kokoro, die CPU-Stimme (~400 MB)
Bereite für die Qwen-Engine auch ein Python mit CUDA torch und faster-qwen3-tts sowie die beiden Qwen3-TTS 1.7B Modelle vor; für eine Remote-Engine merke ihren Schlüssel einmal mit python3 scripts/demo_env.py key openai=… (oder einer Umgebungsvariable). Merke jeden nicht standardmäßigen Pfad einmal:
python3 scripts/demo_env.py set chromium=/pfad/zu/chromium tts_python=/pfad/zu/python \
tts_custom=/pfad/zu/Qwen3-TTS-12Hz-1.7B-CustomVoice tts_base=/pfad/zu/Qwen3-TTS-12Hz-1.7B-Base
Die eigenen Dateien der Fähigkeit liegen in ~/.cache/auto-demo-recording (überschreibe mit AUTO_DEMO_HOME). references/environment.md enthält die Details für Windows, macOS und Linux.
2. Installation mit dem Selbsttest validieren
PY=~/.cache/auto-demo-recording/venv/bin/python
S=~/.claude/skills/autoDemoRecordingSkill
$PY $S/scripts/demo_record.py --story $S/examples/selftest/story.py --work /tmp/demo-selbsttest
$PY $S/scripts/demo_render.py --work /tmp/demo-selbsttest --check
$PY $S/scripts/demo_render.py --work /tmp/demo-selbsttest --out /tmp/demo-selbsttest/selbsttest.mp4
$PY $S/scripts/demo_voice.py --work /tmp/demo-selbsttest # nur wenn eine Vertonung gewünscht ist
story-en.py ist der gleiche Test mit englischen Untertiteln und dem englischen Vertonungspfad. Die Aufzeichnung gibt eine JSON-Zusammenfassung aus (Länge, Frames, Browser, Fehler). selbtest.mp4 sollte 1920×1080, 60 fps, etwa 64 s sein.
3. Die Story schreiben
Kopiere story_template.py neben die App (oder irgendwohin) und fülle es aus. Der Vertrag:
| Name | Was es ist |
|---|---|
TITLE, SUBTITLE, CHAPTERS | Text im oberen Band; Kapitel werden auch auf der Seite gezeichnet |
LANGUAGE | Die Sprache der Untertitel und der Vertonung (zh, en, ja, ko, de, fr, es, it, pt, ru) |
VIEW, DENSITY | Seitengröße in CSS-Px und Geräteskalierung; Breite/Höhe muss 64:31 sein |
PORT | Port der Wegwerfinstanz |
LOOK | {'accent': '#2f6fed', 'note': '#ee5c18', 'fast': '快进'} – fast in der Sprache des Untertitelbands |
VOICE | Vertonung: engine, speaker, und für einen Remote-Dienst model / base_url (niemals der Schlüssel); siehe references/engines.md |
READING | Lesegeschwindigkeit für Untertitel; Standard: die eigene der Sprache (5,5 Zeichen/s für Mandarin) |
launch(work, port) | {'command': [...], 'url': ..., 'env': {...}, 'wipe': [...], 'cwd': ..., 'ready': ..., 'timeout': ...}; oder stattdessen URL definieren |
guard(d) | optional; frühzeitig fehlschlagen, wenn die Seite nicht im beabsichtigten Anfangszustand ist |
story(d) | Die eigentliche Regie: await d.say(...), await d.click(...), etc. |
Das d-Objekt ist der Director. Seine vollständige API, das Zeitmodell, die Markierungs-/Platzierungsregeln und gängige Muster sind in references/director.md. Lies es, bevor du eine Story schreibst; der Rest dieser Datei ist nur der Arbeitsablauf.
Faustregeln für eine gute Story:
- Eine Idee pro Untertitel; sage, was der Zuschauer bemerken soll, und die Ergebnisse, die die Seite tatsächlich zeigt.
- Bevorzuge
d.say()gefolgt vond.read(), bevor du weitermachst; Untertitel sind auch das Vertonungsskript. - Schreibe Untertitel in
LANGUAGE. Bei einem stummen Video werden sie trotzdem auf dem Bildschirm gelesen, also halte sie kurz. - Nummeriere die Klicks (
await d.click(locator, '添加')) und markiere nur, was wichtig ist. - Spiele lange Wartezeiten schnell ab (
await d.until(..., speed=4)), anstatt sie herauszuschneiden.
4. Aufzeichnen
$PY $S/scripts/demo_record.py --story /pfad/zu/story.py --work /tmp/demo-work --quick
$PY $S/scripts/demo_record.py --story /pfad/zu/story.py --work /tmp/demo-work
--quick ist eine schnelle Testrunde: Sie überspringt die Pausen des Zuschauers und wartet nur auf die App. Verwende sie, um Selektoren- und Zustandsfehler zu finden. Nimm danach richtig auf; work/timeline.json wird überschrieben und die alten Frames werden entfernt.
Vor der Aufnahme löscht das Skript nur frames und die in wipe aufgeführten Pfade, prüft, ob der Port frei ist, startet den Befehl aus der Story und wartet, bis die App antwortet. Das Protokoll der App ist work/server.log. Unter Windows wird die App und alles, was sie startet, mit taskkill /T gestoppt; anderswo wird die gesamte Prozessgruppe gestoppt.
5. Prüfen und rendern
$PY $S/scripts/demo_render.py --work /tmp/demo-work --check
$PY $S/scripts/demo_render.py --work /tmp/demo-work --out /tmp/demo-work/demo.mp4
--check überprüft, ohne Bilder anzusehen: markierte Regionen sind nicht leer und stimmen mit den expect-Farben überein, Labels liegen nicht auf Seiteninhalten, Boxen sind innerhalb der Kamera, Schritte/Klicks sind sichtbar, Untertitel passen, und Glyphen sind in der Schriftart vorhanden. Korrigiere die Geschichte oder das Timing und nimm erneut auf. Das Rendern vergleicht auch ausgegebene Beispiel-Frames mit den gezeichneten Frames und schreibt work/render.json.
Wenn der Nutzer keine Vertonung wünscht, ist das stumme Video das Lieferergebnis – stoppe hier und berichte.
6. Vertonen (nur wenn gewünscht)
$PY $S/scripts/demo_voice.py --work /tmp/demo-work # alle Schritte
$PY $S/scripts/demo_voice.py lines --work /tmp/demo-work # zuerst Aussprache/Timing prüfen
Es schreibt das vertonte Video neben das stumme: <name>-配音版.mp4 für Mandarin, <name>-narrated.mp4 für die anderen Sprachen. Die Schritte sind fortsetzbar: Referenzclip → (Qwen: Probe) → Takes → Sprach-/Sprecherprüfungen → auswählen/einpassen/mischen → überprüfen. Lies references/narration.md für Einstellungen, Aussprachekorrekturen und enge Zeilen, und references/engines.md für die Engines, ihre Stimmen, Schlüssel und Kosten. Die abschließende check muss 没有发现问题 ausgeben; jede Zeile 听写有出入 bedeutet, dass die Stimme etwas anderes gesagt hat – korrigiere den Untertitel, füge eine say-Überschreibung hinzu, sprich diese Zeile neu ein oder wähle eine andere Stimme.
7. Bericht
Gib dem Nutzer den Ausgabepfad (stumm und, falls gewünscht, vertont), die Dauer, Auflösung/Bildrate, Anzahl der Untertitel/Markierungen, die Vertonungs-Engine und -Stimme und das Ergebnis der Vertonungsprüfung. Erwähne alle verbleibenden 注意: Warnungen und verstecke niemals eine fehlgeschlagene Prüfung.
Fehlerbehebung erster Schritte
缺 …→ führepython3 scripts/demo_env.pyaus und folge der→Zeile.- Port bereits belegt → ändere
PORTin der Story; stoppe den vorhandenen Dienst nicht. 点不到这个元素→ das Element ist verdeckt oder außerhalb des Bildschirms; scrolle/zoome zuerst oder wähle ein anderes Ziel.- Seitenbreite stimmt nicht → die Seite ist bei
VIEWnicht responsiv; passeVIEWoder die Seite an, behalte das 64:31 Verhältnis bei. - Vertonungszeile zu knapp → kürze diesen Untertitel oder gib ihm mehr Zeit, dann nimm erneut auf.
Kokoro 的词表里没有这些词→ diese Wörter werden von Kokoro übersprungen; füge sie in der Schreibweise des Untertitels zuVOICE['say']hinzu (z.B."API": "A P I","exported": "export ed"), oder verwende Qwen oder eine Remote-Engine für Englisch.- Schriftboxem (□□□) → installiere unter Linux Noto Sans CJK; Windows und macOS haben ihre eigenen chinesischen Schriftarten; oder setze
DEMO_FONT_*(siehereferences/environment.md).
Unter Codex
Codex lädt die gleiche SKILL.md. Es hat kein AskUserQuestion Werkzeug: Stelle die Schritt-0-Fragen in einfachen Worten. Es kann mit einem anderen PATH laufen – verwende py -3 oder den vollständigen Pfad des Python dieser Fähigkeit. Installiere die Fähigkeit mit git clone … ~/.agents/skills/autoDemoRecordingSkill (oder lasse den Codex-Fähigkeiteninstallierer sie in ~/.codex/skills ablegen); beide werden gefunden. agents/openai.yaml gibt ihr einen Anzeigenamen und einen Startprompt.
Datenschutz
Der Arbeitsordner enthält Screenshots von dem, was die App gezeigt hat. Verwende eine Wegwerfinstanz mit Beispieldaten, niemals echte Konten, Kunden oder Produktionsdaten. Übernimm work/ oder gerenderte Videos nicht ohne Überprüfung. timeline.json zeichnet auch den Story-Dateipfad und die Aufnahmezeit auf. Ein Remote-Vertonungsdienst erhält den Untertiteltext jeder Zeile; eine lokale Engine sendet nichts.