Communitygithub.com

autoDemoRecordingSkill

Nimm automatisch ein poliertes Demovideo einer Web-App auf – mit oder ohne Sprachausgabe. Steuert die App in einem serverlosen Chromium anhand einer Story-Datei, zeichnet Klicks/Eingaben/Scrollen auf, rendert ein 1920×1080 60fps-Video mit Kamerafahrten, Hervorhebungen, nummerierten Schritten, Untertiteln und Kapiteln, fügt eine Vertonung in der gewählten Sprache hinzu – lokales Qwen3-TTS auf einer NVIDIA GPU, lokales Kokoro auf jeder CPU oder eine Remote-API (OpenAI-kompatibel, ElevenLabs, Alibaba DashScope) – und prüft Bild und Ton numerisch. Funktioniert unter Linux, Windows und macOS sowie mit Claude Code oder Codex.

Was ist autoDemoRecordingSkill?

Diese Skill-Fähigkeit ermöglicht es einem KI-Agenten (Claude Code, Codex u.ä.), aus einer beliebigen Webanwendung automatisch ein fertiges Demovideo zu erstellen. Du schreibst eine Story-Datei, die beschreibt, was gezeigt und (optional) gesagt werden soll; die Skripte übernehmen die Aufzeichnung, das Rendern, die Vertonung und die Qualitätsprüfung. Das Ergebnis ist ein 1920×1080, 60 fps Video mit professionellen Effekten wie Kamerafahrten, Hervorhebungsrahmen, nummerierten Schritten, Untertiteln und Kapitelmarken. Die Vertonung kann in zehn Sprachen (z.B. Deutsch, Englisch, Mandarin) entweder über ein lokales Modell (GPU: Qwen3-TTS, CPU: Kokoro) oder über einen externen API-Dienst (OpenAI-kompatibel, ElevenLabs, DashScope) erfolgen. Vor der Aufnahme fragt der Agent stets nach den Präferenzen des Nutzers (Stumm oder vertont, Sprache, Engine, Stimme) und validiert die Umgebung mit einem Selbsttest. Die Skill-Datei enthält ausführliche Anleitungen zum Einrichten, Schreiben der Story, Aufzeichnen, Prüfen, Rendern und Vertonen, sowie Hinweise zur Fehlerbehebung und zum Datenschutz – sie ist ideal, wenn ein Nutzer ein Produktvideo, einen Screencast, eine Feature-Tour oder eine kommentierte Demo einer Web-App wünscht.

Funktioniert mit✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OrrrGE/autoRecording/tree/main

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

autoRecording

Verwandle eine Web-App in ein fertiges Demovideo. Du schreibst eine Story-Datei, die beschreibt, was gezeigt und was gesagt werden soll; die Skripte übernehmen die Aufzeichnung, das Zeichnen, die Kodierung, die Vertonung und die Prüfung. Das Video kann stumm oder vertont sein – auf Mandarin, Englisch, Japanisch, Koreanisch, Deutsch, Französisch, Spanisch, Italienisch, Portugiesisch oder Russisch, gesprochen von einem lokalen Modell (GPU oder CPU) oder einem vom Nutzer bereitgestellten Remote-Dienst.

story.py ──demo_record.py──► timeline.json + frames/*.jpg
                                  │
                           demo_render.py ──► silent.mp4  (1920×1080, 60 fps)
                                  │
                           demo_voice.py  ──► silent-配音版.mp4 / silent-narrated.mp4   (optional)

0. Frage, bevor du anfängst

Starte nicht mit der Aufnahme, bevor diese Fragen beantwortet sind. Verwende in Claude Code AskUserQuestion; unter Codex oder einem anderen Agenten frage in einfachen Worten und warte auf die Antwort.

  1. Vertonung? Stummvideo oder gesprochene Vertonung. Wenn der Nutzer keine Vertonung benötigt, überspringe alle Vertonungsschritte; das stumme Video ist das Lieferergebnis.
  2. Sprache der Vertonung (und der Untertitel, die das zu lesende Skript sind): 普通话 / English / 日本語 / 한국어 / Deutsch / français / español / italiano / português / русский. Standard: die Sprache der App und der Sprache, in der der Nutzer schreibt.
  3. Engine. Biete an, was diese Maschine tatsächlich kann – führe zuerst python3 scripts/demo_env.py aus und biete nur die Engines an, die als verfügbar aufgelistet werden:
    • lokal Qwen3-TTS (本机 GPU): beste Qualität; benötigt eine NVIDIA GPU mit ~6 GB freiem VRAM und die Qwen-Modelle.
    • lokal Kokoro (本机 CPU): keine GPU nötig, funktioniert unter Windows und macOS; gutes Mandarin und Englisch; Stimmen sind fest (kein Klonen).
    • Remote-API: Der Nutzer stellt den Anbieter (OpenAI-kompatiblen Endpunkt inkl. selbst gehostetem, ElevenLabs oder Alibaba DashScope Qwen-TTS), den Schlüssel und optional eine Basis-URL, ein Modell und eine Stimmen-ID zur Verfügung. Faustregel: Ein lokales Modell, das bereit ist → verwende es; der Nutzer bietet einen API-Schlüssel → verwende die API; keines von beidem → frage, ob Kokoro installiert werden soll (kleiner Download) oder ob es stumm sein soll.
  4. Stimme, falls die Engine eine Auswahl bietet: Biete 3–5 Stimmen mit je einer Zeile an (z. B. Qwen serena / ryan, Kokoro zf_039 / zm_013 / af_maple, eine OpenAI-Stimmen-ID), mit einer sinnvollen Voreinstellung.

Schreibe die Antworten in die Story-Datei – LANGUAGE und VOICE = {'engine': …, 'speaker': …} – damit das gleiche Video wieder erstellt werden kann. Ein Remote-Schlüssel wird niemals in die Story geschrieben: Setze ihn in die Umgebung oder demo_env.py key.

Unverhandelbar

  1. Nimm niemals den Live-Dienst oder echte Daten des Nutzers auf. Starte eine Wegwerfinstanz auf einem anderen Port mit einem eigenen Datenverzeichnis (launch() in der Story-Datei) oder einem dedizierten Demo-Datensatz. Wenn die App nicht isoliert werden kann, frage nach.
  2. Prüfe in Zahlen, nicht durch Anschauen von Bildern. demo_render.py --check und demo_voice.py check sind die Wahrheitsquelle. Behaupter nicht, ein Video sei fertig, während einer der beiden 注意: Probleme meldet.
  3. Berühre keinen laufenden Dienst. Wenn der gewählte Port bereits belegt ist, wähle einen anderen Port; stoppe niemals den Prozess eines anderen.
  4. Die Vertonung ist optional und ihre Engine ist die Wahl des Nutzers. Qwen benötigt eine NVIDIA GPU; Kokoro läuft auf jeder CPU; Remote-Dienste benötigen einen Schlüssel und senden die Untertitel an diesen Dienst – sage das, bevor du einen verwendest.

Layout

SKILL.md                  diese Datei
scripts/demo_env.py       Maschine prüfen; Python für die Fähigkeit bereitstellen; Modelle holen; Schlüssel merken
scripts/demo_record.py    App steuern und Frames + Timeline aufzeichnen
scripts/demo_render.py    Stummvideo zeichnen und kodieren; numerische Prüfungen
demo_voice.py     Vertonung: Zeilen, Anker, Takes, Hören, Bauen, Prüfen
scripts/demo_tts.py       Die Engines: Kokoro (CPU) und die Remote-Dienste
scripts/demo_text.py      Wie Untertitel gesprochen, gezählt und verglichen werden, pro Sprache
scripts/demo_common.py    Gemeinsame Pfade, Einstellungen, Browser, Geheimnisse
story_template.py         Kopiere dies, um eine Story für eine App zu schreiben
examples/selftest/        Eine Seite und zwei Stories (Mandarin story.py, Englisch story-en.py)
references/               environment.md, director.md, narration.md, engines.md

Alle Befehle unten beziehen sich auf das Verzeichnis dieser Fähigkeit; unter Windows schreibe py -3 (oder python), wo python3 steht. Installiere als persönliche Fähigkeit, indem du es nach ~/.claude/skills/autoDemoRecordingSkill (Claude Code) oder ~/.agents/skills/autoDemoRecordingSkill (Codex) klonst.

1. Maschine prüfen

cd ~/.claude/skills/autoDemoRecordingSkill
python3 scripts/demo_env.py            # schreibgeschützt: was ist da, was fehlt, wie bekommt man es, welche Engines können sprechen
python3 scripts/demo_env.py setup      # Pakete für Aufnahme/Rendering/Prüfung (ein paar hundert MB)
python3 scripts/demo_env.py setup --models   # + Whisper large-v3 und CAM++ Prüfungen (~3 GB)
python3 scripts/demo_env.py setup --kokoro   # + Kokoro, die CPU-Stimme (~400 MB)

Bereite für die Qwen-Engine auch ein Python mit CUDA torch und faster-qwen3-tts sowie die beiden Qwen3-TTS 1.7B Modelle vor; für eine Remote-Engine merke ihren Schlüssel einmal mit python3 scripts/demo_env.py key openai=… (oder einer Umgebungsvariable). Merke jeden nicht standardmäßigen Pfad einmal:

python3 scripts/demo_env.py set chromium=/pfad/zu/chromium tts_python=/pfad/zu/python \
    tts_custom=/pfad/zu/Qwen3-TTS-12Hz-1.7B-CustomVoice tts_base=/pfad/zu/Qwen3-TTS-12Hz-1.7B-Base

Die eigenen Dateien der Fähigkeit liegen in ~/.cache/auto-demo-recording (überschreibe mit AUTO_DEMO_HOME). references/environment.md enthält die Details für Windows, macOS und Linux.

2. Installation mit dem Selbsttest validieren

PY=~/.cache/auto-demo-recording/venv/bin/python
S=~/.claude/skills/autoDemoRecordingSkill
$PY $S/scripts/demo_record.py --story $S/examples/selftest/story.py --work /tmp/demo-selbsttest
$PY $S/scripts/demo_render.py --work /tmp/demo-selbsttest --check
$PY $S/scripts/demo_render.py --work /tmp/demo-selbsttest --out /tmp/demo-selbsttest/selbsttest.mp4
$PY $S/scripts/demo_voice.py --work /tmp/demo-selbsttest      # nur wenn eine Vertonung gewünscht ist

story-en.py ist der gleiche Test mit englischen Untertiteln und dem englischen Vertonungspfad. Die Aufzeichnung gibt eine JSON-Zusammenfassung aus (Länge, Frames, Browser, Fehler). selbtest.mp4 sollte 1920×1080, 60 fps, etwa 64 s sein.

3. Die Story schreiben

Kopiere story_template.py neben die App (oder irgendwohin) und fülle es aus. Der Vertrag:

NameWas es ist
TITLE, SUBTITLE, CHAPTERSText im oberen Band; Kapitel werden auch auf der Seite gezeichnet
LANGUAGEDie Sprache der Untertitel und der Vertonung (zh, en, ja, ko, de, fr, es, it, pt, ru)
VIEW, DENSITYSeitengröße in CSS-Px und Geräteskalierung; Breite/Höhe muss 64:31 sein
PORTPort der Wegwerfinstanz
LOOK{'accent': '#2f6fed', 'note': '#ee5c18', 'fast': '快进'} – fast in der Sprache des Untertitelbands
VOICEVertonung: engine, speaker, und für einen Remote-Dienst model / base_url (niemals der Schlüssel); siehe references/engines.md
READINGLesegeschwindigkeit für Untertitel; Standard: die eigene der Sprache (5,5 Zeichen/s für Mandarin)
launch(work, port){'command': [...], 'url': ..., 'env': {...}, 'wipe': [...], 'cwd': ..., 'ready': ..., 'timeout': ...}; oder stattdessen URL definieren
guard(d)optional; frühzeitig fehlschlagen, wenn die Seite nicht im beabsichtigten Anfangszustand ist
story(d)Die eigentliche Regie: await d.say(...), await d.click(...), etc.

Das d-Objekt ist der Director. Seine vollständige API, das Zeitmodell, die Markierungs-/Platzierungsregeln und gängige Muster sind in references/director.md. Lies es, bevor du eine Story schreibst; der Rest dieser Datei ist nur der Arbeitsablauf.

Faustregeln für eine gute Story:

  • Eine Idee pro Untertitel; sage, was der Zuschauer bemerken soll, und die Ergebnisse, die die Seite tatsächlich zeigt.
  • Bevorzuge d.say() gefolgt von d.read(), bevor du weitermachst; Untertitel sind auch das Vertonungsskript.
  • Schreibe Untertitel in LANGUAGE. Bei einem stummen Video werden sie trotzdem auf dem Bildschirm gelesen, also halte sie kurz.
  • Nummeriere die Klicks (await d.click(locator, '添加')) und markiere nur, was wichtig ist.
  • Spiele lange Wartezeiten schnell ab (await d.until(..., speed=4)), anstatt sie herauszuschneiden.

4. Aufzeichnen

$PY $S/scripts/demo_record.py --story /pfad/zu/story.py --work /tmp/demo-work --quick
$PY $S/scripts/demo_record.py --story /pfad/zu/story.py --work /tmp/demo-work

--quick ist eine schnelle Testrunde: Sie überspringt die Pausen des Zuschauers und wartet nur auf die App. Verwende sie, um Selektoren- und Zustandsfehler zu finden. Nimm danach richtig auf; work/timeline.json wird überschrieben und die alten Frames werden entfernt.

Vor der Aufnahme löscht das Skript nur frames und die in wipe aufgeführten Pfade, prüft, ob der Port frei ist, startet den Befehl aus der Story und wartet, bis die App antwortet. Das Protokoll der App ist work/server.log. Unter Windows wird die App und alles, was sie startet, mit taskkill /T gestoppt; anderswo wird die gesamte Prozessgruppe gestoppt.

5. Prüfen und rendern

$PY $S/scripts/demo_render.py --work /tmp/demo-work --check
$PY $S/scripts/demo_render.py --work /tmp/demo-work --out /tmp/demo-work/demo.mp4

--check überprüft, ohne Bilder anzusehen: markierte Regionen sind nicht leer und stimmen mit den expect-Farben überein, Labels liegen nicht auf Seiteninhalten, Boxen sind innerhalb der Kamera, Schritte/Klicks sind sichtbar, Untertitel passen, und Glyphen sind in der Schriftart vorhanden. Korrigiere die Geschichte oder das Timing und nimm erneut auf. Das Rendern vergleicht auch ausgegebene Beispiel-Frames mit den gezeichneten Frames und schreibt work/render.json.

Wenn der Nutzer keine Vertonung wünscht, ist das stumme Video das Lieferergebnis – stoppe hier und berichte.

6. Vertonen (nur wenn gewünscht)

$PY $S/scripts/demo_voice.py --work /tmp/demo-work            # alle Schritte
$PY $S/scripts/demo_voice.py lines --work /tmp/demo-work      # zuerst Aussprache/Timing prüfen

Es schreibt das vertonte Video neben das stumme: <name>-配音版.mp4 für Mandarin, <name>-narrated.mp4 für die anderen Sprachen. Die Schritte sind fortsetzbar: Referenzclip → (Qwen: Probe) → Takes → Sprach-/Sprecherprüfungen → auswählen/einpassen/mischen → überprüfen. Lies references/narration.md für Einstellungen, Aussprachekorrekturen und enge Zeilen, und references/engines.md für die Engines, ihre Stimmen, Schlüssel und Kosten. Die abschließende check muss 没有发现问题 ausgeben; jede Zeile 听写有出入 bedeutet, dass die Stimme etwas anderes gesagt hat – korrigiere den Untertitel, füge eine say-Überschreibung hinzu, sprich diese Zeile neu ein oder wähle eine andere Stimme.

7. Bericht

Gib dem Nutzer den Ausgabepfad (stumm und, falls gewünscht, vertont), die Dauer, Auflösung/Bildrate, Anzahl der Untertitel/Markierungen, die Vertonungs-Engine und -Stimme und das Ergebnis der Vertonungsprüfung. Erwähne alle verbleibenden 注意: Warnungen und verstecke niemals eine fehlgeschlagene Prüfung.

Fehlerbehebung erster Schritte

  • 缺 … → führe python3 scripts/demo_env.py aus und folge der → Zeile.
  • Port bereits belegt → ändere PORT in der Story; stoppe den vorhandenen Dienst nicht.
  • 点不到这个元素 → das Element ist verdeckt oder außerhalb des Bildschirms; scrolle/zoome zuerst oder wähle ein anderes Ziel.
  • Seitenbreite stimmt nicht → die Seite ist bei VIEW nicht responsiv; passe VIEW oder die Seite an, behalte das 64:31 Verhältnis bei.
  • Vertonungszeile zu knapp → kürze diesen Untertitel oder gib ihm mehr Zeit, dann nimm erneut auf.
  • Kokoro 的词表里没有这些词 → diese Wörter werden von Kokoro übersprungen; füge sie in der Schreibweise des Untertitels zu VOICE['say'] hinzu (z.B. "API": "A P I", "exported": "export ed"), oder verwende Qwen oder eine Remote-Engine für Englisch.
  • Schriftboxem (□□□) → installiere unter Linux Noto Sans CJK; Windows und macOS haben ihre eigenen chinesischen Schriftarten; oder setze DEMO_FONT_* (siehe references/environment.md).

Unter Codex

Codex lädt die gleiche SKILL.md. Es hat kein AskUserQuestion Werkzeug: Stelle die Schritt-0-Fragen in einfachen Worten. Es kann mit einem anderen PATH laufen – verwende py -3 oder den vollständigen Pfad des Python dieser Fähigkeit. Installiere die Fähigkeit mit git clone … ~/.agents/skills/autoDemoRecordingSkill (oder lasse den Codex-Fähigkeiteninstallierer sie in ~/.codex/skills ablegen); beide werden gefunden. agents/openai.yaml gibt ihr einen Anzeigenamen und einen Startprompt.

Datenschutz

Der Arbeitsordner enthält Screenshots von dem, was die App gezeigt hat. Verwende eine Wegwerfinstanz mit Beispieldaten, niemals echte Konten, Kunden oder Produktionsdaten. Übernimm work/ oder gerenderte Videos nicht ohne Überprüfung. timeline.json zeichnet auch den Story-Dateipfad und die Aufnahmezeit auf. Ein Remote-Vertonungsdienst erhält den Untertiteltext jeder Zeile; eine lokale Engine sendet nichts.

Verwandte Skills