autoRecording
Transformez une application web en une vidéo de démonstration terminée. Vous écrivez un fichier d'histoire qui décrit ce qu'il faut montrer et ce qu'il faut dire ; les scripts effectuent l'enregistrement, le dessin, l'encodage, la narration et la vérification. La vidéo peut être silencieuse ou narrée, en mandarin, anglais, japonais, coréen, allemand, français, espagnol, italien, portugais ou russe, énoncée par un modèle local (GPU ou CPU) ou un service distant fourni par l'utilisateur.
story.py ──demo_record.py──► timeline.json + frames/*.jpg
│
demo_render.py ──► silent.mp4 (1920×1080, 60 fps)
│
demo_voice.py ──► silent-配音版.mp4 / silent-narrated.mp4 (optionnel)
0. Demandez avant tout
Ne commencez pas l'enregistrement avant d'avoir obtenu les réponses suivantes. Dans Claude Code, utilisez AskUserQuestion ; sous Codex ou tout autre agent, demandez en termes simples et attendez la réponse.
- Narration ? Vidéo silencieuse ou avec narration parlée. Si l'utilisateur n'a pas besoin de narration, ignorez chaque étape de narration ; la vidéo silencieuse est le livrable.
- Langue de la narration (et des sous-titres, qui sont le script qu'elle lit) : 普通话 / English / 日本語 / 한국어 / Deutsch / français / español / italiano / português / русский. Par défaut : la langue de l'application et de ce que l'utilisateur écrit.
- Moteur. Proposez ce que cette machine peut réellement faire — lancez d'abord
python3 scripts/demo_env.pyet n'offrez que les moteurs qu'il liste comme disponibles :- Qwen3-TTS local (GPU local) : meilleure qualité ; nécessite un GPU NVIDIA avec ~6 Go de VRAM libre et les modèles Qwen.
- Kokoro local (CPU local) : pas besoin de GPU, fonctionne sous Windows et macOS ; bon mandarin et anglais ; les voix sont fixes (pas de clonage).
- API distante : l'utilisateur fournit le fournisseur (point de terminaison compatible OpenAI incl. auto-hébergé, ElevenLabs, ou Alibaba DashScope Qwen-TTS), la clé et éventuellement une URL de base, un modèle et un identifiant de voix. Règle générale : un modèle local prêt → utilisez-le ; l'utilisateur propose une clé API → utilisez l'API ; ni l'un ni l'autre → demandez s'il faut installer Kokoro (petit téléchargement) ou passer en silencieux.
- Voix, si le moteur offre un choix : proposez 3 à 5 voix avec une phrase chacune (par exemple Qwen
serena/ryan, Kokorozf_039/zm_013/af_maple, un identifiant de voix OpenAI), avec un choix par défaut raisonnable.
Écrivez les réponses dans le fichier d'histoire — LANGUAGE et VOICE = {'engine': …, 'speaker': …} — afin que la même vidéo puisse être refaite. Une clé distante n'est jamais écrite dans l'histoire : placez-la dans l'environnement ou dans demo_env.py key.
Non-négociables
- N'enregistrez jamais le service en direct ou les données réelles de l'utilisateur. Lancez une instance jetable sur un autre port avec son propre répertoire de données (
launch()dans le fichier d'histoire), ou un jeu de données de démonstration dédié. Si l'application ne peut pas être isolée, demandez. - Vérifiez par les chiffres, pas en regardant les images.
demo_render.py --checketdemo_voice.py checksont la source de vérité. Ne prétendez pas qu'une vidéo est terminée alors que l'un d'eux signale des problèmes注意:. - Ne touchez pas à un service en cours d'exécution. Si le port choisi écoute déjà, choisissez un autre port ; n'arrêtez jamais le processus de quelqu'un d'autre.
- La narration est facultative et son moteur est le choix de l'utilisateur. Qwen nécessite un GPU NVIDIA ; Kokoro fonctionne sur n'importe quel CPU ; les services distants nécessitent une clé et envoient les sous-titres à ce service — dites-le avant d'en utiliser un.
Disposition
SKILL.md ce fichier
scripts/demo_env.py vérifier la machine ; fabriquer le Python de la compétence ; récupérer les modèles ; mémoriser les clés
scripts/demo_record.py piloter l'application et enregistrer les trames + la chronologie
scripts/demo_render.py dessiner et encoder la vidéo silencieuse ; vérifications numériques
scripts/demo_voice.py narration : lignes, ancrage, prises, écoute, construction, vérification
scripts/demo_tts.py les moteurs : Kokoro (CPU) et les services distants
scripts/demo_text.py comment les sous-titres sont dits, comptés et comparés, par langue
scripts/demo_common.py chemins partagés, paramètres, navigateurs, secrets
story_template.py copiez ceci pour écrire une histoire pour une application
examples/selftest/ une page et deux histoires (histoire en mandarin story.py, histoire en anglais story-en.py)
references/ environment.md, director.md, narration.md, engines.md
Toutes les commandes ci-dessous sont relatives au répertoire de cette compétence ; sous Windows, écrivez py -3 (ou python) là où python3 est écrit. Installez-la comme compétence personnelle en clonant dans ~/.claude/skills/autoDemoRecordingSkill (Claude Code) ou ~/.agents/skills/autoDemoRecordingSkill (Codex).
1. Vérifiez la machine
cd ~/.claude/skills/autoDemoRecordingSkill
python3 scripts/demo_env.py # lecture seule : ce qui est présent, ce qui manque, comment l'obtenir, quels moteurs peuvent parler
python3 scripts/demo_env.py setup # paquets pour enregistrer/rendre/vérifier (quelques centaines de Mo)
python3 scripts/demo_env.py setup --models # + Whisper large-v3 et vérifications CAM++ (~3 Go)
python3 scripts/demo_env.py setup --kokoro # + Kokoro, la voix CPU (~400 Mo)
Pour le moteur Qwen, préparez également un Python avec CUDA torch et faster-qwen3-tts, ainsi que les deux modèles Qwen3-TTS 1.7B ; pour un moteur distant, mémorisez sa clé une fois avec python3 scripts/demo_env.py key openai=… (ou une variable d'environnement). Enregistrez chaque emplacement non par défaut une fois :
python3 scripts/demo_env.py set chromium=/path/to/chromium tts_python=/path/to/python \
tts_custom=/path/to/Qwen3-TTS-12Hz-1.7B-CustomVoice tts_base=/path/to/Qwen3-TTS-12Hz-1.7B-Base
Les propres fichiers de la compétence se trouvent dans ~/.cache/auto-demo-recording (remplacez par AUTO_DEMO_HOME). references/environment.md contient les détails pour Windows, macOS et Linux.
2. Validez l'installation avec l'auto-test
PY=~/.cache/auto-demo-recording/venv/bin/python
S=~/.claude/skills/autoDemoRecordingSkill
$PY $S/scripts/demo_record.py --story $S/examples/selftest/story.py --work /tmp/demo-selftest
$PY $S/scripts/demo_render.py --work /tmp/demo-selftest --check
$PY $S/scripts/demo_render.py --work /tmp/demo-selftest --out /tmp/demo-selftest/selftest.mp4
$PY $S/scripts/demo_voice.py --work /tmp/demo-selftest # uniquement si une narration est souhaitée
story-en.py est le même test avec des sous-titres en anglais et le chemin de narration en anglais. L'enregistrement imprime un résumé JSON (durée, trames, navigateur, erreurs). selftest.mp4 doit être en 1920×1080, 60 ips, environ 64 s.
3. Écrivez l'histoire
Copiez story_template.py à côté de l'application (ou n'importe où) et remplissez-le. Le contrat :
| Nom | Ce que c'est |
|---|---|
TITLE, SUBTITLE, CHAPTERS | texte dans la bande supérieure ; les chapitres sont également dessinés sur la page |
LANGUAGE | la langue des sous-titres et de la narration (zh, en, ja, ko, de, fr, es, it, pt, ru) |
VIEW, DENSITY | taille de la page en pixels CSS et échelle du périphérique ; la largeur/hauteur doit être 64:31 |
PORT | port de l'instance jetable |
LOOK | {'accent': '#2f6fed', 'note': '#ee5c18', 'fast': '快进'} — fast dans la langue de la bande de sous-titres |
VOICE | narration : engine, speaker, et pour un service distant model / base_url (jamais la clé) ; voir references/engines.md |
READING | vitesse de lecture des sous-titres ; par défaut : la propre vitesse de la langue (5,5 caractères/s pour le mandarin) |
launch(work, port) | {'command': [...], 'url': ..., 'env': {...}, 'wipe': [...], 'cwd': ..., 'ready': ..., 'timeout': ...} ; ou définissez URL à la place |
guard(d) | facultatif ; échouez tôt si la page n'est pas dans l'état initial prévu |
story(d) | les instructions réelles : await d.say(...), await d.click(...), etc. |
L'objet d est le réalisateur. Son API complète, son modèle temporel, ses règles de marquage/positionnement et ses motifs courants se trouvent dans references/director.md. Lisez-le avant d'écrire une histoire ; le reste de ce fichier ne concerne que le flux de travail.
Règles générales pour une bonne histoire :
- Une idée par sous-titre ; indiquez ce que l'observateur doit remarquer et les résultats que la page affiche réellement.
- Préférez
d.say()puisd.read()avant de passer à autre chose ; les sous-titres sont aussi le script de la narration. - Écrivez les sous-titres dans
LANGUAGE. Pour une vidéo silencieuse, ils sont toujours lus à l'écran, alors gardez-les courts. - Numérotez les clics (
await d.click(locator, '添加')) et ne marquez que ce qui est important. - Passez les longues attentes rapidement (
await d.until(..., speed=4)) plutôt que de les couper.
4. Enregistrez
$PY $S/scripts/demo_record.py --story /path/to/story.py --work /tmp/demo-work --quick
$PY $S/scripts/demo_record.py --story /path/to/story.py --work /tmp/demo-work
--quick est un essai rapide : il ignore les pauses pour le spectateur et n'attend que l'application. Utilisez-le pour détecter les erreurs de sélecteurs et d'état. Enregistrez pour de vrai ensuite ; work/timeline.json est écrasé et les anciennes trames sont supprimées.
Avant l'enregistrement, le script ne supprime que frames et les chemins listés dans wipe, vérifie que le port est libre, démarre la commande de l'histoire et attend que l'application réponde. Le journal de l'application est work/server.log. Sous Windows, l'application et tout ce qu'elle démarre sont arrêtés avec taskkill /T ; ailleurs, tout le groupe de processus est arrêté.
5. Vérifiez et rendez
$PY $S/scripts/demo_render.py --work /tmp/demo-work --check
$PY $S/scripts/demo_render.py --work /tmp/demo-work --out /tmp/demo-work/demo.mp4
--check vérifie, sans regarder les images : les régions marquées ne sont pas vides et correspondent aux couleurs expect, les étiquettes ne reposent pas sur le contenu de la page, les boîtes sont à l'intérieur de la caméra, les étapes/clics sont visibles, les sous-titres tiennent et les glyphes existent dans la police. Corrigez l'histoire ou le minutage et enregistrez à nouveau. Le rendu compare également des trames de sortie échantillonnées avec les trames qu'il a dessinées et écrit work/render.json.
Si l'utilisateur ne veut pas de narration, la vidéo silencieuse est le livrable — arrêtez-vous ici et rapportez.
6. Narrez (uniquement si demandé)
$PY $S/scripts/demo_voice.py --work /tmp/demo-work # toutes les étapes
$PY $S/scripts/demo_voice.py lines --work /tmp/demo-work # inspectez d'abord la prononciation/le minutage
Il écrit la vidéo narrée à côté de la silencieuse : <nom>-配音版.mp4 pour le mandarin, <nom>-narrated.mp4 pour les autres langues. Les étapes sont reprises : clip de référence → (Qwen : essai) → prises → vérifications de la parole/du locuteur → choisir/adapter/mélanger → vérifier. Lisez references/narration.md pour les réglages, les corrections de prononciation et les lignes serrées, et references/engines.md pour les moteurs, leurs voix, clés et coûts. La vérification finale doit indiquer 没有发现问题 ; toute ligne 听写有出入 signifie que la voix a dit autre chose — corrigez le sous-titre, ajoutez un remplacement say, redites cette ligne ou choisissez une autre voix.
7. Rapportez
Donnez à l'utilisateur le chemin de sortie (silencieux et, si demandé, narré), la durée, la résolution/ips, le nombre de sous-titres/marques, le moteur et la voix de narration, et le résultat de la vérification de la narration. Mentionnez tout avertissement 注意: restant et ne masquez jamais un échec de vérification.
Premiers gestes de dépannage
缺 …→ lancezpython3 scripts/demo_env.pyet suivez la ligne→.- Port déjà utilisé → changez
PORTdans l'histoire ; n'arrêtez pas le service existant. 点不到这个元素→ l'élément est couvert ou hors écran ; faites défiler/zoomez d'abord, ou choisissez une autre cible.- Décalage de largeur de page → la page n'est pas réactive à
VIEW; ajustezVIEWou la page, conservez le ratio 64:31. - Ligne de narration trop serrée → raccourcissez ce sous-titre ou donnez-lui plus de temps, puis enregistrez à nouveau.
Kokoro 的词表里没有这些词→ ces mots sont ignorés par Kokoro ; ajoutez-les àVOICE['say']dans l'orthographe du sous-titre (par exemple"API": "A P I","exported": "export ed") ou utilisez Qwen ou un moteur distant pour l'anglais.- Boîtes de police (□□□) → sous Linux, installez Noto Sans CJK ; Windows et macOS ont leurs propres polices chinoises ; ou définissez
DEMO_FONT_*(voirreferences/environment.md).
Sous Codex
Codex charge le même SKILL.md. Il n'a pas d'outil AskUserQuestion : posez les questions de l'étape 0 en termes simples. Il peut s'exécuter avec un PATH différent — utilisez py -3 ou le chemin complet du Python de la compétence. Installez la compétence avec git clone … ~/.agents/skills/autoDemoRecordingSkill (ou laissez l'installateur de compétences de Codex la placer dans ~/.codex/skills) ; les deux sont découverts. agents/openai.yaml lui donne un nom d'affichage et une invite de départ.
Confidentialité
Le dossier de travail contient des captures d'écran de tout ce que l'application a montré. Utilisez une instance jetable avec des données d'exemple, jamais de comptes réels, de clients ou d'enregistrements de production. Ne validez pas work/ ou les vidéos rendues sans les avoir révisées. timeline.json enregistre également le chemin du fichier d'histoire et l'heure de capture. Un service de narration distant reçoit le texte des sous-titres de chaque ligne ; un moteur local n'envoie rien.