Vidéo
Ce skill est une couche légère. Le travail lourd est effectué par des programmes (ffmpeg, Whisper) et les skills officiels HyperFrames de HeyGen ; ce fichier ne contient que le routage et les règles pour les vidéos courtes sous-titrées. Lisez uniquement le skill HyperFrames dont la tâche a besoin, pas tous.
Première exécution : configuration pour cet ordinateur
Fonctionne uniquement dans Claude Code (application de bureau, VS Code ou terminal) : il nécessite des programmes sur l'ordinateur.
Lisez d'abord settings.md à côté de ce fichier. Si l'ordinateur y est déjà enregistré, ignorez les vérifications et utilisez les commandes qui s'y trouvent (quel python, chemin ffmpeg, modèle, --cpu ou non). Si le fichier est vide ou si quelque chose d'enregistré a cessé de fonctionner, exécutez la configuration ci-dessous et écrivez le résultat dans ce fichier.
Configuration — une fois :
| Quoi | Vérifier | Pourquoi |
|---|---|---|
| ffmpeg / ffprobe | ffmpeg -version | audio et images de la vidéo |
| Python 3.10+ avec faster-whisper et yt-dlp | python -c "import faster_whisper, yt_dlp" (sur Mac — python3) | transcription, téléchargement depuis des liens |
| Node.js | node -v | HyperFrames |
| Skills HyperFrames | le skill hyperframes est-il dans la liste des skills | édition, incrustations, animation |
| GPU NVIDIA (optionnel) | nvidia-smi (nom et mémoire) | transcription des dizaines de fois plus rapide |
| Un Whisper existant | pip list (faster-whisper, openai-whisper, whisperx), dossiers de modèles, demander à l'utilisateur | ne pas en installer un second |
Leur propre Whisper. Si l'utilisateur a déjà faster-whisper et des modèles téléchargés, n'en installez pas un autre : passez le dossier du modèle au script avec --model <chemin> ou pointez HF_HOME vers son cache. S'il a un autre Whisper (openai-whisper, whisper.cpp, whisperx), demandez-lui s'il souhaite le conserver. Si oui, transcrivez avec celui-ci et convertissez le résultat au format de notre script (words : {"words":[{"text","start","end","type":"word"}]}, flat : la même liste de mots sans l'enveloppe) — c'est le format attendu par les skills HyperFrames.
Modèle pour le GPU (faster-whisper) :
| Ordinateur | Utiliser |
|---|---|
| NVIDIA avec 6 Go+ | large-v3-turbo sur le GPU (par défaut) — meilleure qualité |
| NVIDIA 4 Go | large-v3-turbo avec --compute int8_float16, ou --model medium |
| Pas de NVIDIA (incl. Mac, AMD, ordinateurs portables avec graphiques intégrés) | --cpu, modèle small (rapide) ou large-v3-turbo (plus précis, plusieurs fois plus lent) |
Testez sur un court extrait (ffmpeg -t 10) de la vidéo de l'utilisateur : si l'exécution sur GPU échoue avec une erreur CUDA ou de mémoire, installez les bibliothèques ci-dessous ou prenez un modèle plus petit. Montrez à l'utilisateur la vitesse et la qualité et choisissez ensemble. Pour du contenu exclusivement en anglais, small.en / medium.en sont également une option sur les machines lentes.
Si quelque chose manque, listez pour l'utilisateur de quoi il s'agit et sa taille, et installez uniquement avec son consentement. Sur Windows, demandez quel lecteur utiliser si C est saturé.
- ffmpeg, Node, Python : Windows —
winget install Gyan.FFmpeg,winget install OpenJS.NodeJS.LTS,winget install Python.Python.3.12; Mac —brew install ffmpeg node python. - Bibliothèques :
python -m pip install faster-whisper yt-dlp. Windows avec un GPU NVIDIA — aussipython -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*". - Skills HyperFrames :
npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes, Apache 2.0). - Le modèle Whisper (~1,6 Go) se télécharge automatiquement lors de la première transcription dans le cache HuggingFace. Autre emplacement : la variable
HF_HOME. - Si l'utilisateur le souhaite : désactivez la télémétrie HyperFrames avec
HYPERFRAMES_NO_TELEMETRY=1etDO_NOT_TRACK=1.
À la fin de la configuration, écrivez tout dans settings.md (en suivant le modèle dans le fichier) : quel python et ffmpeg, GPU, modèle et flags choisis, où se trouve le cache du modèle, vitesse sur le test. Désormais, exécutez les commandes des sections A et B avec ces flags.
Notre script de transcription est scripts/transcribe.py à côté de ce fichier. Il utilise le GPU tout seul et tombe sur le CPU sans. Flags : --model (nom ou chemin vers votre propre modèle), --compute, --cpu, --language.
N'envoyez pas de rapports "feedback" HyperFrames après le rendu sans demander. Exécutez npx hyperframes skills update uniquement avec le consentement de l'utilisateur.
A. Regarder et décomposer une vidéo
- Obtenir le fichier. Prenez un chemin de fichier tel quel ; ne modifiez jamais l'original. Téléchargez un lien dans un dossier temporaire :
python -m yt_dlp --no-playlist -o "<dossier>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s likes | %(comment_count)s commentaires | %(description)s" "<dossier>/info.txt" <lien>Pour YouTube, si seul le texte est nécessaire, essayez d'abord les sous-titres :--write-auto-subs --sub-langs en --skip-download. Instagram et les chaînes privées peuvent nécessiter une connexion — demandez alors à l'utilisateur de télécharger le fichier lui-même. - Inspecter le fichier :
ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <vidéo>. - Transcrire :
python scripts/transcribe.py <vidéo> --out <dossier>/transcript.txt(texte avec horodatages). - Plans contact (12 images par image — économise des jetons) :
vertical :
ffmpeg -v error -y -i <vidéo> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <dossier>/sheet_%02d.jpghorizontal : même chose avecscale=320:-2,tile=4x3. Pour les vidéos de plus de 2 minutes —fps=1/5ou1/10. Lisez les planches comme des images. - Répondre : auteur et chiffres (le cas échéant), le format de la vidéo, la transcription (ou un résumé si long), ce qui est à l'écran, et séparément — ce qui est utile pour l'utilisateur. Si la vidéo exagère, dites-le honnêtement.
B. Créer une vidéo avec HyperFrames
Quel skill utiliser :
| Tâche | Skill |
|---|---|
| toute vidéo, point de départ ; quand on ne sait pas quoi utiliser | hyperframes (entrée principale, route tout seul) |
| sous-titres pour une vidéo face caméra : 1–3 mots, mots-clés en couleur, karaoké | embedded-captions |
| graphiques sur une vidéo face caméra : cartes, icônes, inserts "sur un téléphone", écran partagé, cercle picture-in-picture | talking-head-recut |
| animation courte sans parole jusqu'à ~30 s : intro, chiffres, logo, maquettes UI, avant → après | motion-graphics |
| structure de la vidéo : calques, quand chaque carte apparaît, inserts vidéo | hyperframes-core |
| comment les cartes glissent, autocollants, "hits" de mots plein écran, typographie cinétique | hyperframes-animation |
| push-ins et pull-outs de caméra, zooms fluides | hyperframes-keyframes |
| musique, effets sonores, icônes, traitement des inserts | media-use |
| vérifications, rendu en MP4, suppression d'arrière-plan (inserts "de derrière l'épaule") | hyperframes-cli |
| effets prêts à l'emploi (glitch, confettis, graphiques), volume de la musique sous la voix, couleurs et polices | hyperframes-registry, hyperframes-audio, hyperframes-creative |
Selon les règles HyperFrames, le skill hyperframes est lu en premier ; pour les tâches simples, son SKILL.md suffit, sans les références.
Préparez la transcription avec notre script (chronométrage mot par mot précis, utilise le GPU), plutôt qu'avec le hyperframes transcribe intégré :
- pour
embedded-captions:python scripts/transcribe.py <vidéo> --out <dossier de travail>/transcript.json --format words— le skill récupère letranscript.jsonprêt ; - pour
talking-head-recut: idem avec--format flat(un tableau plat de mots), sautez l'étape de transcription du skill. Avant de l'utiliser, lisez la transcription et corrigez les erreurs de reconnaissance (noms, marques, termes). Montrez à l'utilisateur la liste des corrections en une ligne.
Projet : demandez quel dossier utiliser. À l'intérieur : sources/ (copies des fichiers sources — ne modifiez ni ne supprimez jamais les originaux), les fichiers de travail HyperFrames, done/ pour les MP4 finaux.
Formats : Reels/Shorts/Stories/TikTok — 1080×1920, 9:16, 30 ips ; YouTube — 1920×1080 ; publication de fil — 1080×1350.
Sous-titres et texte à l'écran
- La police doit avoir tous les glyphes dont le texte a besoin (accents, autres alphabets si la vidéo est multilingue) — vérifiez avant le rendu. Préférez un
.woff2local dans le dossier du projet plutôt que Google Fonts sur le réseau. - 2–4 mots par ligne. Ne terminez pas une ligne sur un article, une préposition ou une conjonction (un, une, des, le, la, les, de, du, à, dans, sur, et, mais) — passez au mot suivant.
- Chiffres en tant que chiffres, guillemets et apostrophes courbes, vrais tirets cadratins.
- TOUT EN MAJUSCULES uniquement pour de courts accents (1–3 mots), pas des phrases entières.
- Les sous-titres ne doivent pas couvrir le visage ou la zone d'interface inférieure des Reels/TikTok (boutons, légende) — restez dans la zone de sécurité. Placez l'accroche au centre du cadre ou légèrement plus bas, pas en haut.
- Si
brand.mddans le dossier du skill est rempli (polices, couleurs, comment accentuer) — utilisez-le. S'il est vide, demandez une fois à l'utilisateur son style et proposez de sauvegarder la réponse là.
Avant de dire "terminé"
Montrez le plan (quoi, où, quel style) avant un long rendu. Après le rendu, créez un plan contact à partir du résultat (A4) et regardez vous-même : le texte est lisible, ne sort pas du cadre, tous les glyphes s'affichent, en synchronisation avec la parole. Alors seulement donnez à l'utilisateur le chemin du fichier dans done/.