Prétraitement des Médias HyperFrames
Trois commandes CLI qui produisent des actifs pour les compositions : tts (parole), transcribe (horodatage) et remove-background (vidéo transparente). Chacune télécharge un modèle lors de la première exécution et le met en cache dans ~/.cache/hyperframes/. Déposez la sortie dans le projet, puis référencez-la depuis le HTML de la composition — voir le skill hyperframes pour les conventions des éléments audio/vidéo.
Synthèse Vocale (tts)
Générez un fichier audio de parole localement avec Kokoro-82M. Aucune clé API requise.
npx hyperframes tts "Texte ici" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list # toutes les 54 voix
Sélection de la Voix
Adaptez la voix au contenu. La voix par défaut est af_heart.
| Type de contenu | Voix | Raison |
|---|---|---|
| Démo produit | af_heart/af_nova | Chaleureuse, professionnelle |
| Tutoriel / mode d'emploi | am_adam/bf_emma | Neutre, facile à suivre |
| Marketing / promo | af_sky/am_michael | Énergique ou autoritaire |
| Documentation | bf_emma/bm_george | Anglais britannique clair, formel |
| Décontracté / social | af_heart/af_sky | Accessible, naturel |
Multilingue
Les identifiants de voix encodent la langue dans la première lettre : a=anglais américain, b=anglais britannique, e=espagnol, f=français, h=hindi, i=italien, j=japonais, p=portugais brésilien, z=mandarin. Le CLI détecte automatiquement la locale du phonémiseur à partir du préfixe — pas besoin de --lang lorsque la voix correspond au texte.
npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav
Utilisez --lang uniquement pour remplacer la détection automatique (accents stylisés). Codes valides : en-us, en-gb, es, fr-fr, hi, it, pt-br, ja, zh. La phonémisation non-anglaise nécessite espeak-ng installé sur le système (brew install espeak-ng / apt-get install espeak-ng).
Vitesse
0.7-0.8— tutoriel, contenu complexe, accessibilité1.0— rythme naturel (par défaut)1.1-1.2— intros, transitions, contenu dynamique1.5+— rarement approprié ; testez avec soin
Scripts Longs
Pour plus de quelques paragraphes, écrivez dans un fichier .txt et transmettez le chemin. Les entrées de plus d'environ 5 minutes de parole peuvent bénéficier d'une division en segments.
Prérequis
Python 3.8+ avec kokoro-onnx et soundfile (pip install kokoro-onnx soundfile). Le modèle se télécharge lors de la première utilisation (~311 Mo + ~27 Mo de voix, mis en cache dans ~/.cache/hyperframes/tts/).
Transcription (transcribe)
Produisez un transcript.json normalisé avec des horodatages au niveau du mot.
npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt # importer existant
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json
Règle de Langue (Non-Négociable)
N'utilisez jamais les modèles .en sauf si l'utilisateur déclare explicitement que l'audio est en anglais. Les modèles .en (small.en, medium.en) traduisent l'audio non anglais en anglais au lieu de le transcrire. Cela détruit silencieusement la langue d'origine.
- Langue connue et non anglaise →
--model small --language <code>(pas de suffixe.en) - Langue connue et anglaise →
--model small.en - Langue inconnue →
--model small(pas de.en, pas de--language) — Whisper détecte automatiquement
Le modèle par défaut est small, pas small.en.
Tailles des Modèles
| Modèle | Taille | Vitesse | Quand l'utiliser |
|---|---|---|---|
tiny | 75 Mo | Le plus rapide | Aperçus rapides, test du pipeline |
base | 142 Mo | Rapide | Courts extraits, audio clair |
small | 466 Mo | Modérée | Par défaut — la plupart des contenus |
medium | 1,5 Go | Lente | Contenu important, audio bruité, musique |
large-v3 | 3,1 Go | La plus lente | Qualité production |
Musique avec voix : commencez au minimum avec medium ; les pistes produites nécessitent souvent une importation manuelle SRT/VTT. Pour les vérifications de qualité des sous-titres (obligatoires après chaque transcription), les règles de réessai, le nettoyage JS, et le chemin d'importation via l'API OpenAI/Groq, voir hyperframes/references/transcript-guide.md.
Structure de Sortie
Les compositions consomment un tableau plat d'objets mot. Le champ id (w0, w1, ...) est ajouté lors de la normalisation pour des références stables dans les surcharges de sous-titres ; il est optionnel pour la rétrocompatibilité.
[
{ "id": "w0", "text": "Hello", "start": 0.0, "end": 0.5 },
{ "id": "w1", "text": "world.", "start": 0.6, "end": 1.2 }
]
Suppression d'Arrière-Plan (remove-background)
Supprimez l'arrière-plan d'une vidéo ou d'une image afin qu'elle puisse être utilisée comme superposition transparente dans une composition (par exemple, un avatar flottant sur un fond de scène).
npx hyperframes remove-background avatar.mp4 -o transparent.webm # par défaut : VP9 alpha WebM
npx hyperframes remove-background avatar.mp4 -o transparent.mov # ProRes 4444 (montage)
npx hyperframes remove-background portrait.jpg -o cutout.png # découpage d'image unique
npx hyperframes remove-background avatar.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info # fournisseurs détectés
Utilise u2net_human_seg (MIT). La première exécution télécharge environ 168 Mo de poids dans ~/.cache/hyperframes/background-removal/models/.
Format de Sortie
| Format | Quand l'utiliser |
|---|---|
.webm (VP9 + alpha) | Par défaut. Les compositions le lisent directement via <video>. |
.mov (ProRes 4444) | Montage dans DaVinci/Premiere/FCP. Fichiers volumineux. |
.png | Découpage d'image unique (sujet fixe, superposé sur un fond). |
Chrome décode l'alpha VP9 nativement, donc le .webm s'intègre dans une composition comme n'importe quelle vidéo en autoplay muet — voir le skill hyperframes pour les conventions de pistes <video>.
TTS → Transcription → Sous-Titres
Lorsqu'il n'y a pas de voix off préenregistrée, générez-en une et retranscrivez-la pour obtenir des horodatages au niveau du mot pour les sous-titres :
npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav # → transcript.json
Whisper extrait des limites de mots précises à partir de l'audio généré, de sorte que le timing des sous-titres correspond à la livraison sans réglage manuel.