Communitygithub.com

Manavv007/S.A.R.A.L.-Couche-d'Accès-de-Récupération-et-d'Analys…

Ressources audio et médias pour les compositions HyperFrames, produites par un moteur audio partagé (scripts/audio.mjs) — TTS multi-fournisseurs (HeyGen/ElevenLabs/Kokoro local), musique de fond + effets sonores (récupération par défaut depuis la bibliothèque audio HeyGen, avec génération BGM locale Lyria/MusicGen et une bibliothèque SFX intégrée en secours sans identifiants), transcription Whisper, suppression d'arrière-plan et création de sous-titres. Utilisé pour voix off/TTS, BGM, SFX, transcription, sous-titres/paroles/karaoké/stylisation par mot, sélection de voix et de fournisseur, et suggestion d'ambiance musicale.

Qu'est-ce que S.A.R.A.L.-Couche-d'Accès-de-Récupération-et-d'Analys… ?

Cette compétence fournit un moteur audio centralisé pour les compositions HyperFrames, capable de générer de la voix off (TTS), de la musique de fond (BGM), des effets sonores (SFX), des transcriptions, des sous-titres et de supprimer les arrière-plans. Le cœur est le script unique `scripts/audio.mjs` qui lit un `audio_request.json` et produit un `audio_meta.json` contenant toutes les métadonnées nécessaires. La sélection du fournisseur dépend de la présence d'un identifiant HeyGen : si présent, le TTS utilise HeyGen Starfish (avec horodatage par mot natif), la BGM est récupérée depuis la bibliothèque HeyGen, et les SFX sont récupérés avec un score minimum de 0,4. En l'absence d'identifiant, le système tombe automatiquement sur ElevenLabs puis Kokoro pour le TTS, génère la BGM localement via Lyria ou MusicGen, et utilise une bibliothèque SFX locale de 21 fichiers. Un pré-vol obligatoire (`npx hyperframes auth status`) vérifie l'état de connexion avant toute génération et demande une décision explicite à l'utilisateur : se connecter ou continuer hors ligne. Les sorties incluent des fichiers audio, des horodatages par mot (natifs pour HeyGen, obtenus par transcription pour les autres), et des métadonnées structurées pour l'assemblage dans HyperFrames Core.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-/tree/HEAD/data/skills/hyperframes-media

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Médias HyperFrames

Créez les ressources audio et médias nécessaires à une composition — voix off (TTS), musique de fond + effets sonores, transcription, sous-titres, suppression d'arrière-plan — puis consommez et animez ces données en HTML. Pour placer les ressources dans les compositions, voir hyperframes-core.

Le moteur audio — une source unique pour TTS · BGM · SFX

Les workflows NE créent PAS leur propre audio ni ne dupliquent un fournisseur. Il y a un seul moteur — scripts/audio.mjs — qui prend un audio_request.json neutre et écrit audio_meta.json (plus les ressources sous assets/voice|bgm|sfx) :

# <MEDIA_DIR> = répertoire de cette compétence
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

Les trois capacités se dégradent sur UN SEUL commutateur — la présence d'un identifiant HeyGen (résolu depuis $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen, pas l'interface en ligne de commande) :

CapacitéIdentifiant HeyGen présentabsent
TTSHeyGen Starfish REST (horodatage par mot natif)→ ElevenLabs → Kokoro (chaîne transcribe pour les mots)
BGMRécupération de musique HeyGenGénération locale Lyria → MusicGen (détachée)
SFXRécupération d'effets sonores HeyGen (min_score 0.4)Bibliothèque intégrée de 21 fichiers (assets/sfx/)
  • Requête (audio_request.json) : { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }. id relie chaque ligne au modèle de l'appelant (un numéro d'image, un identifiant de scène, …). bgm.mode = retrieve | generate | none ; omettre pour automatique (récupération avec identifiant, sinon génération). Un retrieve explicite est strict — il ignore plutôt que de lancer une génération détachée (pour les appelants sans étape wait-bgm).
  • Sortie (audio_meta.json, indexée par id) : { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }.
  • --only tts,bgm,sfx exécute un sous-ensemble et fusionne dans un --out existant (par ex. TTS+BGM tôt, SFX une fois les repères existants).
  • La génération BGM est lancée détachée (bgm_pending: true) — exécutez scripts/wait-bgm.mjs avant l'assemblage.
  • scripts/heygen-tts.mjs est une interface en ligne de commande unique sur le même code (un texte → wav + mots) pour quand vous avez besoin du TTS HeyGen sans fichier de requête.

La liste complète des drapeaux et le schéma de audio_meta.json se trouvent dans l'en-tête de scripts/audio.mjs. Les références ci-dessous couvrent les détails des fournisseurs et les cas particuliers de chaque capacité.

Pré-vol — afficher l'état de connexion avant tout audio

Exécutez toujours ceci avant de générer une voix ou une BGM — dans un workflow complet ou une demande ponctuelle "génère-moi une BGM/voix off". L'absence d'identifiant HeyGen n'est pas une raison pour basculer silencieusement vers les moteurs locaux : recommandez d'abord la connexion et laissez l'utilisateur décider. Exécutez le pré-vol partagé et relayez sa sortie textuelle — n'improvisez pas votre propre invite "clé manquante" et ne proposez pas d'écrire des clés dans un .env par dépôt :

npx hyperframes auth status
  • Connecté → il affiche le compte ; continuez.
  • Non connecté (exit 1 est attendu ici — "non connecté" est un état normal, pas un échec) → il affiche des instructions d'inscription. Recommandez la connexion : npx hyperframes auth login est un OAuth navigateur — il connecte et crée un compte (toujours disponible via l'interface en ligne de commande de ce dépôt). Pour utiliser une clé API HeyGen existante (depuis app.heygen.com/settings/api), exécutez npx hyperframes auth login --api-key — elle est sauvegardée dans le ~/.heygen partagé (pas de .env par dépôt). La sortie liste également les moteurs locaux vers lesquels la voix/BGM basculera et une indication pip lorsque des dépendances manquent. Relayez cette sortie telle quelle — ne la paraphrasez pas dans vos propres termes. Ensuite ARRÊTEZ et attendez que l'utilisateur choisisse — se connecter, ou dire "go"/"local" pour continuer hors ligne — avant de générer quoi que ce soit. C'est un vrai point de décision, pas une note passagère : ne l'intégrez pas dans une autre question et ne passez pas outre tout seul. (Exception : en mode autonome/non interactif, notez l'état et continuez hors ligne.)
  • npx hyperframes auth status --json retourne { configured, recommended_action, offline_engines } pour un branchement déterministe.
  • Si l'interface en ligne de commande ne peut pas s'exécuter (pas dans le PATH et npx ne peut pas le récupérer) → recommandez quand même la connexion (npx hyperframes auth login) et ARRÊTEZ pour le choix de l'utilisateur — ne traitez pas "pas d'identifiant" comme un feu vert silencieux pour la génération locale.

La résolution des identifiants, la priorité complète des clés et la liste des dépendances locales se trouvent dans references/requirements.md.

Chaînes de fournisseurs (le détail derrière le moteur)

TTS — le premier fournisseur disponible gagne (le moteur, ou npx hyperframes tts "...") :

OrdreFournisseurDétecté quandHorodatage par mot
1HeyGen (Starfish)$HEYGEN_API_KEY / hyperframes auth loginOui, natif — passez --words narration.words.json pour capturer
2ElevenLabs$ELEVENLABS_API_KEY définiNon — enchaînez transcribe après
3Kokoro-82M (local, 54 voix)toujours (aucune clé requise)Non — enchaînez transcribe après

L'interface en ligne de commande publiée hyperframes tts est souvent la version locale uniquement (son --help dit "Kokoro-82M", pas de --provider/--words) et bascule silencieusement vers Kokoro même avec $HEYGEN_API_KEY défini. C'est pourquoi le chemin HeyGen du moteur est le script autonome scripts/heygen-tts.mjs (REST), PAS l'interface en ligne de commande ; celle-ci n'est utilisée que pour le chemin Kokoro. Voir references/tts.md.

BGM & SFX — par défaut récupérés depuis la bibliothèque audio HeyGen (/v3/audio/sounds), même identifiant que pour le TTS HeyGen, avec le basculement sans identifiant du commutateur ci-dessus :

RessourceType HeyGenAtterrit dansSecours (pas d'identifiant)
BGMmusicassets/bgm/track.mp3 (récupération) · track.wav (génération)Génération Lyria / MusicGen
SFXsound_effects (min_score 0.4)assets/sfx/<slug>.mp3Bibliothèque intégrée de 21 fichiers (assets/sfx/* + manifest.json)

Voir references/bgm.md et references/sfx.md.

Routage

TâcheLire
Le moteur audio — schéma requête/méta, --only, le commutateurscripts/audio.mjs (commentaire d'en-tête)
npx hyperframes tts / heygen-tts.mjs — fournisseurs, voix, motsreferences/tts.md
BGM — Récupération HeyGen + génération locale Lyria / MusicGenreferences/bgm.md
SFX — Récupération HeyGen (min_score 0.4) + bibliothèque locale intégréereferences/sfx.md
npx hyperframes transcribe — Whisper, règles de modèle, forme de sortiereferences/transcribe.md
npx hyperframes remove-background — découpes transparentesreferences/remove-background.md
TTS → transcription → sous-titres (pas de voix off enregistrée)references/tts-to-captions.md
Création de sous-titres — détection de style, disposition, regroupement de mots, sortiereferences/captions/authoring.md
Gestion des transcriptions — formats d'entrée, contrôles qualité, nettoyage, APIreferences/captions/transcript-handling.md
Animation des sous-titres — karaoké, effets de marqueur, réactif à l'audioreferences/captions/motion.md
Caches de modèles, dépendances système, dépannagereferences/requirements.md

Règles non négociables

  • Un seul moteur, pas de copies dupliquées. Produisez l'audio via scripts/audio.mjs (ou heygen-tts.mjs pour un TTS HeyGen ponctuel). Ne réimplémentez pas le TTS/BGM/SFX dans un workflow — écrivez un adaptateur audio_request.json et appelez le moteur.
  • "HeyGen disponible" = un identifiant résoluble, pas l'interface en ligne de commande. Tout le commutateur s'appuie sur heygenCredential() ; l'interface publiée hyperframes tts peut être limitée à Kokoro, et il n'existe aucune commande hyperframes bgm / hyperframes sfx.
  • Les identifiants de voix sont spécifiques au fournisseur. am_michael est exclusif à Kokoro ; les UUID HeyGen ne fonctionnent pas sur Kokoro. Si vous passez --voice, verrouillez aussi --provider pour éviter une dérive silencieuse de fournisseur lorsque l'environnement de l'utilisateur change.
  • Passez toujours --model à transcribe. La valeur par défaut small.en traduit silencieusement l'audio non anglais. Voir references/transcribe.md → "Règle de langue".
  • HeyGen retourne les horodatages par mot ; ElevenLabs / Kokoro non. Le moteur enchaîne automatiquement transcribe pour ces deux derniers ; en utilisation autonome, passez --words à HeyGen ou exécutez transcribe sur le fichier audio.
  • Les sous-titres consomment le format de tableau plat de mots avec { id, text, start, end }. Voir references/transcribe.md → "Forme de sortie".
  • remove-background --background-output est un trou découpé, pas un inpaintage. Pour "scène sans la personne", un outil différent est nécessaire. Voir references/remove-background.md → "Quand ce n'est PAS le bon outil".
  • BGM/SFX par défaut récupérés depuis HeyGen ; le secours sans identifiant est la génération (BGM) ou la bibliothèque intégrée (SFX). /audio/sounds classe par une requête textuelle — nommez les effets concrètement (bris de verre, pas son dramatique) ; une absence de correspondance ignore, ne bloque jamais le rendu. Les SFX sont à un volume d'environ 0,35 sous la voix + BGM. Voir references/sfx.md / references/bgm.md.
  • Traitez le HTML des sous-titres du workflow comme une sortie générée. Pour les vidéos basées sur des préréglages, la source du skin réutilisable se trouve dans .hyperframes/caption-skin.html et le script du workflow écrit compositions/captions.html ; ne modifiez pas le fichier généré compositions/captions.html pour corriger le skin. Reconstruisez via le captions.mjs du workflow, ou utilisez le mécanisme de surcharges explicites de ce workflow lorsqu'il est présent.

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Manavv007/S.A.R.A.L.-Scheme-Access-Retrieval-Analysis-Layer-

S.A.R.A.L. is an advanced AI-powered platform designed to bridge the "information gap" between rural Indian citizens and government welfare. While thousands of schemes exist, the complex language of official PDFs often makes them inaccessible to the common man.

Skills associés