hebrew-captions-asr
Transcription en hébreu et sous-titres incrustés : choisissez une route ASR selon le profil, obtenez les horodatages des mots, relisez manuellement, construisez des cartes de sous-titres correctes en RTL qui s'animent à l'entrée ET à la sortie, et validez-les avec caption_qa plus une déclaration de couverture.
Règles qui priment sur toutes les autres
- Forcer
language="he". Letranscribeintégré d'HyperFrames utilise par défautsmall.en(mauvais hébreu) etinittranscrit automatiquement avec celui-ci : utilisez--skip-transcribeet la route locale ivrit-ai. - Ne jamais exécuter un LLM sur un transcript complet. Corrigez des mots spécifiques à la main avec un dictionnaire d'orthographe par projet ; décidez les mots ambigus par majorité sur plusieurs passages, puis arrêtez les changements d'avis. Niveau de livraison : zéro faute d'orthographe (noms, marques, citations) ; un lecteur d'hébreu approuve, un modèle critique uniquement propose.
- Pas d'appel cloud ASR/TTS sans devis daté et approbation (
paid-generation-gate). La valeur par défaut est locale et gratuite ; "local = 0 $ " exclut l'installation, le temps de construction et les minutes de correction. - Pas de
dir="rtl"sur la racine d'HyperFrames.lang="he"sur<html>;direction: rtluniquement sur les éléments de texte. Il s'agit d'un contournement spécifique au moteur/version (un test 0.8.98 n'a pas reproduit le rendu noir, E12) : conservez la règle, re-testez par version, n'enseignez jamais "la racine RTL est du HTML invalide". - Polices à partir de fichiers (
hf/fonts/+@font-face) ; le navigateur HyperFrames ne trouve pas les polices installées par leur nom et échoue silencieusement. - Les nombres mesurés sont liés à la machine. Citez la vitesse en secondes audio par seconde murale avec le nom de la portée du minuteur ; dites aux étudiants de re-mesurer sur leur propre matériel.
- Loi vs préréglage maison (décision par défaut Q5). Lois : animation de sortie aussi bien que d'entrée, zéro faute d'orthographe, pas de RTL racine, test des lettres similaires avant qu'un visage ne soit verrouillé, rétro-transcription après un nouveau montage. Préréglage maison v1 (remplaçable) : Rubik, cartes de 1 à 3 mots, rail bas <= y 1450, les nombres de durée ci-dessous.
- Les outils Whisper échouent sur les chemins de fichiers non ASCII (
whisper-clisur un chemin hébreu) : utilisez un répertoire temporaire ASCII. Les longues exécutions ASR se font sousrender_lockcomme toute tâche lourde.
Entrées -> sorties
Entrée : audio ou vidéo, DESIGN.md / kit de type marque, le montage final si les sous-titres suivent une édition. Sortie (relative au projet) : data/words.json ([{"text","start","end"}] en secondes), transcript.srt, transcript.txt, data/captions.json (cartes), le composant de sous-titres dans la composition, _work/qa/captions_report.json avec une déclaration de couverture.
Route ASR par profil (mesurée uniquement sur la machine du propriétaire)
| Profil | Route | Preuve et limite |
|---|---|---|
| n'importe quel CPU (référence portable) | faster-whisper + ivrit turbo CT2, int8, 8 threads de cœurs physiques | 731,4 s pour 614,22 s d'audio = 0,84 audio-s par murale-s (E08) |
| AMD/Windows avec pilote Vulkan | whisper.cpp compilé avec -DGGML_VULKAN=ON + le modèle ivrit GGML | 105,6 s pour le même audio = 5,82 audio-s par murale-s ; la même construction sur CPU 1 033,0 s (9,78x plus lent) ; RX 7600S a nécessité GGML_VK_DISABLE_COOPMAT=1 (local uniquement : ne le définissez que si l'exécution plante, exit 127) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 ou whisper.cpp CUDA | non mesuré |
| Apple Silicon | whisper.cpp Metal | non mesuré |
Corpus : 68 clips FLEURS he_il, 614,22 s de parole lue, un passage, machine inactive, secondes entières du wrapper. WER sur ce corpus (NFC, minuscules, ponctuation -> espace) : whisper.cpp CPU 18,09 %, Vulkan 18,26 %, CT2 simple 17,74 %, CT2 + VAD 19,38 % (4 à 19 corrections de mots sur 1 161 : proches, pas équivalence). Dialogue réel, audio téléphonique bruyant et précision manuelle des limites de mots ne sont pas mesurés. Tableaux complets, recette de construction et limites : references/asr-routes.md ; faits datés : references/volatile-facts.md. |
Procédure
- Route. Sondez la machine (
doctor), choisissez la route ci-dessus, écrivezasr_route.json(chemin/révision/empreinte du modèle, périphérique, précision, threads, ligne de log du backend). Les poids sont épinglés, jamais "dernier". - Décision VAD (optionnelle par clip, décision par défaut Q8). Sans VAD, Whisper a renvoyé un texte hébreu non vide pour 3 s de silence numérique et pour 3 s de faible bruit (E02) ; l'exécution VAD par plages explicites dans E08 a été plus lente et moins précise que le CT2 simple (225 vs 206 corrections de mots). Donc : A/B sur un échantillon de 60 s de CET audio, conservez le WER le plus bas, et exécutez toujours le contrôle de silence lorsque l'audio comporte de longues périodes sans parole.
- Transcrivez avec les horodatages des mots ; consommez chaque segment à l'intérieur de la région chronométrée. Sauvegardez
words.json,.srt(éclatement de mots--words-per-cue 3, mode phrase 6),.txt. Audio chanté ou fond musical : un "passage paroles" sans VAD avec les filtres de confiance dansreferences/asr-routes.md. - Relisez l'intégralité du texte : noms, marques, chiffres (chiffres, pas de nombres en lettres), le dictionnaire d'orthographe, mots ambigus par majorité. Signalez les remplisseurs ("אה/אממ" sont généralement absents de la sortie Whisper : trouvez les trous vocaux) et ne supprimez jamais automatiquement les mots de discours.
- Après tout nouveau montage, exécutez l'ASR sur la VO complète assemblée et comparez avec le texte prévu (
join_diff) ; des snippets de jonction isolés disaient "propre" tandis que le fichier complet entendait des résidus. Rétro-transcrivez la sortie TTS de la même manière. - Construisez les cartes (
references/caption-timing.md) : 1 à 3 mots, mots-clés dans la couleur des mots-clés, isolats bidi, entrée + sortie, échanges 2 images en avance, avance sur la voix de 0,08 à 0,1 s, bloquez les débuts à 0 ; test de police selonreferences/hebrew-typography.md; mise en page et bidi selonreferences/rtl-and-bidi.md. - QA.
scripts/caption_lint.pysurcaptions.json,caption_qa --band <haut>:1450sur le rendu,hf_preflight, captures d'écran à chaque image de mot-clé (--describe false),frame_qa; écrivez la déclaration de couverture (images décodées sur attendues, bande, fps supposé, ce qui N'a PAS été vérifié).
Portes
États : pass | fail | blocked | n/a avec une raison ; un délai dépassé, une liste de cartes vide ou un fichier manquant est blocked.
| Porte | Prédicat | Preuve | Si faux | Propriétaire | Re-vérifier lorsque |
|---|---|---|---|---|---|
| G1 Route ASR | route choisie suite à un sondage des capacités ; modèle + poids épinglés ; language=he forcé | asr_route.json (chemin, révision, périphérique, précision, threads, portée du minuteur) | revenir au CT2 int8 sur CPU | cette compétence | nouvelle machine, pilote, modèle |
| G2 VAD | VAD activé/désactivé décidé par un A/B sur un échantillon réel de 60 s ; le contrôle de silence exécuté lorsque l'audio comporte de longues périodes sans parole | les deux WER (scripts/wer.py) + sortie du contrôle enregistrée | désactiver VAD si le WER est pire ; ajouter des filtres si des hallucinations apparaissent | cette compétence | nouveau type d'audio |
| G3 Transcript | chaque nom/marque/chiffre relu ; dictionnaire d'orthographe appliqué ; 0 fautes d'orthographe approuvées par un lecteur d'hébreu | transcript + dictionnaire approuvés ; wer.py par rapport au texte corrigé sur un échantillon | corriger les mots à la main ; jamais un LLM sur tout le texte | cette compétence + humain | tout changement de texte |
| G4 Montage assemblé | ASR de la VO complète assemblée correspond aux mots prévus ; aucun jeton supplémentaire ; les 2 premiers/derniers mots de chaque phrase présents | JSON join_diff | corriger la jonction, remonter, ré-ASR | edit-talking-head G2 | chaque nouveau montage |
| G5 RTL / bidi | pas de dir=rtl racine ; lang="he" ; latin, chiffres, devises, URL isolés ; aucun contrôle bidi errant ; l'image finale visualisée | scripts/caption_lint.py bloc bidi + hf_preflight + image visualisée | isoler la portée ; supprimer les contrôles | cette compétence | tout changement de texte de sous-titre |
| G6 Similitudes / police | chaque mot-clé rendu à la taille finale et à 360x640 ; ו/ז, ד/ר, ה/ח ne peut pas être lu comme un autre mot ; police chargée depuis un fichier | enregistrement de spécimen dans hf/QA.md (fichier police, empreinte, taille, image) + capture montrant aucune police de secours | échanger le visage pour ce mot (Karantina "לבזבז" lu comme "לבובו") | cette compétence | tout changement de police, taille ou mot-clé |
| G7 Synchronisation + animation | mot >= 0,25 s, carte >= 0,9 s, dernier mot >= 0,25 s ; animation de sortie présente ; chevauchement d'échange de 1 à 2 images ; pas de début négatif | rapport caption_lint + caption_qa + vérification d'image | re-synchroniser ; ajouter la sortie | cette compétence | tout nouveau montage ou re-synchronisation |
| G8 Zone de sécurité + contraste + couverture | bas de la carte <= y 1450 (préréglage maison) ; mot-clé de couleur de marque >= 4,5:1 sur la bande ; caption_qa indique sa couverture | rapport caption_qa avec déclaration de couverture + chiffres de contraste | déplacer, changer de couleur, ou ajouter un fond | cette compétence | tout changement de mise en page ; nouveau rapport |
Préréglage maison v1 nombres (chacun remplaçable ; sources datées dans les références)
Rubik : mots-clés Noir (900), mots petits Regular/600 ; 54-66 px à 1080x1920 (par défaut provisoire E03 ; Alef 700 et Noto Sans Hebrew 600 notent également ; Karantina a noté 1,8 contre 4,2 dans une revue statique à modèle unique, sans panel humain, sans téléphone, sans animation). Éclatement de mots 1 à 3 mots, 0,35-0,7 s par carte ; entrée en miroir avec sortie (flou vers le haut, environ 4 images, montée 10 px, flou 6 px) ; rail de sous-titres y 900-1240 sur A-roll, bas <= 1450 ; texte clé y <= 1248. Le tableau des plateformes 9:16 est daté du 2026-09 et non vérifié comme loi : exécutez le test de superposition sur un téléphone.
Références (charger lorsque)
references/asr-routes.md- choisir/construire une route ASR, protocole WER, VAD, passage paroles, options cloud (aucune exécutée).references/hebrew-typography.md- choisir une police, le test des similitudes, tableau E03, licences.references/rtl-and-bidi.md- lignes mixtes hébreu/anglais/chiffres, pièges RTL dans HyperFrames et After Effects.references/caption-timing.md- modes, recette de synchronisation exacte, zones de sécurité, script de contraste.references/volatile-facts.md- avant de citer les vitesses, WER, épingles, licences, nombres de zone de sécurité.- Scripts :
scripts/caption_lint.py(lint synchronisation/bidi/rail des cartes),scripts/wer.py(WER/CER avec normalisation déclarée) ; tous deux stdlib,--self-check; les chemins de scripts sont relatifs au dossier de cette compétence. - Modules datés au niveau du dépôt (possédés ailleurs) :
agent-content/references/asr-routes.md,agent-content/references/hebrew-rtl-captions.md,agent-content/references/platform-specs.md,agent-content/techniques/caption-collision.md; chargez lorsque vous avez besoin des tableaux datés ou de la méthode de collision de boîtes. - Frères :
edit-talking-head,render-qa-deliver,video-analysis(rapports d'analyse, pas sous-titres).
Statut des preuves
ASR à partir des expériences E02/E08 (machine du propriétaire) ; polices à partir de E03 ; règles de synchronisation et de sortie à partir des projets du propriétaire. Pas de vérité terrain humaine de synchronisation, pas d'ASR cloud exécuté, pas de résolution de licence de modèle pour les conversions ONNX. Spécifié ; vérifications déterministes uniquement ; évaluation de modèle non exécutée (Q4).