hebrew-captions-asr
Hebräische Transkription und eingebrannte Untertitel: Wähle eine ASR-Route basierend auf dem Profil, erhalte Wortzeiten, korrigiere manuell, erstelle RTL-korrekte Untertitelkarten mit Ein- und Ausblendung und validiere sie mit caption_qa inklusive einer Coverage-Anweisung.
Regeln, die über den Rest priorisiert werden
- Erzwinge
language="he". Die integriertetranscribe-Funktion von HyperFrames standardmäßig aufsmall.en(schlechtes Hebräisch) undinittranskribiert automatisch damit: Verwende--skip-transcribeund die lokale ivrit-ai-Route. - Führe niemals ein LLM über ein ganzes Transkript aus. Korrigiere bestimmte Wörter von Hand mit einem projektspezifischen Rechtschreibwörterbuch; entscheide bei mehrdeutigen Wörtern nach Mehrheit über mehrere Durchläufe und höre dann auf zu schwanken. Lieferstandard: null Rechtschreibfehler (Namen, Marken, Zitate); ein Hebräisch-Leser akzeptiert, ein Modell-Kritiker nominiert nur.
- Kein Cloud-ASR/TTS-Aufruf ohne datierten Kostenvoranschlag und Genehmigung (
paid-generation-gate). Der Standard ist lokal und kostenlos; "lokal = 0 €" schließt Einrichtung, Bauzeit und Korrekturminuten aus. - Kein
dir="rtl"auf dem HyperFrames-Root.lang="he"auf<html>;direction: rtlnur bei Textelementen. Dies ist ein engine-/versionsspezifischer Workaround (ein Test mit 0.8.98 reproduzierte den schwarzen Render nicht, E12): Behalte die Regel, teste pro Version neu, lehre niemals "Root-RTL ist ungültiges HTML". - Schriftarten aus Dateien (
hf/fonts/+@font-face); der HyperFrames-Browser findet installierte Schriftarten nicht namentlich und fällt stillschweigend zurück. - Gemessene Zahlen sind maschinenabhängig. Gib die Geschwindigkeit als Audio-Sekunden pro Wand-Sekunde mit benanntem Timer-Bereich an; weise die Lernenden an, auf ihrer eigenen Hardware neu zu messen.
- Gesetz vs. Haus-Voreinstellung (Entscheidungsstandard Q5). Gesetze: Ausblendung sowie Einblendung, null Rechtschreibfehler, kein Root-RTL, der Look-alike-Test bevor ein Gesicht gesperrt wird, Rücktranskription nach einem Re-Cut. Haus-Voreinstellung v1 (überschreibbar): Rubik, 1-3-Wort-Karten, Schiene unten <= y 1450, die unten angegebenen Verweildauern.
- Whisper-Tools brechen bei nicht-ASCII-Dateipfaden (
whisper-cliauf einem hebräischen Pfad): Verwende ein ASCII-Temp-Verzeichnis. Lange ASR-Läufe unterrender_lockwie jeder schwere Job.
Eingaben -> Ausgaben
Eingabe: Audio oder Video, DESIGN.md/Marken-Typografie-Kit, der finale Schnitt, wenn Untertitel einem Edit folgen. Ausgabe (projektrelativ): data/words.json ([{"text","start","end"}] Sekunden), transcript.srt, transcript.txt, data/captions.json (Karten), die Untertitelkomponente in der Komposition, _work/qa/captions_report.json mit einer Coverage-Anweisung.
ASR-Route nach Profil (nur auf dem Rechner des Besitzers gemessen)
| Profil | Route | Beweis und Grenze |
|---|---|---|
| Jede CPU (tragbare Basislinie) | faster-whisper + ivrit turbo CT2, int8, 8 physische Kerne Threads | 731,4 s für 614,22 s Audio = 0,84 Audio-s pro Wand-s (E08) |
| AMD/Windows mit Vulkan-Treiber | whisper.cpp gebaut mit -DGGML_VULKAN=ON + das ivrit GGML-Modell | 105,6 s für dasselbe Audio = 5,82 Audio-s pro Wand-s; derselbe Build auf CPU 1.033,0 s (9,78x langsamer); RX 7600S benötigte GGML_VK_DISABLE_COOPMAT=1 (nur lokal: setze es nur, wenn der Lauf mit Exit 127 abstürzt) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 oder whisper.cpp CUDA | nicht gemessen |
| Apple Silicon | whisper.cpp Metal | nicht gemessen |
Korpus: 68 FLEURS he_il Clips, 614,22 s vorgelesene Sprache, ein Durchlauf, inaktiver Rechner, gesamte Wrapper-Sekunden. WER auf diesem Korpus (NFC, Kleinbuchstaben, Satzzeichen -> Leerzeichen): whisper.cpp CPU 18,09 %, Vulkan 18,26 %, CT2 plain 17,74 %, CT2 + VAD 19,38 % (4-19 Wortbearbeitungen von 1.161: nahe Werte, aber keine Äquivalenz). Echte Dialoge, verrauschtes Telefon-Audio und manuelle Wortgrenzengenauigkeit wurden nicht gemessen. Vollständige Tabellen, Build-Rezept und Grenzen: references/asr-routes.md; datierte Fakten: references/volatile-facts.md. |
Vorgehen
- Route. Untersuche den Rechner (
doctor), wähle die obige Route, schreibeasr_route.json(Modellpfad/Revision/Hash, Gerät, Präzision, Threads, Backend-Log-Zeile). Gewichte sind festgepinnt, niemals "neueste". - VAD-Entscheidung (optional pro Clip, Entscheidungsstandard Q8). Ohne VAD lieferte Whisper nicht-leeren hebräischen Text für 3 s digitale Stille und für 3 s niedrigen Rauschens (E02); der explizite Span-VAD-Lauf in E08 war langsamer und ungenauer als einfaches CT2 (225 vs. 206 Wortbearbeitungen). Also: A/B auf einer 60-s-Stichprobe DIESES Audios, behalte den niedrigeren WER, und führe immer die Stille-Kontrolle durch, wenn das Audio lange Nicht-Sprach-Phasen enthält.
- Transkribiere mit Wortzeitstempeln; konsumiere jedes Segment innerhalb der zeitlich begrenzten Region. Speichere
words.json,.srt(--words-per-cue 3Wort-Pop, 6 Satzmodus),.txt. Gesungenes oder Musikbett-Audio: ein "Lyrik-Durchlauf" ohne VAD mit den Konfidenzfiltern inreferences/asr-routes.md. - Korrigiere den gesamten Text: Namen, Marken, Zahlen (Ziffern, keine Zahlwörter), das Rechtschreibwörterbuch, mehrdeutige Wörter per Mehrheit. Markiere Füllwörter („אה/אממ" fehlen normalerweise in Whisper-Ausgabe: finde stimmhafte Lücken) und lösche niemals Diskurswörter automatisch.
- Nach jedem Re-Cut ASR das VOLLSTÄNDIGe zusammengesetzte VO und vergleiche mit dem beabsichtigten Text (
join_diff); isolierte Join-Ausschnitte sagten „sauber", während die vollständige Datei Rückstände hörte. Rücktranskribiere TTS-Ausgabe auf die gleiche Weise. - Baue Karten (
references/caption-timing.md): 1-3 Wörter, Schlüsselwörter in der Schlüsselwortfarbe, bidi-Isolate, Ein- + Ausblendung, 2-Frames-frühe Swaps, führe die Stimme um 0,08-0,1 s an, klemme Starts auf 0; Schriftart-Test proreferences/hebrew-typography.md; Layout und bidi proreferences/rtl-and-bidi.md. - QA.
scripts/caption_lint.pyaufcaptions.json,caption_qa --band <oben>:1450auf dem Render,hf_preflight, Schnappschüsse bei jedem Schlüsselwort-Frame (--describe false),frame_qa; schreibe die Coverage-Anweisung (dekodierte Frames der erwarteten, Band, angenommene fps, was NICHT geprüft wurde).
Gates
Zustände: pass | fail | blocked | n/a mit Begründung; ein Timeout, eine leere Kartenliste oder eine fehlende Datei ist blocked.
| Gate | Prädikat | Beweis | Wenn falsch | Eigentümer | Erneut prüfen bei |
|---|---|---|---|---|---|
| G1 ASR-Route | Route aus einer Fähigkeitsprüfung gewählt; Modell + Gewichte festgepinnt; language=he erzwungen | asr_route.json (Pfad, Revision, Gerät, Präzision, Threads, Timer-Bereich) | Fallback auf CPU CT2 int8 | dieser Skill | neuer Rechner, Treiber, Modell |
| G2 VAD | VAD ein/aus entschieden durch A/B auf einer 60 s echten Stichprobe; die Stille-Kontrolle durchgeführt, wenn das Audio lange Nicht-Sprach-Phasen hat | beide WERs (scripts/wer.py) + Kontrollausgabe aufgezeichnet | VAD ausschalten, wenn WER schlechter; Filter hinzufügen, wenn Halluzinationen auftreten | dieser Skill | neuer Audiotyp |
| G3 Transkript | jeder Name/jede Marke/jede Zahl korrigiert; Rechtschreibwörterbuch angewendet; 0 Rechtschreibfehler von einem Hebräisch-Leser genehmigt | genehmigtes Transkript + Wörterbuch; wer.py gegen den korrigierten Text auf einer Stichprobe | Wörter von Hand korrigieren; niemals ein LLM über den gesamten Text | dieser Skill + Mensch | jede Textänderung |
| G4 Zusammengesetzter Schnitt | ASR des VOLLSTÄNDIGEn zusammengesetzten VO stimmt mit den beabsichtigten Wörtern überein; kein zusätzliches Token; erste/letzte 2 Wörter jedes Satzes vorhanden | join_diff JSON | Join korrigieren, neu schneiden, neu ASR | edit-talking-head G2 | jeder Re-Cut |
| G5 RTL / bidi | kein Root dir=rtl; lang="he"; Latein, Ziffern, Währungen, URLs isoliert; keine bidi-Steuerzeichen; der letzte Frame betrachtet | scripts/caption_lint.py bidi-Block + hf_preflight + betrachteter Frame | den Span isolieren; Steuerzeichen entfernen | dieser Skill | jede Untertiteltextänderung |
| G6 Look-alikes / Schriftart | jedes Schlüsselwort in endgültiger Größe und bei 360x640 gerendert; ו/ז, ד/ר, ה/ח können nicht als ein anderes Wort gelesen werden; Schriftart aus einer Datei geladen | Musterdatensatz in hf/QA.md (Schriftartdatei, Hash, Größe, Frame) + Schnappschuss, der keinen Fallback zeigt | die Schriftart für dieses Wort austauschen (Karantina "לבזבז" gelesen als "לבובו") | dieser Skill | jede Schriftart-, Größen- oder Schlüsselwortänderung |
| G7 Timing + Animation | Wort >= 0,25 s, Karte >= 0,9 s, letztes Wort >= 0,25 s; Ausblendung vorhanden; Swap-Überlappung 1-2 Frames; kein negativer Start | caption_lint-Bericht + caption_qa + Frame-Prüfung | neu takten; Ausblendung hinzufügen | dieser Skill | jeder Re-Cut oder Retime |
| G8 Safe Zone + Kontrast + Coverage | Untertitel unten <= y 1450 (Haus-Voreinstellung); Markenfarb-Schlüsselwort >= 4,5:1 auf dem Streifen; caption_qa gibt seine Coverage an | caption_qa-Bericht mit Coverage-Anweisung + Kontrastzahlen | verschieben, Farbe ändern oder Hintergrund hinzufügen | dieser Skill | jede Layoutänderung; neues Verhältnis |
Haus-Voreinstellung v1 Zahlen (jede überschreibbar; Quellen in den Referenzen datiert)
Rubik: Black (900) Schlüsselwörter, Regular/600 kleine Wörter; 54-66 px bei 1080x1920 (E03 vorläufiger Standard; Alef 700 und Noto Sans Hebrew 600 gleichwertig; Karantina erzielte 1,8 vs. 4,2 in einer Einzelmodell-Statikprüfung, ohne menschliches Panel, ohne Telefon, ohne Animation). Wort-Pop 1-3 Wörter, 0,35-0,7 s pro Karte; Einblendung gespiegelt durch Ausblendung (blur-out-up, etwa 4 Frames, Anstieg 10 px, Unschärfe 6 px); Untertitelschiene y 900-1240 bei A-Roll, unten <= 1450; Schlüsseltext y <= 1248. Die 9:16-Plattformtabelle ist auf 2026-09 datiert und als Gesetz unbestätigt: Führe den Overlay-Test auf einem Telefon durch.
Referenzen (lade bei Bedarf)
references/asr-routes.md- Auswählen/Bauen einer ASR-Route, WER-Protokoll, VAD, Lyrik-Durchlauf, Cloud-Optionen (keine ausgeführt).references/hebrew-typography.md- Auswählen einer Schriftart, der Look-alike-Test, E03-Tabelle, Lizenzen.references/rtl-and-bidi.md- Gemischte Hebräisch/Englisch/Zahlen-Zeilen, HyperFrames und After Effects RTL-Fallen.references/caption-timing.md- Modi, genaues Timing-Rezept, Safe Zones, Kontrast-Skript.references/volatile-facts.md- Vor dem Zitieren von Geschwindigkeiten, WER, Pins, Lizenzen, Safe-Zone-Zahlen.- Skripte:
scripts/caption_lint.py(Karten-Timing/bidi/Schienen-Lint),scripts/wer.py(WER/CER mit deklarierter Normalisierung); beide stdlib,--self-check; Skriptpfade sind relativ zum Ordner dieses Skills. - Repository-weite datierte Module (anderweitig verwaltet):
agent-content/references/asr-routes.md,agent-content/references/hebrew-rtl-captions.md,agent-content/references/platform-specs.md,agent-content/techniques/caption-collision.md; lade sie, wenn du die datierten Tabellen oder die Box-Kollisionsmethode benötigst. - Geschwister:
edit-talking-head,render-qa-deliver,video-analysis(Analyseberichte, keine Untertitel).
Beweisstatus
ASR aus Experimenten E02/E08 (Maschine des Besitzers); Schriftarten aus E03; Timing- und Ausblendungsregeln aus den Projekten des Besitzers. Keine menschliche Timing-Grundwahrheit, kein Cloud-ASR-Lauf, keine Modell-Lizenzklärung für ONNX-Konvertierungen. Spezifiziert; nur deterministische Prüfungen; Modell-Evaluierung nicht ausgeführt (Q4).