hebrew-captions-asr
ヘブライ語の文字起こしと焼き込み字幕:プロファイルに基づいてASRルートを選択し、単語タイミングを取得、手動で校正し、RTL対応の字幕カードを出入りアニメーション付きで構築し、caption_qaとカバレッジ文で検証します。
他のルールより優先されるルール
language="he"を強制する。 HyperFramesの組み込みtranscribeはデフォルトでsmall.en(ヘブライ語には不適切)を使用し、initは自動文字起こしを行います:--skip-transcribeを使用し、ローカルのivrit-aiルートを利用してください。- 文字起こし全体に対してLLMを決して実行しない。 プロジェクトごとのスペル辞書を使って特定の単語を手動で修正し、複数回のパスで曖昧な単語を多数決で決定し、その後は決定を変更しないでください。納品基準:スペルミスゼロ(固有名詞、ブランド名、引用);ヘブライ語話者が承認し、モデル批評家は推薦のみ行います。
- 日付入りの見積もりと承認なしにクラウドASR/TTSを呼び出さない(
paid-generation-gate)。デフォルトはローカルかつ無料です。「ローカル=0ドル」にはセットアップ、ビルド時間、修正時間は含まれません。 - HyperFramesルートに
dir="rtl"を設定しない。<html>にlang="he"を設定し、テキスト要素にのみdirection: rtlを使用します。これはエンジン/バージョン固有の回避策です(0.8.98テストでは黒レンダリングは再現されず、E12):ルールを維持し、バージョンごとに再テストし、「ルートRTLは無効なHTML」と教えないでください。 - フォントはファイルから(
hf/fonts/+@font-face);HyperFramesブラウザはインストール済みフォントを名前で見つけられず、サイレントにフォールバックします。 - 測定値はマシンに依存します。 速度は、タイマースコープを指定した上で、音声秒数÷実時間秒数として引用し、受講者には自分のハードウェアで再測定するよう指示してください。
- 法則 vs ハウスプリセット(デフォルト決定Q5)。 法則:入口と同様に出口アニメーション、スペルミスゼロ、ルートRTL禁止、顔が確定する前の似た文字テスト、再編集後の逆文字起こし。ハウスプリセットv1(上書き可能):Rubik、1-3単語カード、レール下端 <= y 1450、以下の滞留時間。
- Whisperツールは非ASCIIファイルパス(
whisper-cliのヘブライ語パス)で動作しません: ASCIIの一時ディレクトリを使用してください。長時間のASR実行は、他の重いジョブと同様にrender_lock下で行います。
入力 -> 出力
入力:音声または動画、DESIGN.md/ブランドタイプキット、字幕が編集後に続く場合は最終カット。出力(プロジェクト相対):data/words.json([{"text","start","end"}]秒)、transcript.srt、transcript.txt、data/captions.json(カード)、コンポジション内の字幕コンポーネント、カバレッジ文を含む_work/qa/captions_report.json。
ASRルート(プロファイル別、所有者のマシンでのみ測定)
| プロファイル | ルート | 証拠と制限 |
|---|---|---|
| 任意のCPU(ポータブルベースライン) | faster-whisper + ivrit turbo CT2、int8、8物理コアスレッド | 614.22秒の音声に対して731.4秒 = 音声秒/実時間秒 0.84(E08) |
| Vulkanドライバ搭載AMD/Windows | -DGGML_VULKAN=ONでビルドしたwhisper.cpp + ivrit GGMLモデル | 同じ音声で105.6秒 = 音声秒/実時間秒 5.82;CPUで同じビルドでは1,033.0秒(9.78倍遅い);RX 7600SではGGML_VK_DISABLE_COOPMAT=1が必要(ローカルのみ:クラッシュ、exit 127の場合のみ設定) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 または whisper.cpp CUDA | 未測定 |
| Apple Silicon | whisper.cpp Metal | 未測定 |
コーパス:68のFLEURS he_ilクリップ、614.22秒の読み上げ音声、1パス、アイドルマシン、全体ラッパー秒。そのコーパスでのWER(NFC、小文字、句読点→スペース):whisper.cpp CPU 18.09%、Vulkan 18.26%、CT2プレーン 17.74%、CT2 + VAD 19.38%(1,161語中4~19単語編集:近い値だが同等ではない)。実際の会話、ノイズの多い電話音声、手動単語境界精度は測定していません。完全なテーブル、ビルドレシピ、制限:references/asr-routes.md;日付入り事実:references/volatile-facts.md。 |
手順
- ルート。 マシンを調査(
doctor)、上記のルートを選択、asr_route.jsonを書き込む(モデルパス/リビジョン/ハッシュ、デバイス、精度、スレッド、バックエンドログライン)。重みは固定し、「最新」は使用しない。 - VAD判定(クリップごとにオプション、デフォルト決定Q8)。 VADなしでは、Whisperは3秒のデジタル無音と3秒の低ノイズに対して空でないヘブライ語テキストを返しました(E02);E08で実行した明示スパンVADは、プレーンCT2よりも遅く、精度も低かった(225対206単語編集)。したがって:この音声の60秒サンプルでA/Bテストし、WERの低い方を採用し、音声に長い非発話部分がある場合は常に無音コントロールを実行する。
- 文字起こしを単語タイムスタンプ付きで実行;タイミング領域内のすべてのセグメントを消費する。
words.json、.srt(--words-per-cue 3単語ポップ、6文モード)、.txtを保存する。歌や音楽伴奏の音声:references/asr-routes.mdの信頼度フィルタを使用したVADなし「歌詞パス」。 - 校正テキスト全体:固有名詞、ブランド名、数字(数字単語ではなく数字)、スペル辞書、曖昧な単語は多数決で。フィラー(「あー/うーん」は通常Whisper出力にありません:有声ギャップを見つける)をフラグし、談話単語を自動削除しない。
- 再編集後、完全に組み立てたVOに対してASRを実行し、意図したテキストと差分を取る(
join_diff);単体の結合スニペットは「クリーン」と言うが、完全なファイルでは残差が聞こえる。TTS出力も同様に逆文字起こしする。 - カードを構築する(
references/caption-timing.md):1~3単語、キーワードはキーワード色、双方向分離、入口+出口、2フレーム早いスワップ、音声を0.08~0.1秒リード、開始を0にクランプ;references/hebrew-typography.mdに従いフォントテスト;references/rtl-and-bidi.mdに従いレイアウトと双方向。 - QA。
scripts/caption_lint.pyをcaptions.jsonに、caption_qa --band <top>:1450をレンダリングに、hf_preflight、すべてのキーワードフレームでスナップショット(--describe false)、frame_qa;カバレッジ文を書く(期待されるデコードフレーム、バンド、想定fps、チェックされなかったもの)。
ゲート
状態:pass | fail | blocked | n/a 理由付き;タイムアウト、空のカードリスト、またはファイル欠落はblocked。
| ゲート | 条件 | 証拠 | 偽の場合 | 所有者 | 再チェック時 |
|---|---|---|---|---|---|
| G1 ASRルート | 機能プローブからルート選択;モデル+重み固定;language=he強制 | asr_route.json(パス、リビジョン、デバイス、精度、スレッド、タイマースコープ) | CPU CT2 int8にフォールバック | このスキル | 新しいマシン、ドライバ、モデル |
| G2 VAD | 60秒の実際のサンプルでのA/BテストによりVADオン/オフを決定;音声に長い非発話がある場合は無音コントロールを実行 | 両方のWER(scripts/wer.py)+ コントロール出力を記録 | VADのWERが悪い場合はオフに;幻覚が現れた場合はフィルタ追加 | このスキル | 新しい音声タイプ |
| G3 文字起こし | すべての固有名詞/ブランド名/数字を校正;スペル辞書適用;ヘブライ語話者承認によるスペルミス0 | 承認済み文字起こし+辞書;サンプルの修正テキストに対するwer.py | 単語を手動で修正;テキスト全体にLLMは使用しない | このスキル+人間 | テキスト変更時 |
| G4 編集済みカット | 完全に組み立てたVOのASRが意図した単語と一致;余分なトークンなし;各文の最初/最後の2単語が存在 | join_diff JSON | 結合を修正、再編集、再ASR | edit-talking-head G2 | 再編集ごと |
| G5 RTL / 双方向 | ルートdir=rtlなし;lang="he";ラテン文字、数字、通貨、URLを分離;迷子の双方向制御文字なし;最終フレームを確認 | scripts/caption_lint.py双方向ブロック+hf_preflight+確認フレーム | スパンを分離;制御文字を削除 | このスキル | 字幕テキスト変更時 |
| G6 似た文字/フォント | 各キーワードを最終サイズおよび360x640でレンダリング;ו/ז、ד/ר、ה/חを他の単語として読めない;フォントをファイルからロード | hf/QA.md内の見本記録(フォントファイル、ハッシュ、サイズ、フレーム)+フォールバックなしを示すスナップショット | その単語のフェイスを交換(Karantina「לבזבז」は「לבובו」と読まれた) | このスキル | フォント、サイズ、キーワード変更時 |
| G7 タイミング+アニメーション | 単語 >= 0.25秒、カード >= 0.9秒、最終単語 >= 0.25秒;出口アニメーション存在;スワップオーバーラップ1~2フレーム;負の開始なし | caption_lintレポート+caption_qa+フレームチェック | 再タイミング;出口を追加 | このスキル | 再編集または再タイミング時 |
| G8 セーフゾーン+コントラスト+カバレッジ | 字幕下端 <= y 1450(ハウスプリセット);ブランド色キーワード >= 4.5:1(ストリップ上);caption_qaがカバレッジを記載 | caption_qaレポート(カバレッジ文+コントラスト数値付き) | 移動、色変更、または背景追加 | このスキル | レイアウト変更時または新しい比率 |
ハウスプリセットv1数値(各数値は上書き可能;出典はリファレンス内の日付による)
Rubik:Black(900)キーワード、Regular/600小文字;1080x1920で54~66px(E03暫定デフォルト;Alef 700とNoto Sans Hebrew 600は同等にスコア;Karantinaは単一モデル静的レビューで1.8 vs 4.2、人間パネルなし、電話なし、アニメーションなし)。単語ポップ1~3単語、カードあたり0.35~0.7秒;入口は出口でミラー(ブラーアウトアップ、約4フレーム、10px上昇、ブラー6px);Aロールで字幕レールy 900~1240、下端 <= 1450;キーテキストy <= 1248。9:16プラットフォームテーブルの日付は2026-09で、法則として未検証:電話でオーバーレイテストを実行。
リファレンス(必要なときに読み込む)
references/asr-routes.md- ASRルートの選択/構築、WERプロトコル、VAD、歌詞パス、クラウドオプション(未実行)。references/hebrew-typography.md- フォント選択、似た文字テスト、E03テーブル、ライセンス。references/rtl-and-bidi.md- ヘブライ語/英語/数字混在行、HyperFramesおよびAfter EffectsのRTLの落とし穴。references/caption-timing.md- モード、正確なタイミングレシピ、セーフゾーン、コントラストスクリプト。references/volatile-facts.md- 速度、WER、固定、ライセンス、セーフゾーン数値を引用する前に。- スクリプト:
scripts/caption_lint.py(カードタイミング/双方向/レールlint)、scripts/wer.py(宣言された正規化によるWER/CER);いずれもstdlib、--self-check;スクリプトパスはこのスキルのフォルダからの相対パス。 - リポジトリレベルの日付付きモジュール(他者が所有):
agent-content/references/asr-routes.md、agent-content/references/hebrew-rtl-captions.md、agent-content/references/platform-specs.md、agent-content/techniques/caption-collision.md;日付付きテーブルまたはボックス衝突メソッドが必要なときに読み込む。 - 関連スキル:
edit-talking-head、render-qa-deliver、video-analysis(分析レポート、字幕ではない)。
証拠ステータス
ASRは実験E02/E08(所有者マシン)から;フォントはE03から;タイミングと出口ルールは所有者のプロジェクトから。人間によるタイミングの真値なし、クラウドASR未実行、ONNX変換のモデルライセンス未解決。指定済み;決定論的チェックのみ;モデル評価未実行(Q4)。