hebrew-captions-asr
希伯来语转录和内嵌字幕:按配置文件选择ASR路线、获取单词时间、手动校对、构建支持动画入场和出场的从右到左(RTL)正确字幕卡片,并通过 caption_qa 加覆盖范围声明进行验证。
优先级最高的规则
- 强制使用
language="he"。 HyperFrames 内置的transcribe默认使用small.en(希伯来语效果差),且init会用它自动转录:应使用--skip-transcribe和本地的ivrit-ai路线。 - 绝不对整个转录文本运行LLM。 通过每个项目的拼写字典手动修正特定单词;通过多次转录的多数投票决定歧义词,然后停止反复修改。交付标准:零拼写错误(姓名、品牌、引文);希伯来语读者接受,模型审查员仅提名。
- 无云端ASR/TTS调用,除非有标注日期的估算和批准(
paid-generation-gate)。默认是本地且免费;“本地 = $0”不包括设置、构建时间和修复分钟。 - 不在 HyperFrames 根元素上设置
dir="rtl"。 在<html>上使用lang="he";仅在文本元素上使用direction: rtl。这是一个特定引擎/版本的变通方案(0.8.98测试未复现黑色渲染问题,E12):保留规则,每个版本重新测试,绝不要认为“根RTL是无效HTML”。 - 从文件加载字体(
hf/fonts/+@font-face);HyperFrames 浏览器找不到按名称安装的字体,会静默回退。 - 测量值取决于机器。 引用速度为音频秒数/挂壁秒数,并注明计时器作用域;告知学员在自己的硬件上重新测量。
- 法律与内部预设(决策默认 Q5)。 法律要求:出场动画和入场动画一样要有、零拼写错误、无根RTL、人脸锁定前进行形似词测试、重新剪辑后进行反向转录。内部预设 v1(可覆盖):Rubik 字体、1-3个单词卡片、字幕轨底部 y <= 1450、下方停留时长数值。
- Whisper 工具无法处理非ASCII文件路径(
whisper-cli在处理希伯来语路径时出错):应使用ASCII临时目录。长时间ASR运行需像其他重任务一样置于render_lock下。
输入 -> 输出
输入:音频或视频、DESIGN.md/品牌类型套件、如果字幕在剪辑之后则需最终剪辑版。输出(相对于项目):data/words.json([{"text","start","end"}] 秒)、transcript.srt、transcript.txt、data/captions.json(卡片)、合成中的字幕组件、_work/qa/captions_report.json 及覆盖范围声明。
按配置文件的ASR路线(仅在所有者机器上测量)
| 配置文件 | 路线 | 证据与限制 |
|---|---|---|
| 任意CPU(便携基准) | faster-whisper + ivrit turbo CT2, int8, 8个物理核心线程 | 731.4秒处理614.22秒音频 = 0.84音频秒/挂壁秒 (E08) |
| 带Vulkan驱动程序的AMD/Windows | 使用 -DGGML_VULKAN=ON 构建的 whisper.cpp 及 ivrit GGML 模型 | 105.6秒处理同一音频 = 5.82音频秒/挂壁秒;同一构建在CPU上需1033.0秒(慢9.78倍);RX 7600S 需要 GGML_VK_DISABLE_COOPMAT=1(仅本地:仅在崩溃时设置,退出码127) |
| NVIDIA | faster-whisper CUDA 12 / cuDNN 9 或 whisper.cpp CUDA | 未测量 |
| Apple Silicon | whisper.cpp Metal | 未测量 |
语料库:68个 FLEURS he_il 片段,614.22秒朗读语音,单次运行,空闲机器,整个封装秒数。该语料库上的WER(NFC标准化、小写、标点 -> 空格):whisper.cpp CPU 18.09%、Vulkan 18.26%、纯CT2 17.74%、CT2 + VAD 19.38%(1161个词中编辑4-19个:接近但不相等)。未测量真实对话、嘈杂的手机音频和手动单词边界准确性。完整表格、构建配方和限制:references/asr-routes.md;标注日期的事实:references/volatile-facts.md。 |
流程
- 选择路线。 探测机器(
doctor),选择上述路线,写入asr_route.json(模型路径/修订版/哈希、设备、精度、线程数、后端日志行)。权重是固定的,绝不使用“最新”。 - VAD决策(按片段可选,决策默认 Q8)。 不使用VAD时,Whisper对3秒的数字静音和3秒的低噪声(E02)返回了非空希伯来语文本;E08中显式跨度VAD运行比纯CT2更慢且准确性更低(225 vs 206个词编辑)。因此:在当前音频的60秒样本上进行A/B测试,保留较低的WER,并且当音频包含长时间非语音时始终运行静音对照。
- 转录 带单词时间戳;消费定时区域内的每个片段。保存
words.json、.srt(--words-per-cue 3单词弹出模式、6句子模式)、.txt。演唱或音乐背景音频:使用references/asr-routes.md中描述的去除VAD的“歌词模式”和置信度过滤器。 - 校对 全部文本:姓名、品牌、数字(数字字符,而非数字单词)、拼写字典、通过多数投票处理歧义词。标记填充词("אה/אממ" 通常不存在于Whisper输出中:找出有声停顿)且绝不自动删除话语词。
- 在任何重新剪辑之后 对完整的组装配音进行ASR并通过
join_diff与预期文本比对差异;单独的连接片段可能显示“干净”,但完整文件听到了残留片段。以相同方式反向转录TTS输出。 - 构建卡片 (
references/caption-timing.md):1-3个单词、关键词使用关键词颜色、双向隔离、入场 + 出场、提前2帧切换、领先语音0.08-0.1秒、起始时间限制为0;按references/hebrew-typography.md进行字体测试;布局和双向处理按references/rtl-and-bidi.md。 - 质量检查(QA)。 对
captions.json运行scripts/caption_lint.py,对渲染结果运行caption_qa --band <top>:1450,hf_preflight,在每个关键词帧处拍摄快照(--describe false),frame_qa;写入覆盖范围声明(已解码帧数、预期帧数、条带、假设的帧率、未检查的内容)。
门控检查
状态:pass | fail | blocked | n/a 并附原因;超时、空卡片列表或缺失文件为 blocked。
| 门控 | 谓词 | 证据 | 若为假 | 负责人 | 何时重新检查 |
|---|---|---|---|---|---|
| G1 ASR路线 | 从能力探测中选择路线;模型+权重固定;强制 language=he | asr_route.json(路径、修订版、设备、精度、线程数、计时器作用域) | 回退到CPU CT2 int8 | 此技能 | 新机器、驱动程序、模型 |
| G2 VAD | 通过60秒真实样本的A/B测试决定VAD开/关;当音频包含长时间非语音时运行静音对照 | 两个WER (scripts/wer.py) + 记录对照输出 | 如果WER更差则关闭VAD;若出现幻觉则添加过滤器 | 此技能 | 新音频类型 |
| G3 转录文本 | 每个姓名/品牌/数字均已校对;应用拼写字典;希伯来语读者批准零拼写错误 | 已批准的转录文本 + 字典;对样本运行 wer.py 与修正后文本对比 | 手动修正单词;绝不对整个文本使用LLM | 此技能 + 人工 | 任何文本更改 |
| G4 组装剪辑 | 完整组装配音的ASR匹配预期单词;无额外标记;每个句子的首尾2个单词存在 | join_diff JSON | 修正连接,重新剪辑,重新ASR | edit-talking-head G2 | 每次重新剪辑 |
| G5 RTL / 双向 | 无根 dir=rtl;lang="he";拉丁字母、数字、货币、URL已隔离;无杂散的双向控制字符;查看最终帧 | scripts/caption_lint.py 双向部分 + hf_preflight + 查看的帧 | 隔离跨度;剥离控制字符 | 此技能 | 任何字幕文本更改 |
| G6 形似词/字体 | 每个关键词以最终尺寸和360x640渲染;ו/ז、ד/ר、ה/ח不能被误读为另一个单词;字体从文件加载 | hf/QA.md 中的样本记录(字体文件、哈希、大小、帧)+ 显示无回退的快照 | 为该单词更换字体(Karantina "לבזבז" 被读作 "לבובו") | 此技能 | 任何字体、大小或关键词更改 |
| G7 时间+动画 | 单词 >= 0.25秒,卡片 >= 0.9秒,最后一个单词 >= 0.25秒;出场动画存在;切换重叠1-2帧;无负起始时间 | caption_lint 报告 + caption_qa + 帧检查 | 重新计时;添加出场动画 | 此技能 | 任何重新剪辑或重新计时 |
| G8 安全区域+对比度+覆盖 | 字幕底部 <= y 1450(内部预设);品牌颜色关键词在条带上对比度 >= 4.5:1;caption_qa 说明其覆盖范围 | caption_qa 报告含覆盖范围声明 + 对比度数值 | 移动、更改颜色或添加背景 | 此技能 | 任何布局更改;新宽高比 |
内部预设 v1 数值(每个可覆盖;来源在参考文献中标注日期)
Rubik: Black (900) 用于关键词,Regular/600 用于小词;在1080x1920下 54-66 px(E03临时默认;Alef 700 和 Noto Sans Hebrew 600 评分相等;Karantina 在单模型静态评审中评分为1.8 vs 4.2,无人工评审组,无手机设备,无动画)。单词弹出模式1-3个单词,每张卡片0.35-0.7秒;入场由出场镜像(模糊上移,约4帧,上升10像素,模糊6像素);A-roll上字幕轨 y 900-1240,底部 <= 1450;关键文字 y <= 1248。9:16平台表格日期为2026-09且未经法律验证:应在手机上运行覆盖测试。
参考文献(需要时加载)
references/asr-routes.md- 选择/构建ASR路线、WER协议、VAD、歌词模式、云选项(未运行)。references/hebrew-typography.md- 选择字体、形似词测试、E03表格、许可证。references/rtl-and-bidi.md- 混合希伯来语/英语/数字行、HyperFrames 和 After Effects RTL陷阱。references/caption-timing.md- 模式、精确计时配方、安全区域、对比度脚本。references/volatile-facts.md- 在引用速度、WER、固定版本、许可证、安全区域数值之前查看。- 脚本:
scripts/caption_lint.py(卡片计时/双向/字幕轨lint)、scripts/wer.py(带声明标准化方案的WER/CER);均使用标准库,支持--self-check;脚本路径相对于此技能文件夹。 - 代码库级别标注日期的模块(归属其他代码库):
agent-content/references/asr-routes.md、agent-content/references/hebrew-rtl-captions.md、agent-content/references/platform-specs.md、agent-content/techniques/caption-collision.md;当需要标注日期的表格或边界碰撞方法时加载。 - 同级技能:
edit-talking-head、render-qa-deliver、video-analysis(分析报告,非字幕)。
证据状态
ASR来自实验E02/E08(所有者机器);字体来自E03;计时和出场规则来自所有者的项目。无人为计时真值、无云端ASR运行、未解决ONNX转换的模型许可证问题。已指定;仅有确定性检查;未运行模型评估(Q4)。