音频转录管道
使用 Whisper、Deepgram 和 AssemblyAI 构建生产级语音转文本管道，支持批处理和实时转录，并具备说话人区分功能。
决策点
引擎选择决策树
如果需求包括：
├─ 需要实时流式传输？
│ ├─ 是：使用 Deepgram Nova-3 WebSocket（最快）
│ └─ 否：继续检查准确性需求
├─ 需要最高准确性 + 有 GPU？
│ ├─ 是：使用 Whisper large-v3 配合 faster-whisper
│ └─ 否：继续成本分析
├─ 预算 < $0.0059/分钟 且有计算资源？
│ ├─ 是：使用本地 Whisper
│ └─ 否：使用 AssemblyAI Universal-2（最佳 API 说话人区分）
批处理与流处理对比
如果音频特征：
├─ 时长 > 30 分钟？
│ ├─ 是：使用带分块的批处理（在静音处拆分）
│ └─ 否：继续延迟检查
├─ 需要在 < 10 秒内获得结果？
│ ├─ 是：使用流式处理（Deepgram/Whisper.cpp）
│ └─ 否：使用批处理以获得更好的准确性
VAD（语音活动检测）使用
如果内容类型：
├─ 实时对话/会议？
│ ├─ 是：启用 VAD（可节省 40-60% 的静音计算资源）
│ └─ 否：继续内容检查
├─ 有停顿的讲座/演示？
│ ├─ 是：使用保守 VAD（min_silence_duration_ms: 1000）
│ └─ 否：跳过 VAD 用于密集语音（如有声书等）
按领域选择模型
如果语言/口音：
├─ 非英语或口音较重？
│ ├─ 是：使用 Whisper large-v3（最佳多语言支持）
│ └─ 否：继续速度检查
├─ 需要 < 1 秒延迟？
│ ├─ 是：使用 Deepgram Nova-3 流式处理
│ └─ 否：使用 AssemblyAI 处理商业/医学术语
故障模式
静音时幻觉
检测：转录文本在安静段落中显示重复短语，或出现虚假的音乐描述
诊断：VAD 被禁用或阈值过低，模型根据背景噪声生成文本
修复：启用 VAD 并设置 min_silence_duration_ms: 500，在 Whisper 中使用 --no_speech_threshold 0.6
超过 10 个说话人时的说话人区分崩溃
检测：10-15 分钟后所有说话人都被标记为“说话人 1”，或在句子中间出现随机说话人切换 诊断：说话人嵌入模型饱和，拥挤音频中的重叠混淆 修复：按静音预先分段，如果是立体声则使用 AssemblyAI dual_channel，限制最多 8 个活跃说话人
视频时间戳同步漂移
检测：字幕与对应视频帧出现 2-5 秒的偏差
诊断：音频预处理改变了时长，或 VAD 移除了片段但未调整时间戳
修复：在预处理中使用 --preserve_timing，与原始音频时间码同步，对照已知语音事件进行验证
语言自动检测失败
检测：当说话人有口音时，英语单词被转录为乱码，或代码切换被忽略
诊断：模型在前 30 秒内锁定到错误语言，或多语言内容混淆了分类器
修复：对于有口音的英语，强制设置语言为 language="en"；对于非英语到英语的转化，使用 task="translate"
长文件内存溢出
检测：文件超过 45 分钟时出现 OOM 崩溃，或 30 分钟后质量突然下降
诊断：模型保留了完整上下文窗口，GPU VRAM 耗尽
修复：在 25 分钟边界处进行分块，并带有 30 秒重叠；使用 --without_timestamps 以提高 RAM 效率
工作示例
完整会议转录演练
场景：90 分钟董事会会议，6 位说话人，需要准确的说话人识别和时间戳以生成会议纪要
输入分析：
- 90 分钟 → 需要分块
- 6 位说话人 → 在说话人区分限制内
- 商业语境 → 使用 AssemblyAI 处理术语
决策路径：
- 时长 > 30 分钟 → 需要批处理
- 说话人数 = 6 → 可进行说话人区分
- 商业领域 → 选择 AssemblyAI Universal-2
- 需要高准确性 → 启用说话人标签和智能格式化
实现：
# 步骤 1：预处理（专家注意：标准化音频电平）
ffmpeg -i meeting.mp4 -ar 16000 -ac 1 -filter:a "volume=0.8" meeting_clean.wav
# 步骤 2：带重叠的分块（新手会直接处理整个文件）
from pydub import AudioSegment
audio = AudioSegment.from_wav("meeting_clean.wav")
chunks = []
for i in range(0, len(audio), 25*60*1000): # 25 分钟分块
chunk = audio[i:i+27*60*1000] # 27 分钟，带有 2 分钟重叠
chunks.append(chunk)
# 步骤 3：带说话人区分的转录
results = []
for chunk in chunks:
response = assemblyai_client.transcribe(
chunk, speaker_labels=True, auto_punctuation=True,
dual_channel=False, speaker_labels_max=8
)
results.append(response.get_paragraphs())
# 步骤 4：合并重叠段落（新手遗漏的专家步骤）
merged = merge_overlapping_transcripts(results, overlap_seconds=120)
专家 vs 新手：
- 新手：直接处理 90 分钟文件 → OOM 崩溃或准确性差
- 专家：带重叠分块，验证跨分块的说话人一致性，首先标准化音频
质量门控
- WER（词错误率）在已知真实数据的测试样本上 < 5%
- 说话人准确性 > 90%（在有真实数据可用时，每个语句的说话人 ID 正确）
- 实时流式实现端到端延迟 < 2 秒
- SRT/VTT 文件通过验证（时间戳正确，无重叠段）
- 音频预处理完成：确认为 16kHz 单声道 WAV/FLAC 格式
- VAD 参数已调优：样本上静音检测假阳性率 < 10%
- 内存使用量 < 8GB，适用于长达 2 小时的文件（分块正常工作）
- API 错误处理已测试：处理超时、重试和配额超限
- 说话人区分数量与预期匹配（±1 说话人容差）
- 输出时间戳与原始音频对齐精度在 100ms 以内
非适用范围边界
此技能不应用于：
- 文本转语音合成 → 请使用
voice-audio-engineer技能 - 音乐转录或歌词提取 → 请使用
ai-engineer技能处理音乐 AI 模型 - 无转录的音频分类 → 请使用
ai-engineer技能进行音频分类 - 实时翻译（转录 + 翻译） → 请结合
language-translator技能 - 语音生物识别或说话人识别 → 请使用
ai-engineer技能处理语音识别模型 - 音频质量增强或降噪 → 请使用
voice-audio-engineer技能处理音频
在以下情况下请委托给其他技能：
- 需要自定义唤醒词检测 →
voice-audio-engineer - 需要音频指纹识别 →
data-pipeline-engineer - 构建语音助手 →
voice-audio-engineer+conversation-designer - 处理超过 10,000 小时的数据 →
data-pipeline-engineer进行编排