Communitygithub.com

graniet/kheish

OpenAI 的通用语音识别模型。支持 99 种语言、转录、翻译成英语和语言识别。提供从 tiny(3900 万参数)到 large(15.5 亿参数)六种模型尺寸。适用于语音转文字、播客转录或多语言音频处理。最适合稳健的多语言 ASR。

kheish 是什么?

该技能封装了 OpenAI 的 Whisper 语音识别模型,支持 99 种语言的转录、翻译成英语以及语言自动识别。它提供从 tiny(3900 万参数)到 large(15.5 亿参数)以及 turbo 等多种模型尺寸,用户可根据硬件资源(VRAM)和速度需求灵活选择。Whisper 经过 68 万小时多语言音频训练,在多语言和嘈杂音频场景下表现稳健,适合播客转录、会议记录和视频字幕生成等任务。支持 Python 和命令行两种使用方式,并可通过 faster-whisper 实现实时转录。该技能为仓库本地技能,需显式激活,并使用 Kheish 工具映射规则(如 terminal -> bash)以确保指令兼容。主要局限包括长音频(>30 分钟)精度下降、无说话人分离功能,以及存在幻觉现象。

兼容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/graniet/kheish/tree/HEAD/skills/mlops/models/whisper

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Kheish 兼容性

此技能为仓库本地技能,需显式激活后才生效。

当原始指令引用旧版工具名时,请使用以下 Kheish 映射:

  • terminal => bash
  • web_extract => web_fetch,需要信息发现时再加 web_search
  • search_files => grep_search 和 glob_search
  • browser_* 工具需要支持浏览器的工具或 MCP;如果不可用,请使用最接近的可用工具并明确说明

当指令提到本地辅助文件时,请从 ${KHEISH_SKILL_DIR} 中解析。

Whisper - 鲁棒的语音识别

OpenAI 的多语言语音识别模型。

何时使用 Whisper

适用场景:

  • 语音转文字转录(99 种语言)
  • 播客/视频转录
  • 会议记录自动化
  • 翻译成英语
  • 嘈杂音频转录
  • 多语言音频处理

数据指标:

  • 72,900+ GitHub 星标
  • 支持 99 种语言
  • 基于 68 万小时音频训练
  • MIT 许可证

替代方案:

  • AssemblyAI:托管 API,支持说话人分离
  • Deepgram:实时流式 ASR
  • Google Speech-to-Text:云端解决方案

快速开始

安装

# 需要 Python 3.8-3.11
pip install -U openai-whisper

# 需要 ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

基本转录

import whisper

# 加载模型
model = whisper.load_model("base")

# 转录
result = model.transcribe("audio.mp3")

# 输出文本
print(result["text"])

# 访问片段
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

模型尺寸

# 可用模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# 加载特定模型
model = whisper.load_model("turbo")  # 速度最快,质量良好
模型参数仅英文多语言速度VRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

建议:使用 turbo 获得最佳速度/质量平衡,使用 base 进行原型开发

转录选项

语言指定

# 自动检测语言
result = model.transcribe("audio.mp3")

# 指定语言(速度更快)
result = model.transcribe("audio.mp3", language="en")

# 支持:en、es、fr、de、it、pt、ru、ja、ko、zh 以及另外 89 种语言

任务选择

# 转录(默认)
result = model.transcribe("audio.mp3", task="transcribe")

# 翻译成英语
result = model.transcribe("spanish.mp3", task="translate")
# 输入:西班牙语音频 → 输出:英语文本

初始提示

# 通过上下文提高准确率
result = model.transcribe(
    "audio.mp3",
    initial_prompt="This is a technical podcast about machine learning and AI."
)

# 有助于:
# - 技术术语
# - 专有名词
# - 领域特定词汇

时间戳

# 词级时间戳
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

温度回退

# 置信度低时,以不同温度重试
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

命令行用法

# 基本转录
whisper audio.mp3

# 指定模型
whisper audio.mp3 --model turbo

# 输出格式
whisper audio.mp3 --output_format txt     # 纯文本
whisper audio.mp3 --output_format srt     # 字幕
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # 带时间戳的 JSON

# 语言
whisper audio.mp3 --language Spanish

# 翻译
whisper spanish.mp3 --task translate

批量处理

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"正在转录 {audio_file}...")
    result = model.transcribe(audio_file)

    # 保存到文件
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

实时转录

# 对于流式音频,请使用 faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# 带流式的转录
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU 加速

import whisper

# 自动使用 GPU(如果可用)
model = whisper.load_model("turbo")

# 强制使用 CPU
model = whisper.load_model("turbo", device="cpu")

# 强制使用 GPU
model = whisper.load_model("turbo", device="cuda")

# GPU 上快 10-20 倍

与其他工具集成

字幕生成

# 生成 SRT 字幕
whisper video.mp4 --output_format srt --language English

# 输出:video.srt

与 LangChain 结合

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# 在 RAG 中使用转录结果
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

从视频中提取音频

# 使用 ffmpeg 提取音频
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# 然后转录
whisper audio.wav

最佳实践

  1. 使用 turbo 模型 - 英文下速度/质量最佳
  2. 指定语言 - 比自动检测更快
  3. 添加初始提示 - 改善技术术语识别
  4. 使用 GPU - 快 10-20 倍
  5. 批量处理 - 更高效
  6. 转换为 WAV - 兼容性更好
  7. 分割长音频 - 不超过 30 分钟片段
  8. 检查语言支持 - 各语言质量不同
  9. 使用 faster-whisper - 比 openai-whisper 快 4 倍
  10. 监控 VRAM - 根据硬件调整模型大小

性能

模型实时因子(CPU)实时因子(GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

实时因子:0.1 表示比实时快 10 倍

语言支持

支持的最佳语言:

  • 英语 (en)
  • 西班牙语 (es)
  • 法语 (fr)
  • 德语 (de)
  • 意大利语 (it)
  • 葡萄牙语 (pt)
  • 俄语 (ru)
  • 日语 (ja)
  • 韩语 (ko)
  • 中文 (zh)

完整列表:共 99 种语言

局限性

  1. 幻觉 - 可能重复或虚构文本
  2. 长音频准确率 - 超过 30 分钟时质量下降
  3. 说话人识别 - 无说话人分离功能
  4. 口音 - 质量因口音而异
  5. 背景噪音 - 可能影响准确率
  6. 实时延迟 - 不适合实时字幕

资源

相关技能