Communitygithub.com

ovachiever/droid-tings

OpenAI 的多語言語音辨識模型,支援 99 種語言,可進行語音轉文字、翻譯成英文及語言辨識,提供從 tiny(39M 參數)到 large(1550M 參數)六種模型規模。

droid-tings 是什麼?

Whisper 是 OpenAI 開發的強健多語言語音辨識模型,專為將音訊準確轉錄為文字而設計。它支援 99 種語言,能直接翻譯成英文,並可自動辨識輸入語言,非常適合語音轉文字、翻譯、Podcast 轉錄、會議記錄自動化,以及處理嘈雜或非母語音訊。該專案在 GitHub 擁有超過 72,900 顆星,採用 MIT 授權,並以 680,000 小時的多語言音訊訓練而成。Whisper 可與 Claude Code、Coder、Cursor 或 Codex 等 AI 代理無縫整合,透過 Python API 或命令列工具直接使用。它提供六種模型(tiny、base、small、medium、large、turbo),其中 turbo 在速度與品質間取得最佳平衡。Whisper 的優勢在於完全離線操作、無 API 依賴,且能處理多樣音訊場景。此外,進階功能如初始提示、詞級時間戳、溫度回退及 GPU 加速,能進一步提升轉錄準確度與效率。對於需要強健且自託管的語音辨識解決方案的開發者與 AI 代理使用者而言,Whisper 是理想的選擇。

相容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ovachiever/droid-tings/tree/HEAD/skills/whisper

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Whisper - 強健語音辨識 (Robust Speech Recognition)

OpenAI 的多語言語音辨識模型。

何時使用 Whisper

使用時機:

  • 語音轉文字轉錄(99 種語言)
  • Podcast/影片轉錄
  • 會議記錄自動化
  • 翻譯成英文
  • 嘈雜音訊轉錄
  • 多語言音訊處理

指標:

  • 72,900+ GitHub 星星
  • 支援 99 種語言
  • 以 680,000 小時音訊訓練
  • MIT 授權

替代方案:

  • AssemblyAI:託管 API,支援說話者區分
  • Deepgram:即時串流 ASR
  • Google Speech-to-Text:雲端服務

快速開始

安裝

# 需要 Python 3.8-3.11
pip install -U openai-whisper

# 需要 ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

基本轉錄

import whisper

# 載入模型
model = whisper.load_model("base")

# 轉錄
result = model.transcribe("audio.mp3")

# 印出文字
print(result["text"])

# 存取段落
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

模型大小

# 可用模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# 載入特定模型
model = whisper.load_model("turbo")  # 最快,品質良好
模型參數量純英文多語言速度VRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

建議:使用 turbo 以獲得最佳速度/品質,使用 base 進行原型開發。

轉錄選項

語言指定

# 自動偵測語言
result = model.transcribe("audio.mp3")

# 指定語言(更快)
result = model.transcribe("audio.mp3", language="en")

# 支援:en, es, fr, de, it, pt, ru, ja, ko, zh 等 89 種

任務選擇

# 轉錄(預設)
result = model.transcribe("audio.mp3", task="transcribe")

# 翻譯成英文
result = model.transcribe("spanish.mp3", task="translate")
# 輸入:西班牙語音訊 → 輸出:英文文字

初始提示

# 透過上下文提升準確度
result = model.transcribe(
    "audio.mp3",
    initial_prompt="This is a technical podcast about machine learning and AI."
)

# 有助於:
# - 技術術語
# - 專有名詞
# - 特定領域詞彙

時間戳

# 詞級時間戳
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

溫度回退

# 若信心度低,以不同溫度重試
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

命令列使用

# 基本轉錄
whisper audio.mp3

# 指定模型
whisper audio.mp3 --model turbo

# 輸出格式
whisper audio.mp3 --output_format txt     # 純文字
whisper audio.mp3 --output_format srt     # 字幕
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # 含時間戳的 JSON

# 語言
whisper audio.mp3 --language Spanish

# 翻譯
whisper spanish.mp3 --task translate

批次處理

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"正在轉錄 {audio_file}...")
    result = model.transcribe(audio_file)

    # 儲存到檔案
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

即時轉錄

# 串流音訊請使用 faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# 串流轉錄
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU 加速

import whisper

# 自動使用 GPU(若可用)
model = whisper.load_model("turbo")

# 強制使用 CPU
model = whisper.load_model("turbo", device="cpu")

# 強制使用 GPU
model = whisper.load_model("turbo", device="cuda")

# GPU 加速 10-20 倍

與其他工具整合

字幕生成

# 生成 SRT 字幕
whisper video.mp4 --output_format srt --language English

# 輸出:video.srt

與 LangChain 配合

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# 在 RAG 中使用轉錄結果
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

從影片中提取音訊

# 使用 ffmpeg 提取音訊
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# 然後轉錄
whisper audio.wav

最佳實踐

  1. 使用 turbo 模型 - 英文的最佳速度/品質
  2. 指定語言 - 比自動偵測更快
  3. 添加初始提示 - 改善技術術語
  4. 使用 GPU - 加速 10-20 倍
  5. 批次處理 - 效率更高
  6. 轉換為 WAV - 相容性更好
  7. 分割長音訊 - 小於 30 分鐘的片段
  8. 檢查語言支援 - 各語言品質不同
  9. 使用 faster-whisper - 比 openai-whisper 快 4 倍
  10. 監控 VRAM - 根據硬體調整模型大小

效能

模型即時因數 (CPU)即時因數 (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

即時因數:0.1 代表比即時快 10 倍

語言支援

主要支援語言:

  • 英文 (en)
  • 西班牙文 (es)
  • 法文 (fr)
  • 德文 (de)
  • 義大利文 (it)
  • 葡萄牙文 (pt)
  • 俄文 (ru)
  • 日文 (ja)
  • 韓文 (ko)
  • 中文 (zh)

完整清單:總計 99 種語言

限制

  1. 幻覺 - 可能重複或創造文字
  2. 長音訊準確度 - 超過 30 分鐘的音訊會下降
  3. 說話者辨識 - 不支援說話者區分
  4. 口音 - 品質因口音而異
  5. 背景噪音 - 可能影響準確度
  6. 即時延遲 - 不適合即時字幕

資源

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相關技能