Whisper - 強健語音辨識 (Robust Speech Recognition)
OpenAI 的多語言語音辨識模型。
何時使用 Whisper
使用時機:
- 語音轉文字轉錄(99 種語言)
- Podcast/影片轉錄
- 會議記錄自動化
- 翻譯成英文
- 嘈雜音訊轉錄
- 多語言音訊處理
指標:
- 72,900+ GitHub 星星
- 支援 99 種語言
- 以 680,000 小時音訊訓練
- MIT 授權
替代方案:
- AssemblyAI:託管 API,支援說話者區分
- Deepgram:即時串流 ASR
- Google Speech-to-Text:雲端服務
快速開始
安裝
# 需要 Python 3.8-3.11
pip install -U openai-whisper
# 需要 ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
基本轉錄
import whisper
# 載入模型
model = whisper.load_model("base")
# 轉錄
result = model.transcribe("audio.mp3")
# 印出文字
print(result["text"])
# 存取段落
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
模型大小
# 可用模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# 載入特定模型
model = whisper.load_model("turbo") # 最快,品質良好
| 模型 | 參數量 | 純英文 | 多語言 | 速度 | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
建議:使用 turbo 以獲得最佳速度/品質,使用 base 進行原型開發。
轉錄選項
語言指定
# 自動偵測語言
result = model.transcribe("audio.mp3")
# 指定語言(更快)
result = model.transcribe("audio.mp3", language="en")
# 支援:en, es, fr, de, it, pt, ru, ja, ko, zh 等 89 種
任務選擇
# 轉錄(預設)
result = model.transcribe("audio.mp3", task="transcribe")
# 翻譯成英文
result = model.transcribe("spanish.mp3", task="translate")
# 輸入:西班牙語音訊 → 輸出:英文文字
初始提示
# 透過上下文提升準確度
result = model.transcribe(
"audio.mp3",
initial_prompt="This is a technical podcast about machine learning and AI."
)
# 有助於:
# - 技術術語
# - 專有名詞
# - 特定領域詞彙
時間戳
# 詞級時間戳
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
溫度回退
# 若信心度低,以不同溫度重試
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
命令列使用
# 基本轉錄
whisper audio.mp3
# 指定模型
whisper audio.mp3 --model turbo
# 輸出格式
whisper audio.mp3 --output_format txt # 純文字
whisper audio.mp3 --output_format srt # 字幕
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # 含時間戳的 JSON
# 語言
whisper audio.mp3 --language Spanish
# 翻譯
whisper spanish.mp3 --task translate
批次處理
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"正在轉錄 {audio_file}...")
result = model.transcribe(audio_file)
# 儲存到檔案
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
即時轉錄
# 串流音訊請使用 faster-whisper
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# 串流轉錄
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPU 加速
import whisper
# 自動使用 GPU(若可用)
model = whisper.load_model("turbo")
# 強制使用 CPU
model = whisper.load_model("turbo", device="cpu")
# 強制使用 GPU
model = whisper.load_model("turbo", device="cuda")
# GPU 加速 10-20 倍
與其他工具整合
字幕生成
# 生成 SRT 字幕
whisper video.mp4 --output_format srt --language English
# 輸出:video.srt
與 LangChain 配合
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# 在 RAG 中使用轉錄結果
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
從影片中提取音訊
# 使用 ffmpeg 提取音訊
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# 然後轉錄
whisper audio.wav
最佳實踐
- 使用 turbo 模型 - 英文的最佳速度/品質
- 指定語言 - 比自動偵測更快
- 添加初始提示 - 改善技術術語
- 使用 GPU - 加速 10-20 倍
- 批次處理 - 效率更高
- 轉換為 WAV - 相容性更好
- 分割長音訊 - 小於 30 分鐘的片段
- 檢查語言支援 - 各語言品質不同
- 使用 faster-whisper - 比 openai-whisper 快 4 倍
- 監控 VRAM - 根據硬體調整模型大小
效能
| 模型 | 即時因數 (CPU) | 即時因數 (GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
即時因數:0.1 代表比即時快 10 倍
語言支援
主要支援語言:
- 英文 (en)
- 西班牙文 (es)
- 法文 (fr)
- 德文 (de)
- 義大利文 (it)
- 葡萄牙文 (pt)
- 俄文 (ru)
- 日文 (ja)
- 韓文 (ko)
- 中文 (zh)
完整清單:總計 99 種語言
限制
- 幻覺 - 可能重複或創造文字
- 長音訊準確度 - 超過 30 分鐘的音訊會下降
- 說話者辨識 - 不支援說話者區分
- 口音 - 品質因口音而異
- 背景噪音 - 可能影響準確度
- 即時延遲 - 不適合即時字幕
資源
- GitHub:https://github.com/openai/whisper ⭐ 72,900+
- 論文:https://arxiv.org/abs/2212.04356
- 模型卡:https://github.com/openai/whisper/blob/main/model-card.md
- Colab:儲存庫中提供
- 授權:MIT