Whisper - 強大的語音辨識技術 是做什麼的?
OpenAI 的多語言語音辨識模型。
何時使用 Whisper
適用時機:
- 語音轉文字轉錄(99 種語言)
- Podcast/影片轉錄
- 會議記錄自動化
- 翻譯為英文
- 噪音環境音訊轉錄
- 多語言音訊處理
數據亮點:
- 72,900+ GitHub 星數
- 支援 99 種語言
- 以 680,000 小時音訊訓練
- MIT 授權
可考慮替代方案:
- AssemblyAI:受管 API、說話者區分
- Deepgram:即時串流 ASR
- Google Speech-to-Text:雲端服務
快速入門
安裝
# 需要 Python 3.8-3.11
pip install -U openai-whisper
# 需要 ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
基本轉錄
import whisper
# 載入模型
model = whisper.load_model("base")
# 轉錄
result = model.transcribe("audio.mp3")
# 輸出文字
print(result["text"])
# 取得段落
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
模型大小
# 可用模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# 載入特定模型
model = whisper.load_model("turbo") # 最快、品質好
| 模型 | 參數量 | 僅英文 | 多語言 | 速度 | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
建議:使用 turbo 獲得最佳速度/品質平衡,base 適合原型開發
轉錄選項
語言指定
# 自動偵測語言
result = model.transcribe("audio.mp3")
# 指定語言(更快)
result = model.transcribe("audio.mp3", language="en")
# 支援:en, es, fr, de, it, pt, ru, ja, ko, zh,及其他 89 種
任務選擇
# 轉錄(預設)
result = model.transcribe("audio.mp3", task="transcribe")
# 翻譯為英文
result = model.transcribe("spanish.mp3", task="translate")
# 輸入:西班牙語音訊 → 輸出:英文文字
初始提示詞
# 透過上下文提升準確度
result = model.transcribe(
"audio.mp3",
initial_prompt="這是一個關於機器學習與 AI 的技術 Podcast。"
)
# 有助於:
# - 技術術語
# - 專有名詞
# - 領域特定詞彙
時間戳記
# 詞級時間戳記
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
溫度回退
# 當信心度低時以不同溫度重試
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
命令列使用
# 基本轉錄
whisper audio.mp3
# 指定模型
whisper audio.mp3 --model turbo
# 輸出格式
whisper audio.mp3 --output_format txt # 純文字
whisper audio.mp3 --output_format srt # 字幕
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # 含時間戳記的 JSON
# 語言
whisper audio.mp3 --language Spanish
# 翻譯
whisper spanish.mp3 --task translate
批量處理
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"正在轉錄 {audio_file}...")
result = model.transcribe(audio_file)
# 儲存至檔案
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
即時轉錄
# 串流音訊請使用 faster-whisper
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# 串流轉錄
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPU 加速
import whisper
# 自動使用 GPU(若可用)
model = whisper.load_model("turbo")
# 強制 CPU
model = whisper.load_model("turbo", device="cpu")
# 強制 GPU
model = whisper.load_model("turbo", device="cuda")
# GPU 上快 10-20 倍
與其他工具整合
字幕產生
# 產生 SRT 字幕
whisper video.mp4 --output_format srt --language English
# 輸出:video.srt
與 LangChain 整合
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# 在 RAG 中使用轉錄結果
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
從影片擷取音訊
# 使用 ffmpeg 擷取音訊
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# 然後轉錄
whisper audio.wav
最佳實務
- 使用 turbo 模型 - 英文最佳速度/品質
- 指定語言 - 比自動偵測更快
- 加入初始提示詞 - 改善技術術語辨識
- 使用 GPU - 快 10-20 倍
- 批量處理 - 更有效率
- 轉換為 WAV - 相容性更好
- 分割長音訊 - 少於 30 分鐘的片段
- 檢查語言支援 - 不同語言品質會有差異
- 使用 faster-whisper - 比 openai-whisper 快 4 倍
- 監控 VRAM - 根據硬體調整模型大小
效能
| 模型 | 即時因子(CPU) | 即時因子(GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
即時因子:0.1 表示比即時快 10 倍
語言支援
主要支援語言:
- 英文 (en)
- 西班牙文 (es)
- 法文 (fr)
- 德文 (de)
- 義大利文 (it)
- 葡萄牙文 (pt)
- 俄文 (ru)
- 日文 (ja)
- 韓文 (ko)
- 中文 (zh)
完整列表:總計 99 種語言
限制
- 幻覺 - 可能重複或憑空產生文字
- 長篇準確度 - 超過 30 分鐘的音訊品質下降
- 說話者辨識 - 無區分功能
- 口音 - 品質因口音而異
- 背景噪音 - 可能影響準確度
- 即時延遲 - 不適合即時字幕
資源
- GitHub:https://github.com/openai/whisper ⭐ 72,900+
- 論文:https://arxiv.org/abs/2212.04356
- 模型卡:https://github.com/openai/whisper/blob/main/model-card.md
- Colab:可在儲存庫中找到
- 授權:MIT