Whisper - 強大的語音辨識
OpenAI 的多語言語音辨識模型。
何時使用 Whisper
使用時機:
- 語音轉文字轉錄(99 種語言)
- Podcast/影片轉錄
- 會議紀錄自動化
- 翻譯成英文
- 雜訊音訊轉錄
- 多語言音訊處理
指標:
- 72,900+ GitHub 星數
- 支援 99 種語言
- 在 680,000 小時音訊上訓練
- MIT 授權
替代方案:
- AssemblyAI:受管 API,說話者日誌化
- Deepgram:即時串流 ASR
- Google Speech-to-Text:雲端服務
快速開始
安裝
# 需要 Python 3.8-3.11
pip install -U openai-whisper
# 需要 ffmpeg
# macOS:brew install ffmpeg
# Ubuntu:sudo apt install ffmpeg
# Windows:choco install ffmpeg
基本轉錄
import whisper
# 載入模型
model = whisper.load_model("base")
# 轉錄
result = model.transcribe("audio.mp3")
# 列印文字
print(result["text"])
# 存取區段
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
模型大小
# 可用的模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# 載入特定模型
model = whisper.load_model("turbo") # 最快,品質良好
| 模型 | 參數 | 僅英文 | 多語言 | 速度 | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
建議:使用 turbo 獲得最佳速度/品質,base 用於原型開發
轉錄選項
語言指定
# 自動偵測語言
result = model.transcribe("audio.mp3")
# 指定語言(更快)
result = model.transcribe("audio.mp3", language="en")
# 支援:en、es、fr、de、it、pt、ru、ja、ko、zh 等共 99 種
任務選擇
# 轉錄(預設)
result = model.transcribe("audio.mp3", task="transcribe")
# 翻譯成英文
result = model.transcribe("spanish.mp3", task="translate")
# 輸入:西班牙語音訊 → 輸出:英文文字
初始提示詞
# 使用上下文提升準確度
result = model.transcribe(
"audio.mp3",
initial_prompt="這是一個關於機器學習和 AI 的技術 Podcast。"
)
# 有助於:
# - 技術術語
# - 專有名詞
# - 領域特定詞彙
時間戳記
# 詞級時間戳記
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
溫度回退
# 若信心不足,使用不同溫度重新嘗試
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
命令列使用方式
# 基本轉錄
whisper audio.mp3
# 指定模型
whisper audio.mp3 --model turbo
# 輸出格式
whisper audio.mp3 --output_format txt # 純文字
whisper audio.mp3 --output_format srt # 字幕
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # 含時間戳記的 JSON
# 語言
whisper audio.mp3 --language Spanish
# 翻譯
whisper spanish.mp3 --task translate
批次處理
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"正在轉錄 {audio_file}...")
result = model.transcribe(audio_file)
# 儲存到檔案
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
即時轉錄
# 對於串流音訊,請使用 faster-whisper
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# 串流轉錄
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPU 加速
import whisper
# 自動使用 GPU(若可用)
model = whisper.load_model("turbo")
# 強制使用 CPU
model = whisper.load_model("turbo", device="cpu")
# 強制使用 GPU
model = whisper.load_model("turbo", device="cuda")
# 在 GPU 上快 10-20 倍
與其他工具整合
字幕產生
# 產生 SRT 字幕
whisper video.mp4 --output_format srt --language English
# 輸出:video.srt
與 LangChain 搭配
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# 在 RAG 中使用轉錄內容
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
從影片中提取音訊
# 使用 ffmpeg 提取音訊
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# 然後進行轉錄
whisper audio.wav
最佳實務
- 使用 turbo 模型 - 英文的最佳速度/品質
- 指定語言 - 比自動偵測更快
- 加入初始提示詞 - 改善技術術語
- 使用 GPU - 快 10-20 倍
- 批次處理 - 更有效率
- 轉換為 WAV - 更好的相容性
- 分割長音訊 - 小於 30 分鐘的區塊
- 檢查語言支援 - 品質因語言而異
- 使用 faster-whisper - 比 openai-whisper 快 4 倍
- 監控 VRAM - 根據硬體調整模型大小
效能
| 模型 | 即時因子(CPU) | 即時因子(GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
即時因子:0.1 表示比即時快 10 倍
語言支援
最受支援的語言:
- 英文(en)
- 西班牙文(es)
- 法文(fr)
- 德文(de)
- 義大利文(it)
- 葡萄牙文(pt)
- 俄文(ru)
- 日文(ja)
- 韓文(ko)
- 中文(zh)
完整清單:總共 99 種語言
限制
- 幻覺 - 可能重複或編造文字
- 長格式準確度 - 在超過 30 分鐘的音訊上品質下降
- 說話者識別 - 無日誌化處理
- 口音 - 品質因口音而異
- 背景噪音 - 可能影響準確度
- 即時延遲 - 不適合現場字幕
資源
- GitHub:https://github.com/openai/whisper ⭐ 72,900+
- 論文:https://arxiv.org/abs/2212.04356
- 模型卡:https://github.com/openai/whisper/blob/main/model-card.md
- Colab:可在儲存庫中找到
- 授權:MIT