Communitygithub.com

Whisper - 強大的語音辨識技術

OpenAI 的多語言語音辨識模型。支援 99 種語言、轉錄、翻譯為英文及語言識別,提供從 tiny (39M 參數) 到 large (1550M 參數) 的六種模型大小。適用於語音轉文字、Podcast 轉錄或多語言音訊處理。

Whisper - 強大的語音辨識技術 是什麼?

此技能提供 OpenAI 的 Whisper 模型,一個專為語音辨識設計的先進模型。它可將音訊轉錄為文字、翻譯為英文,並支援多種語言與模型大小。主要用於自動產生 Podcast 逐字稿、會議記錄、字幕製作等,並可設定語言、初始提示詞與時間戳記。支援六種模型從 tiny 到 turbo,適合不同硬體需求。也提供 CLI 指令與批量處理功能,並可整合 LangChain 與 faster-whisper。GPU 加速可提升 10-20 倍速度。雖然模型效果強大,但對於超過 30 分鐘的長音訊可能準確度下降,且不支援說話者區分。GitHub 超過 72,900 顆星,採用 MIT 授權。

相容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OpenLAIR/dr-claw/tree/HEAD/skills/multimodal/whisper

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Whisper - 強大的語音辨識技術 是做什麼的?

OpenAI 的多語言語音辨識模型。

何時使用 Whisper

適用時機:

  • 語音轉文字轉錄(99 種語言)
  • Podcast/影片轉錄
  • 會議記錄自動化
  • 翻譯為英文
  • 噪音環境音訊轉錄
  • 多語言音訊處理

數據亮點:

  • 72,900+ GitHub 星數
  • 支援 99 種語言
  • 以 680,000 小時音訊訓練
  • MIT 授權

可考慮替代方案:

  • AssemblyAI:受管 API、說話者區分
  • Deepgram:即時串流 ASR
  • Google Speech-to-Text:雲端服務

快速入門

安裝

# 需要 Python 3.8-3.11
pip install -U openai-whisper

# 需要 ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

基本轉錄

import whisper

# 載入模型
model = whisper.load_model("base")

# 轉錄
result = model.transcribe("audio.mp3")

# 輸出文字
print(result["text"])

# 取得段落
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

模型大小

# 可用模型
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# 載入特定模型
model = whisper.load_model("turbo")  # 最快、品質好
模型參數量僅英文多語言速度VRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

建議:使用 turbo 獲得最佳速度/品質平衡,base 適合原型開發

轉錄選項

語言指定

# 自動偵測語言
result = model.transcribe("audio.mp3")

# 指定語言(更快)
result = model.transcribe("audio.mp3", language="en")

# 支援:en, es, fr, de, it, pt, ru, ja, ko, zh,及其他 89 種

任務選擇

# 轉錄(預設)
result = model.transcribe("audio.mp3", task="transcribe")

# 翻譯為英文
result = model.transcribe("spanish.mp3", task="translate")
# 輸入:西班牙語音訊 → 輸出:英文文字

初始提示詞

# 透過上下文提升準確度
result = model.transcribe(
    "audio.mp3",
    initial_prompt="這是一個關於機器學習與 AI 的技術 Podcast。"
)

# 有助於:
# - 技術術語
# - 專有名詞
# - 領域特定詞彙

時間戳記

# 詞級時間戳記
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

溫度回退

# 當信心度低時以不同溫度重試
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

命令列使用

# 基本轉錄
whisper audio.mp3

# 指定模型
whisper audio.mp3 --model turbo

# 輸出格式
whisper audio.mp3 --output_format txt     # 純文字
whisper audio.mp3 --output_format srt     # 字幕
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # 含時間戳記的 JSON

# 語言
whisper audio.mp3 --language Spanish

# 翻譯
whisper spanish.mp3 --task translate

批量處理

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"正在轉錄 {audio_file}...")
    result = model.transcribe(audio_file)

    # 儲存至檔案
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

即時轉錄

# 串流音訊請使用 faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# 串流轉錄
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU 加速

import whisper

# 自動使用 GPU(若可用)
model = whisper.load_model("turbo")

# 強制 CPU
model = whisper.load_model("turbo", device="cpu")

# 強制 GPU
model = whisper.load_model("turbo", device="cuda")

# GPU 上快 10-20 倍

與其他工具整合

字幕產生

# 產生 SRT 字幕
whisper video.mp4 --output_format srt --language English

# 輸出:video.srt

與 LangChain 整合

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# 在 RAG 中使用轉錄結果
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

從影片擷取音訊

# 使用 ffmpeg 擷取音訊
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# 然後轉錄
whisper audio.wav

最佳實務

  1. 使用 turbo 模型 - 英文最佳速度/品質
  2. 指定語言 - 比自動偵測更快
  3. 加入初始提示詞 - 改善技術術語辨識
  4. 使用 GPU - 快 10-20 倍
  5. 批量處理 - 更有效率
  6. 轉換為 WAV - 相容性更好
  7. 分割長音訊 - 少於 30 分鐘的片段
  8. 檢查語言支援 - 不同語言品質會有差異
  9. 使用 faster-whisper - 比 openai-whisper 快 4 倍
  10. 監控 VRAM - 根據硬體調整模型大小

效能

模型即時因子(CPU)即時因子(GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

即時因子:0.1 表示比即時快 10 倍

語言支援

主要支援語言:

  • 英文 (en)
  • 西班牙文 (es)
  • 法文 (fr)
  • 德文 (de)
  • 義大利文 (it)
  • 葡萄牙文 (pt)
  • 俄文 (ru)
  • 日文 (ja)
  • 韓文 (ko)
  • 中文 (zh)

完整列表:總計 99 種語言

限制

  1. 幻覺 - 可能重複或憑空產生文字
  2. 長篇準確度 - 超過 30 分鐘的音訊品質下降
  3. 說話者辨識 - 無區分功能
  4. 口音 - 品質因口音而異
  5. 背景噪音 - 可能影響準確度
  6. 即時延遲 - 不適合即時字幕

資源

相關技能