Whisper - 堅牢な音声認識 は何をしますか?
OpenAIのマルチリンガル音声認識モデル。
Whisperを使うタイミング
こんな場合に使用:
- 音声のテキスト化(99言語)
- ポッドキャスト/動画の文字起こし
- ミーティングメモの自動化
- 英語への翻訳
- ノイズのある音声の文字起こし
- 多言語音声の処理
指標:
- GitHubスター 72,900以上
- 99言語サポート
- 680,000時間の音声で学習
- MITライセンス
代わりに以下の代替手段も検討:
- AssemblyAI: マネージドAPI、話者分離
- Deepgram: リアルタイムストリーミングASR
- Google Speech-to-Text: クラウドベース
クイックスタート
インストール
# Python 3.8-3.11が必要
pip install -U openai-whisper
# ffmpegが必要
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
基本的な文字起こし
import whisper
# モデルを読み込み
model = whisper.load_model("base")
# 文字起こし
result = model.transcribe("audio.mp3")
# テキストを出力
print(result["text"])
# セグメントへのアクセス
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
モデルサイズ
# 利用可能なモデル
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# 特定のモデルを読み込み
model = whisper.load_model("turbo") # 最速、高品質
| モデル | パラメータ数 | 英語専用 | 多言語 | 速度 | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
推奨設定: 最高の速度/品質には turboを、プロトタイピングには baseを使用
文字起こしオプション
言語指定
# 言語を自動検出
result = model.transcribe("audio.mp3")
# 言語を指定(より高速)
result = model.transcribe("audio.mp3", language="ja")
# 対応言語: en, es, fr, de, it, pt, ru, ja, ko, zh, その他89言語
タスク選択
# 文字起こし(デフォルト)
result = model.transcribe("audio.mp3", task="transcribe")
# 英語への翻訳
result = model.transcribe("spanish.mp3", task="translate")
# 入力: スペイン語音声 → 出力: 英語テキスト
初期プロンプト
# コンテキストを指定して精度向上
result = model.transcribe(
"audio.mp3",
initial_prompt="これは機械学習とAIに関する技術ポッドキャストです。"
)
# 以下の改善に役立つ:
# - 専門用語
# - 固有名詞
# - ドメイン固有の語彙
タイムスタンプ
# 単語レベルのタイムスタンプ
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
温度フォールバック
# 信頼度が低い場合、異なる温度で再試行
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
コマンドラインの使用
# 基本的な文字起こし
whisper audio.mp3
# モデルを指定
whisper audio.mp3 --model turbo
# 出力形式
whisper audio.mp3 --output_format txt # プレーンテキスト
whisper audio.mp3 --output_format srt # 字幕
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # タイムスタンプ付きJSON
# 言語指定
whisper audio.mp3 --language Spanish
# 翻訳
whisper spanish.mp3 --task translate
バッチ処理
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"{audio_file}を文字起こし中...")
result = model.transcribe(audio_file)
# ファイルに保存
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
リアルタイム文字起こし
# ストリーミング音声にはfaster-whisperを使用
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# ストリーミング文字起こし
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPUアクセラレーション
import whisper
# GPUが利用可能な場合、自動的に使用
model = whisper.load_model("turbo")
# CPUを強制
model = whisper.load_model("turbo", device="cpu")
# GPUを強制
model = whisper.load_model("turbo", device="cuda")
# GPUで10~20倍高速化
他ツールとの連携
字幕生成
# SRT字幕を生成
whisper video.mp4 --output_format srt --language English
# 出力: video.srt
LangChainとの連携
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# RAGで文字起こしを活用
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
動画から音声を抽出
# ffmpegで音声を抽出
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# その後文字起こし
whisper audio.wav
ベストプラクティス
- turboモデルを使用 - 英語で最高の速度/品質
- 言語を指定 - 自動検出よりも高速
- 初期プロンプトを追加 - 専門用語の精度が向上
- GPUを使用 - 10~20倍高速化
- バッチ処理 - より効率的
- WAVに変換 - 互換性が向上
- 長い音声を分割 - 30分未満のチャンク
- 言語サポートを確認 - 言語ごとに品質が異なる
- faster-whisperを使用 - openai-whisperより4倍高速
- VRAMを監視 - モデルサイズをハードウェアに合わせて調整
パフォーマンス
| モデル | リアルタイムファクター(CPU) | リアルタイムファクター(GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
リアルタイムファクター: 0.1 = 実時間の10倍の速度
言語サポート
最もサポートが充実している言語:
- 英語 (en)
- スペイン語 (es)
- フランス語 (fr)
- ドイツ語 (de)
- イタリア語 (it)
- ポルトガル語 (pt)
- ロシア語 (ru)
- 日本語 (ja)
- 韓国語 (ko)
- 中国語 (zh)
全リスト: 合計99言語
制限事項
- 幻覚 - テキストの繰り返しや生成が発生する可能性あり
- 長尺音声の精度 - 30分を超える音声で精度が低下
- 話者識別 - 話者分離機能なし
- アクセント - 品質にばらつきあり
- バックグラウンドノイズ - 精度に影響を与える可能性あり
- リアルタイム遅延 - ライブキャプションには不向き
リソース
- GitHub: https://github.com/openai/whisper ⭐ 72,900+
- 論文: https://arxiv.org/abs/2212.04356
- モデルカード: https://github.com/openai/whisper/blob/main/model-card.md
- Colab: リポジトリ内で利用可能
- ライセンス: MIT