Kheish 互換性
このスキルはリポジトリローカルであり、明示的にアクティブ化されるまで非アクティブ状態を保ちます。
元の指示でレガシーツール名が使用されている場合は、以下のKheishマッピングを使用してください。
terminal=>bashweb_extract=>web_fetch、さらにディスカバリーが必要な場合はweb_searchを追加search_files=>grep_searchおよびglob_searchbrowser_*ツールには、ブラウザ対応のサーフェスツールまたはMCPが必要です。利用できない場合は、最も近い利用可能なサーフェスを使用し、その旨を明示してください。
指示にローカルヘルパーファイルが記載されている場合は、${KHEISH_SKILL_DIR} から解決してください。
Whisper - 頑健な音声認識
OpenAIの多言語音声認識モデル。
Whisperを使うタイミング
使用するケース:
- 音声からテキストへの書き起こし(99言語)
- ポッドキャスト/動画の書き起こし
- 会議議事録の自動化
- 英語への翻訳
- ノイズの多い音声の書き起こし
- 多言語音声処理
指標:
- 72,900以上のGitHubスター
- 99言語対応
- 680,000時間の音声で学習
- MITライセンス
代わりに使用する代替手段:
- AssemblyAI: マネージドAPI、話者ダイアライゼーション
- Deepgram: リアルタイムストリーミングASR
- Google Speech-to-Text: クラウドベース
クイックスタート
インストール
# Python 3.8-3.11が必要
pip install -U openai-whisper
# ffmpegが必要
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg
基本的な書き起こし
import whisper
# モデルのロード
model = whisper.load_model("base")
# 書き起こし
result = model.transcribe("audio.mp3")
# テキストの出力
print(result["text"])
# セグメントへのアクセス
for segment in result["segments"]:
print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")
モデルサイズ
# 利用可能なモデル
models = ["tiny", "base", "small", "medium", "large", "turbo"]
# 特定のモデルをロード
model = whisper.load_model("turbo") # 最速、良好な品質
| モデル | パラメータ数 | 英語専用 | 多言語 | 速度 | VRAM |
|---|---|---|---|---|---|
| tiny | 39M | ✓ | ✓ | ~32x | ~1 GB |
| base | 74M | ✓ | ✓ | ~16x | ~1 GB |
| small | 244M | ✓ | ✓ | ~6x | ~2 GB |
| medium | 769M | ✓ | ✓ | ~2x | ~5 GB |
| large | 1550M | ✗ | ✓ | 1x | ~10 GB |
| turbo | 809M | ✗ | ✓ | ~8x | ~6 GB |
推奨事項: 速度と品質のバランスには turbo、プロトタイピングには base を使用してください。
書き起こしオプション
言語指定
# 言語自動検出
result = model.transcribe("audio.mp3")
# 言語を指定(高速)
result = model.transcribe("audio.mp3", language="en")
# 対応言語: en, es, fr, de, it, pt, ru, ja, ko, zh、およびその他89言語
タスク選択
# 書き起こし(デフォルト)
result = model.transcribe("audio.mp3", task="transcribe")
# 英語への翻訳
result = model.transcribe("spanish.mp3", task="translate")
# 入力: スペイン語の音声 → 出力: 英語のテキスト
初期プロンプト
# コンテキストを与えて精度向上
result = model.transcribe(
"audio.mp3",
initial_prompt="This is a technical podcast about machine learning and AI."
)
# 以下の場合に有効:
# - 技術用語
# - 固有名詞
# - ドメイン固有の語彙
タイムスタンプ
# 単語レベルのタイムスタンプ
result = model.transcribe("audio.mp3", word_timestamps=True)
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")
温度フォールバック
# 信頼度が低い場合、異なる温度で再試行
result = model.transcribe(
"audio.mp3",
temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)
コマンドライン使用法
# 基本的な書き起こし
whisper audio.mp3
# モデルの指定
whisper audio.mp3 --model turbo
# 出力フォーマット
whisper audio.mp3 --output_format txt # プレーンテキスト
whisper audio.mp3 --output_format srt # 字幕
whisper audio.mp3 --output_format vtt # WebVTT
whisper audio.mp3 --output_format json # タイムスタンプ付きJSON
# 言語指定
whisper audio.mp3 --language Spanish
# 翻訳
whisper spanish.mp3 --task translate
バッチ処理
import os
audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]
for audio_file in audio_files:
print(f"{audio_file} を書き起こし中...")
result = model.transcribe(audio_file)
# ファイルに保存
output_file = audio_file.replace(".mp3", ".txt")
with open(output_file, "w") as f:
f.write(result["text"])
リアルタイム書き起こし
# ストリーミング音声には faster-whisper を使用
# pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cuda", compute_type="float16")
# ストリーミング書き起こし
segments, info = model.transcribe("audio.mp3", beam_size=5)
for segment in segments:
print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")
GPUアクセラレーション
import whisper
# GPUが利用可能な場合は自動的に使用
model = whisper.load_model("turbo")
# CPUを強制
model = whisper.load_model("turbo", device="cpu")
# GPUを強制
model = whisper.load_model("turbo", device="cuda")
# GPU上で10〜20倍高速
他のツールとの連携
字幕生成
# SRT字幕を生成
whisper video.mp4 --output_format srt --language English
# 出力: video.srt
LangChainとの連携
from langchain.document_loaders import WhisperTranscriptionLoader
loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()
# 書き起こし結果をRAGで使用
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())
動画から音声を抽出
# ffmpegを使用して音声を抽出
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav
# その後書き起こし
whisper audio.wav
ベストプラクティス
- turboモデルを使用 - 英語での速度と品質のベストバランス
- 言語を指定 - 自動検出より高速
- 初期プロンプトを追加 - 技術用語の精度向上
- GPUを使用 - 10〜20倍高速
- バッチ処理 - より効率的
- WAVに変換 - 互換性向上
- 長い音声は分割 - 30分未満のチャンクに
- 言語サポートを確認 - 言語によって品質が異なる
- faster-whisperを使用 - openai-whisperより4倍高速
- VRAMを監視 - ハードウェアに合わせてモデルサイズを調整
パフォーマンス
| モデル | リアルタイム倍率(CPU) | リアルタイム倍率(GPU) |
|---|---|---|
| tiny | ~0.32 | ~0.01 |
| base | ~0.16 | ~0.01 |
| turbo | ~0.08 | ~0.01 |
| large | ~1.0 | ~0.05 |
リアルタイム倍率: 0.1 = リアルタイムの10倍高速
言語サポート
最もサポートの高い言語:
- 英語 (en)
- スペイン語 (es)
- フランス語 (fr)
- ドイツ語 (de)
- イタリア語 (it)
- ポルトガル語 (pt)
- ロシア語 (ru)
- 日本語 (ja)
- 韓国語 (ko)
- 中国語 (zh)
全リスト: 合計99言語
制限事項
- 幻覚 - テキストの繰り返しや捏造が発生する可能性あり
- 長文精度 - 30分以上の音声で精度が低下
- 話者識別 - ダイアライゼーション非対応
- アクセント - 品質にばらつきあり
- 背景ノイズ - 精度に影響を与える可能性あり
- リアルタイム遅延 - ライブキャプションには不向き
リソース
- GitHub: https://github.com/openai/whisper ⭐ 72,900+
- 論文: https://arxiv.org/abs/2212.04356
- モデルカード: https://github.com/openai/whisper/blob/main/model-card.md
- Colab: リポジトリ内で利用可能
- ライセンス: MIT