Communitygithub.com

graniet/kheish - Whisper 多言語音声認識

OpenAIが開発した汎用音声認識モデル。99言語対応、英語翻訳、言語識別をサポート。tiny(39Mパラメータ)からlarge(1550Mパラメータ)までの6モデルサイズを提供。

kheish - Whisper 多言語音声認識 とは?

このスキルは、OpenAIのWhisperモデルを使用した多言語音声認識(ASR)機能を提供します。99の言語に対応し、テキストへの書き起こし(Transcription)に加え、英語への翻訳や言語識別も可能です。スキルはリポジトリローカルで動作し、明示的にアクティベートされるまで非アクティブ状態を維持します。元の指示でレガシーツール名が使われている場合は、自動的に最新のツール名にマッピングされます(例:`terminal`→`bash`)。対応プラットフォームは、Claude Code、Cursor、CodexなどのAIエージェント環境です。モデルはtiny(39Mパラメータ)からlarge(1550M)まで6種類あり、turboモデルが速度と品質のバランスに優れています。また、GPUアクセラレーション、バッチ処理、リアルタイム転写(faster-whisper)、字幕生成など、様々なユースケースに対応します。ノイズの多い音声や多言語音声処理にも頑健で、ポッドキャスト書き起こし、会議議事録作成、映像の字幕生成など幅広い用途に適しています。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/graniet/kheish/tree/HEAD/skills/mlops/models/whisper

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Kheish 互換性

このスキルはリポジトリローカルであり、明示的にアクティブ化されるまで非アクティブ状態を保ちます。

元の指示でレガシーツール名が使用されている場合は、以下のKheishマッピングを使用してください。

  • terminal => bash
  • web_extract => web_fetch、さらにディスカバリーが必要な場合は web_search を追加
  • search_files => grep_search および glob_search
  • browser_* ツールには、ブラウザ対応のサーフェスツールまたはMCPが必要です。利用できない場合は、最も近い利用可能なサーフェスを使用し、その旨を明示してください。

指示にローカルヘルパーファイルが記載されている場合は、${KHEISH_SKILL_DIR} から解決してください。

Whisper - 頑健な音声認識

OpenAIの多言語音声認識モデル。

Whisperを使うタイミング

使用するケース:

  • 音声からテキストへの書き起こし(99言語)
  • ポッドキャスト/動画の書き起こし
  • 会議議事録の自動化
  • 英語への翻訳
  • ノイズの多い音声の書き起こし
  • 多言語音声処理

指標:

  • 72,900以上のGitHubスター
  • 99言語対応
  • 680,000時間の音声で学習
  • MITライセンス

代わりに使用する代替手段:

  • AssemblyAI: マネージドAPI、話者ダイアライゼーション
  • Deepgram: リアルタイムストリーミングASR
  • Google Speech-to-Text: クラウドベース

クイックスタート

インストール

# Python 3.8-3.11が必要
pip install -U openai-whisper

# ffmpegが必要
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

基本的な書き起こし

import whisper

# モデルのロード
model = whisper.load_model("base")

# 書き起こし
result = model.transcribe("audio.mp3")

# テキストの出力
print(result["text"])

# セグメントへのアクセス
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

モデルサイズ

# 利用可能なモデル
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# 特定のモデルをロード
model = whisper.load_model("turbo")  # 最速、良好な品質
モデルパラメータ数英語専用多言語速度VRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

推奨事項: 速度と品質のバランスには turbo、プロトタイピングには base を使用してください。

書き起こしオプション

言語指定

# 言語自動検出
result = model.transcribe("audio.mp3")

# 言語を指定(高速)
result = model.transcribe("audio.mp3", language="en")

# 対応言語: en, es, fr, de, it, pt, ru, ja, ko, zh、およびその他89言語

タスク選択

# 書き起こし(デフォルト)
result = model.transcribe("audio.mp3", task="transcribe")

# 英語への翻訳
result = model.transcribe("spanish.mp3", task="translate")
# 入力: スペイン語の音声 → 出力: 英語のテキスト

初期プロンプト

# コンテキストを与えて精度向上
result = model.transcribe(
    "audio.mp3",
    initial_prompt="This is a technical podcast about machine learning and AI."
)

# 以下の場合に有効:
# - 技術用語
# - 固有名詞
# - ドメイン固有の語彙

タイムスタンプ

# 単語レベルのタイムスタンプ
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

温度フォールバック

# 信頼度が低い場合、異なる温度で再試行
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

コマンドライン使用法

# 基本的な書き起こし
whisper audio.mp3

# モデルの指定
whisper audio.mp3 --model turbo

# 出力フォーマット
whisper audio.mp3 --output_format txt     # プレーンテキスト
whisper audio.mp3 --output_format srt     # 字幕
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # タイムスタンプ付きJSON

# 言語指定
whisper audio.mp3 --language Spanish

# 翻訳
whisper spanish.mp3 --task translate

バッチ処理

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"{audio_file} を書き起こし中...")
    result = model.transcribe(audio_file)

    # ファイルに保存
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

リアルタイム書き起こし

# ストリーミング音声には faster-whisper を使用
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# ストリーミング書き起こし
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPUアクセラレーション

import whisper

# GPUが利用可能な場合は自動的に使用
model = whisper.load_model("turbo")

# CPUを強制
model = whisper.load_model("turbo", device="cpu")

# GPUを強制
model = whisper.load_model("turbo", device="cuda")

# GPU上で10〜20倍高速

他のツールとの連携

字幕生成

# SRT字幕を生成
whisper video.mp4 --output_format srt --language English

# 出力: video.srt

LangChainとの連携

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# 書き起こし結果をRAGで使用
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

動画から音声を抽出

# ffmpegを使用して音声を抽出
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# その後書き起こし
whisper audio.wav

ベストプラクティス

  1. turboモデルを使用 - 英語での速度と品質のベストバランス
  2. 言語を指定 - 自動検出より高速
  3. 初期プロンプトを追加 - 技術用語の精度向上
  4. GPUを使用 - 10〜20倍高速
  5. バッチ処理 - より効率的
  6. WAVに変換 - 互換性向上
  7. 長い音声は分割 - 30分未満のチャンクに
  8. 言語サポートを確認 - 言語によって品質が異なる
  9. faster-whisperを使用 - openai-whisperより4倍高速
  10. VRAMを監視 - ハードウェアに合わせてモデルサイズを調整

パフォーマンス

モデルリアルタイム倍率(CPU)リアルタイム倍率(GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

リアルタイム倍率: 0.1 = リアルタイムの10倍高速

言語サポート

最もサポートの高い言語:

  • 英語 (en)
  • スペイン語 (es)
  • フランス語 (fr)
  • ドイツ語 (de)
  • イタリア語 (it)
  • ポルトガル語 (pt)
  • ロシア語 (ru)
  • 日本語 (ja)
  • 韓国語 (ko)
  • 中国語 (zh)

全リスト: 合計99言語

制限事項

  1. 幻覚 - テキストの繰り返しや捏造が発生する可能性あり
  2. 長文精度 - 30分以上の音声で精度が低下
  3. 話者識別 - ダイアライゼーション非対応
  4. アクセント - 品質にばらつきあり
  5. 背景ノイズ - 精度に影響を与える可能性あり
  6. リアルタイム遅延 - ライブキャプションには不向き

リソース

関連スキル