ビデオ/オーディオプロセッサー
ビデオおよびオーディオ録画をテキスト書き起こしと視覚フレームキャプチャに処理し、分析できるようにします。お使いのハードウェアを自動検出し、最適な書き起こしモデル、デバイス、設定を選択します。
Phase 0: コンピューティング環境の検出
呼び出しのたびに最初にこれを実行します。以降のすべての処理を決定します。
python3 -c "
import platform, shutil, subprocess, json
info = {'os': platform.system(), 'arch': platform.machine(), 'ram_gb': 0, 'gpu': 'none', 'vram_gb': 0, 'device': 'cpu', 'dtype': 'float32'}
# RAM
尝试:
if platform.system() == 'Darwin':
import os; info['ram_gb'] = round(os.sysconf('SC_PAGE_SIZE') * os.sysconf('SC_PHYS_PAGES') / (1024**3))
elif platform.system() == 'Linux':
with open('/proc/meminfo') as f:
for line in f:
if line.startswith('MemTotal'):
info['ram_gb'] = round(int(line.split()[1]) / (1024**2))
break
else:
import ctypes
mem = ctypes.c_ulonglong(0)
ctypes.windll.kernel32.GetPhysicallyInstalledMemory(ctypes.byref(mem))
info['ram_gb'] = round(mem.value / (1024**2))
except: pass
# GPU検出
try:
import torch
if torch.cuda.is_available():
info['gpu'] = torch.cuda.get_device_name(0)
info['vram_gb'] = round(torch.cuda.get_device_properties(0).total_mem / (1024**3))
info['device'] = 'cuda'
info['dtype'] = 'float16'
elif hasattr(torch.backends, 'mps') and torch.backends.mps.is_available():
info['gpu'] = 'Apple Silicon (MPS)'
info['vram_gb'] = info['ram_gb'] # ユニファイドメモリ
info['device'] = 'mps'
info['dtype'] = 'float16'
elif hasattr(torch, 'hip') or 'AMD' in str(getattr(torch, '_C', '')):
info['gpu'] = 'AMD (ROCm)'
info['device'] = 'cuda' # ROCmはCUDA APIを使用
info['dtype'] = 'float16'
except ImportError:
pass
# ffmpeg検出
info['ffmpeg'] = shutil.which('ffmpeg') is not None
info['ffprobe'] = shutil.which('ffprobe') is not None
print(json.dumps(info))
"
JSON出力を解析し、内部で COMPUTE として保存します。結果をユーザーに表示します。
検出されたハードウェア:
- OS: {os} ({arch})
- RAM: {ram_gb} GB
- GPU: {gpu} ({vram_gb} GB VRAM)
- コンピューティングデバイス: {device}
- ffmpeg: {インストール済み/未インストール}
Whisperエンジンの選択
ハードウェアに基づいて、書き起こしエンジンを選択します:
| 条件 | エンジン | 理由 |
|---|---|---|
| CUDA GPU 利用可能 | faster-whisper | GPUアクセラレーション(CTranslate2)、標準Whisper比4倍高速 |
| MPS (Apple Silicon) | openai-whisper | 標準Whisper、利用可能な場合はMPSアクセラレーションを使用 |
| CPUのみ | openai-whisper | CPU上の標準Whisper、信頼性の高いフォールバック |
モデル選択マトリックス
ハードウェアと録画時間に基づいて、モデルを推奨します:
| 条件 | 推奨モデル | 速度(1時間録画) | 精度 |
|---|---|---|---|
| CUDA >= 8 GB VRAM | large-v3 | ~5分 | 最高 |
| CUDA 4-7 GB VRAM | medium | ~8分 | 高 |
| MPS (Apple Silicon, 16+ GB) | medium | ~15分 | 高 |
| MPS (Apple Silicon, 8 GB) | small | ~10分 | 良好 |
| CPU + RAM >= 16 GB | small | ~30分 | 良好 |
| CPU + RAM < 16 GB | base | ~15分 | 十分 |
推奨を表示し、ユーザーが選択できるようにします:
AskUserQuestion: "どの書き起こしモデルを使用しますか?"
Options:
- [推奨モデル] (推奨) - [ハードウェアに基づく理由]
- large-v3 - 最高精度、8 GB以上のVRAMまたは大容量RAMが必要
- medium - 高精度、バランスの取れた速度
- small - 良好な精度、より高速な処理
- base - ほとんどの会議に十分、最速
選択されたモデルを WHISPER_MODEL として、エンジンを WHISPER_ENGINE として保存します。
Phase 1: 録画ファイルの特定
ファイルを見つけます。Zoom録画は通常以下のパターンに従います:
GMT{日付}-{時刻}_Recording_{解像度}.mp4(ビデオ)GMT{日付}-{時刻}_Recording.m4a(音声のみ)GMT{日付}-{時刻}_RecordingnewChat.txt(チャットログ)
3つのアーティファクトをすべて確認します。最初にチャットファイルを読みます(サイズが小さく、すぐにコンテキストが得られます)。
Phase 2: 依存関係のインストール
プラットフォームに基づいて必要なものを確認し、インストールします。
ffmpeg
# ffmpegが利用可能か確認
ffmpeg -version 2>&1 | head -1
ffprobe -version 2>&1 | head -1
ffmpegがない場合、プラットフォームに応じてインストール:
| プラットフォーム | インストールコマンド |
|---|---|
| macOS (Homebrew) | brew install ffmpeg |
| macOS (Homebrewなし) | 最初にHomebrewをインストールするよう案内、その後ffmpeg |
| Ubuntu/Debian | sudo apt update && sudo apt install -y ffmpeg |
| Fedora/RHEL | sudo dnf install -y ffmpeg |
| Arch Linux | sudo pacman -S ffmpeg |
| Windows (winget) | winget install Gyan.FFmpeg |
| Windows (choco) | choco install ffmpeg |
| Windows (scoop) | scoop install ffmpeg |
Python + Whisper
python3 -c "import torch; print(torch.__version__)" 2>&1
torchがない場合、プラットフォームに応じてインストール:
| プラットフォーム | インストールコマンド |
|---|---|
| macOS (MPS) | pip3 install torch torchvision torchaudio |
| Linux (CUDA) | pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 |
| Linux (ROCm) | pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0 |
| Linux/Windows (CPU) | pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu |
| Windows (CUDA) | pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 |
次に書き起こしエンジンをインストール:
# CUDA システムの場合 (CTranslate2アクセラレーション付き faster-whisper)
pip3 install faster-whisper
# MPS / CPU システムの場合 (標準 OpenAI Whisper)
pip3 install openai-whisper
Phase 3: 録画時間の取得
ffprobe(クロスプラットフォーム)を使用してファイルの長さを取得:
ffprobe -v quiet -show_entries format=duration -of csv=p=0 "/path/to/file"
これにより時間(秒)が返されます。人間が読める形式に変換し、ユーザーに表示します。選択したモデルとハードウェアに基づいて書き起こし時間を推定するために使用します。
計画を表示:
処理計画:
- ファイル: {filename} ({duration})
- エンジン: {WHISPER_ENGINE} モデル: {WHISPER_MODEL} デバイス: {device}
- 推定書き起こし時間: {estimate}
- フレーム抽出: 1分あたり1フレーム ({frame_count} フレーム)
開始前に調整しますか?
時間見積もり
| デバイス | base | small | medium | large-v3 |
|---|---|---|---|---|
| CUDA (RTX 3060+) | ~1分/時間 | ~2分/時間 | ~4分/時間 | ~5分/時間 |
| CUDA (faster-whisper) | ~30秒/時間 | ~1分/時間 | ~2分/時間 | ~3分/時間 |
| MPS (M1/M2/M3/M4) | ~3分/時間 | ~6分/時間 | ~15分/時間 | ~25分/時間 |
| CPU (16GB+ RAM) | ~8分/時間 | ~15分/時間 | ~30分/時間 | ~60分/時間 |
Phase 4: 視覚フレームの抽出
視覚的なコンテキストのために1分あたり1フレーム抽出します。クロスプラットフォームの一時ディレクトリを使用:
# 一時ディレクトリを作成 (クロスプラットフォーム)
python3 -c "import tempfile, os; d = os.path.join(tempfile.gettempdir(), 'av-frames'); os.makedirs(d, exist_ok=True); print(d)"
次にフレームを抽出:
ffmpeg -i "/path/to/video.mp4" \
-vf "fps=1/60,scale=1280:-1" -q:v 3 {TEMP_DIR}/frame_%03d.jpg
各フレームをReadツールで表示します。フレームには以下が表示されます:
- 画面共有(コード、スライド、UI)
- 参加者名(各ビデオタイルの左下)
- タイムスタンプ(画面共有で表示されている場合)
Phase 5: 音声の書き起こし
書き起こしエンジンを実行します。WHISPER_ENGINEに基づいて適切なコードを選択:
faster-whisper (CUDA システム)
from faster_whisper import WhisperModel
import json
model = WhisperModel("{WHISPER_MODEL}", device="cuda", compute_type="float16")
segments, info = model.transcribe("/path/to/audio", beam_size=5, language="en")
results = []
for segment in segments:
results.append({
"start": segment.start,
"end": segment.end,
"text": segment.text.strip()
})
# タイムスタンプ付き書き起こしを保存
with open("{TEMP_DIR}/transcript.json", "w") as f:
json.dump({"language": info.language, "segments": results}, f, indent=2)
with open("{TEMP_DIR}/transcript.txt", "w") as f:
for seg in results:
start = int(seg["start"])
mins, secs = divmod(start, 60)
f.write(f"[{mins:02d}:{secs:02d}] {seg['text']}\n")
print(f"{len(results)} セグメントを書き起こしました")
openai-whisper (MPS / CPU システム)
import whisper, json
model = whisper.load_model("{WHISPER_MODEL}")
result = model.transcribe("/path/to/audio", verbose=False)
# タイムスタンプ付き書き起こしを保存
with open("{TEMP_DIR}/transcript.json", "w") as f:
json.dump(result, f, indent=2)
with open("{TEMP_DIR}/transcript.txt", "w") as f:
for seg in result["segments"]:
start = int(seg["start"])
mins, secs = divmod(start, 60)
f.write(f"[{mins:02d}:{secs:02d}] {seg['text'].strip()}\n")
print(f"{len(result['segments'])} セグメントを書き起こしました")
書き起こしは時間がかかるため、バックグラウンドで実行します。実行中に、抽出されたフレームを視覚的に確認します。
Phase 6: 統合
視覚フレーム + 書き起こし + チャットを組み合わせて理解を構築:
- 誰が: ビデオの名前ラベルと音声の帰属から参加者を特定
- 何が: 画面に表示されたもの(デモ、スライド、コード)
- 発言: 重要な引用、決定、要件、フィードバック
- アクションアイテム: 明示的な約束とフォローアップ
モデルリファレンス
| モデル | パラメータ数 | 速度 | 精度 | 最適 |
|---|---|---|---|---|
tiny | 39M | 非常に高速 | 低 | クイックスキャン、音声が使用可能かの確認 |
base | 74M | 高速 | 十分 | 短い/明確な会議のデフォルト |
small | 244M | 中程度 | 良好 | アクセントを含む一般的な会議 |
medium | 769M | 低速 | 高 | 重要な会議、顧客対応 |
large-v3 | 1.5B | 非常に低速 | 最高 | 重要な録音、音声品質が低い場合 |
ヒント
- 書き起こしは常にバックグラウンドで実行し、その間にフレームを視覚的に確認する
- フレームは8枚ずつ読み込む(ツールの並列処理制限)
- 標準のWhisperはCPUとMPSでFP32を使用、faster-whisperはCUDAでCTranslate2とFP16を使用
- 非常に長い録音(1時間以上)の場合は、最初に音声を分割することを検討
- Zoomのチャットファイルにはタイムスタンプと共有リンクが含まれているため、最初に読むとすぐにコンテキストが得られる
- Windowsでは、Pythonのファイルパスにスラッシュまたは生文字列を使用する
エラー処理
| エラー | 原因 | 修正 |
|---|---|---|
ffmpeg: command not found | ffmpegがインストールされていない | 上記のプラットフォーム別テーブルに従ってインストール |
No module named 'whisper' | Whisperがインストールされていない | pip3 install openai-whisper |
No module named 'faster_whisper' | faster-whisperがインストールされていない | pip3 install faster-whisper |
CUDA out of memory | モデルがVRAMに大きすぎる | より小さいモデルに切り替え |
RuntimeError: MPS backend | 古いmacOSのMPS問題 | macOSを更新、または PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 でCPUにフォールバック |
torch not found | Python依存関係が不足 | 上記のプラットフォーム別テーブルに従ってtorchをインストール |
| 書き起こしが乱れる | 言語が間違っているか、音声品質が悪い | language="en" を指定するか、より大きなモデルを使用 |
| 書き起こしが非常に遅い | CPUで大きなモデルを実行 | base または small モデルに切り替え |