Communitygithub.com

sacredvoid/skillkit

ビデオ/オーディオ録画(Zoom会議など)の書き起こしと視覚フレーム抽出を行います。Whisperで音声をテキスト化し、ffmpegでフレームを抽出します。ハードウェア(Apple Silicon、NVIDIA、AMD、CPU)を自動検出し、最適な書き起こしモデルを選択します。macOS、Linux、Windowsに対応。

skillkit とは?

このスキルは、会議やWebinarの録画(Zoomなど)から音声書き起こしと視覚的なフレーム抽出を自動化するツールです。最初に、CPU/GPUの種類、搭載RAM、VRAM、利用可能なライブラリ(PyTorch, CUDA, MPS)を検出する`Phase 0: Detect Compute Environment`を実行し、ハードウェア構成を自動認識します。その情報に基づいて最適な書き起こしエンジン(CUDA搭載GPUには高速な`faster-whisper`、Apple SiliconやCPUには`openai-whisper`)とモデル(large-v3, medium, small, base)を推奨し、ユーザーが選択できるようにします。その後、ffmpegと必要なPythonパッケージをプラットフォームに応じてインストールし、録画ファイルから1分あたり1枚のフレームを抽出、同時に音声を書き起こします。書き起こしはタイムスタンプ付きのJSONとテキストファイルで保存され、抽出されたフレームは画面共有の内容(コード、スライド、UI)、参加者名、タイムスタンプの確認に使用されます。最終的には視覚情報と書き起こし、チャットログ(Zoomから自動取得)を統合し、誰が何を話し、何が画面に表示され、どのような決定やアクションアイテムがあったかを総合的に理解します。クロスプラットフォームで動作し、特にCUDA搭載のNVIDIA GPUでは`faster-whisper`による高速処理が可能です。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sacredvoid/skillkit/tree/HEAD/skills/video-audio-processor

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ビデオ/オーディオプロセッサー

ビデオおよびオーディオ録画をテキスト書き起こしと視覚フレームキャプチャに処理し、分析できるようにします。お使いのハードウェアを自動検出し、最適な書き起こしモデル、デバイス、設定を選択します。

Phase 0: コンピューティング環境の検出

呼び出しのたびに最初にこれを実行します。以降のすべての処理を決定します。

python3 -c "
import platform, shutil, subprocess, json

info = {'os': platform.system(), 'arch': platform.machine(), 'ram_gb': 0, 'gpu': 'none', 'vram_gb': 0, 'device': 'cpu', 'dtype': 'float32'}

# RAM
尝试:
    if platform.system() == 'Darwin':
        import os; info['ram_gb'] = round(os.sysconf('SC_PAGE_SIZE') * os.sysconf('SC_PHYS_PAGES') / (1024**3))
    elif platform.system() == 'Linux':
        with open('/proc/meminfo') as f:
            for line in f:
                if line.startswith('MemTotal'):
                    info['ram_gb'] = round(int(line.split()[1]) / (1024**2))
                    break
    else:
        import ctypes
        mem = ctypes.c_ulonglong(0)
        ctypes.windll.kernel32.GetPhysicallyInstalledMemory(ctypes.byref(mem))
        info['ram_gb'] = round(mem.value / (1024**2))
except: pass

# GPU検出
try:
    import torch
    if torch.cuda.is_available():
        info['gpu'] = torch.cuda.get_device_name(0)
        info['vram_gb'] = round(torch.cuda.get_device_properties(0).total_mem / (1024**3))
        info['device'] = 'cuda'
        info['dtype'] = 'float16'
    elif hasattr(torch.backends, 'mps') and torch.backends.mps.is_available():
        info['gpu'] = 'Apple Silicon (MPS)'
        info['vram_gb'] = info['ram_gb']  # ユニファイドメモリ
        info['device'] = 'mps'
        info['dtype'] = 'float16'
    elif hasattr(torch, 'hip') or 'AMD' in str(getattr(torch, '_C', '')):
        info['gpu'] = 'AMD (ROCm)'
        info['device'] = 'cuda'  # ROCmはCUDA APIを使用
        info['dtype'] = 'float16'
except ImportError:
    pass

# ffmpeg検出
info['ffmpeg'] = shutil.which('ffmpeg') is not None
info['ffprobe'] = shutil.which('ffprobe') is not None

print(json.dumps(info))
"

JSON出力を解析し、内部で COMPUTE として保存します。結果をユーザーに表示します。

検出されたハードウェア:

  • OS: {os} ({arch})
  • RAM: {ram_gb} GB
  • GPU: {gpu} ({vram_gb} GB VRAM)
  • コンピューティングデバイス: {device}
  • ffmpeg: {インストール済み/未インストール}

Whisperエンジンの選択

ハードウェアに基づいて、書き起こしエンジンを選択します:

条件エンジン理由
CUDA GPU 利用可能faster-whisperGPUアクセラレーション(CTranslate2)、標準Whisper比4倍高速
MPS (Apple Silicon)openai-whisper標準Whisper、利用可能な場合はMPSアクセラレーションを使用
CPUのみopenai-whisperCPU上の標準Whisper、信頼性の高いフォールバック

モデル選択マトリックス

ハードウェアと録画時間に基づいて、モデルを推奨します:

条件推奨モデル速度(1時間録画)精度
CUDA >= 8 GB VRAMlarge-v3~5分最高
CUDA 4-7 GB VRAMmedium~8分高
MPS (Apple Silicon, 16+ GB)medium~15分高
MPS (Apple Silicon, 8 GB)small~10分良好
CPU + RAM >= 16 GBsmall~30分良好
CPU + RAM < 16 GBbase~15分十分

推奨を表示し、ユーザーが選択できるようにします:

AskUserQuestion: "どの書き起こしモデルを使用しますか?"
Options:
- [推奨モデル] (推奨) - [ハードウェアに基づく理由]
- large-v3 - 最高精度、8 GB以上のVRAMまたは大容量RAMが必要
- medium - 高精度、バランスの取れた速度
- small - 良好な精度、より高速な処理
- base - ほとんどの会議に十分、最速

選択されたモデルを WHISPER_MODEL として、エンジンを WHISPER_ENGINE として保存します。

Phase 1: 録画ファイルの特定

ファイルを見つけます。Zoom録画は通常以下のパターンに従います:

  • GMT{日付}-{時刻}_Recording_{解像度}.mp4 (ビデオ)
  • GMT{日付}-{時刻}_Recording.m4a (音声のみ)
  • GMT{日付}-{時刻}_RecordingnewChat.txt (チャットログ)

3つのアーティファクトをすべて確認します。最初にチャットファイルを読みます(サイズが小さく、すぐにコンテキストが得られます)。

Phase 2: 依存関係のインストール

プラットフォームに基づいて必要なものを確認し、インストールします。

ffmpeg

# ffmpegが利用可能か確認
ffmpeg -version 2>&1 | head -1
ffprobe -version 2>&1 | head -1

ffmpegがない場合、プラットフォームに応じてインストール:

プラットフォームインストールコマンド
macOS (Homebrew)brew install ffmpeg
macOS (Homebrewなし)最初にHomebrewをインストールするよう案内、その後ffmpeg
Ubuntu/Debiansudo apt update && sudo apt install -y ffmpeg
Fedora/RHELsudo dnf install -y ffmpeg
Arch Linuxsudo pacman -S ffmpeg
Windows (winget)winget install Gyan.FFmpeg
Windows (choco)choco install ffmpeg
Windows (scoop)scoop install ffmpeg

Python + Whisper

python3 -c "import torch; print(torch.__version__)" 2>&1

torchがない場合、プラットフォームに応じてインストール:

プラットフォームインストールコマンド
macOS (MPS)pip3 install torch torchvision torchaudio
Linux (CUDA)pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
Linux (ROCm)pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0
Linux/Windows (CPU)pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
Windows (CUDA)pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

次に書き起こしエンジンをインストール:

# CUDA システムの場合 (CTranslate2アクセラレーション付き faster-whisper)
pip3 install faster-whisper

# MPS / CPU システムの場合 (標準 OpenAI Whisper)
pip3 install openai-whisper

Phase 3: 録画時間の取得

ffprobe(クロスプラットフォーム)を使用してファイルの長さを取得:

ffprobe -v quiet -show_entries format=duration -of csv=p=0 "/path/to/file"

これにより時間(秒)が返されます。人間が読める形式に変換し、ユーザーに表示します。選択したモデルとハードウェアに基づいて書き起こし時間を推定するために使用します。

計画を表示:

処理計画:

  • ファイル: {filename} ({duration})
  • エンジン: {WHISPER_ENGINE} モデル: {WHISPER_MODEL} デバイス: {device}
  • 推定書き起こし時間: {estimate}
  • フレーム抽出: 1分あたり1フレーム ({frame_count} フレーム)

開始前に調整しますか?

時間見積もり

デバイスbasesmallmediumlarge-v3
CUDA (RTX 3060+)~1分/時間~2分/時間~4分/時間~5分/時間
CUDA (faster-whisper)~30秒/時間~1分/時間~2分/時間~3分/時間
MPS (M1/M2/M3/M4)~3分/時間~6分/時間~15分/時間~25分/時間
CPU (16GB+ RAM)~8分/時間~15分/時間~30分/時間~60分/時間

Phase 4: 視覚フレームの抽出

視覚的なコンテキストのために1分あたり1フレーム抽出します。クロスプラットフォームの一時ディレクトリを使用:

# 一時ディレクトリを作成 (クロスプラットフォーム)
python3 -c "import tempfile, os; d = os.path.join(tempfile.gettempdir(), 'av-frames'); os.makedirs(d, exist_ok=True); print(d)"

次にフレームを抽出:

ffmpeg -i "/path/to/video.mp4" \
  -vf "fps=1/60,scale=1280:-1" -q:v 3 {TEMP_DIR}/frame_%03d.jpg

各フレームをReadツールで表示します。フレームには以下が表示されます:

  • 画面共有(コード、スライド、UI)
  • 参加者名(各ビデオタイルの左下)
  • タイムスタンプ(画面共有で表示されている場合)

Phase 5: 音声の書き起こし

書き起こしエンジンを実行します。WHISPER_ENGINEに基づいて適切なコードを選択:

faster-whisper (CUDA システム)

from faster_whisper import WhisperModel
import json

model = WhisperModel("{WHISPER_MODEL}", device="cuda", compute_type="float16")
segments, info = model.transcribe("/path/to/audio", beam_size=5, language="en")

results = []
for segment in segments:
    results.append({
        "start": segment.start,
        "end": segment.end,
        "text": segment.text.strip()
    })

# タイムスタンプ付き書き起こしを保存
with open("{TEMP_DIR}/transcript.json", "w") as f:
    json.dump({"language": info.language, "segments": results}, f, indent=2)

with open("{TEMP_DIR}/transcript.txt", "w") as f:
    for seg in results:
        start = int(seg["start"])
        mins, secs = divmod(start, 60)
        f.write(f"[{mins:02d}:{secs:02d}] {seg['text']}\n")

print(f"{len(results)} セグメントを書き起こしました")

openai-whisper (MPS / CPU システム)

import whisper, json

model = whisper.load_model("{WHISPER_MODEL}")
result = model.transcribe("/path/to/audio", verbose=False)

# タイムスタンプ付き書き起こしを保存
with open("{TEMP_DIR}/transcript.json", "w") as f:
    json.dump(result, f, indent=2)

with open("{TEMP_DIR}/transcript.txt", "w") as f:
    for seg in result["segments"]:
        start = int(seg["start"])
        mins, secs = divmod(start, 60)
        f.write(f"[{mins:02d}:{secs:02d}] {seg['text'].strip()}\n")

print(f"{len(result['segments'])} セグメントを書き起こしました")

書き起こしは時間がかかるため、バックグラウンドで実行します。実行中に、抽出されたフレームを視覚的に確認します。

Phase 6: 統合

視覚フレーム + 書き起こし + チャットを組み合わせて理解を構築:

  • 誰が: ビデオの名前ラベルと音声の帰属から参加者を特定
  • 何が: 画面に表示されたもの(デモ、スライド、コード)
  • 発言: 重要な引用、決定、要件、フィードバック
  • アクションアイテム: 明示的な約束とフォローアップ

モデルリファレンス

モデルパラメータ数速度精度最適
tiny39M非常に高速低クイックスキャン、音声が使用可能かの確認
base74M高速十分短い/明確な会議のデフォルト
small244M中程度良好アクセントを含む一般的な会議
medium769M低速高重要な会議、顧客対応
large-v31.5B非常に低速最高重要な録音、音声品質が低い場合

ヒント

  • 書き起こしは常にバックグラウンドで実行し、その間にフレームを視覚的に確認する
  • フレームは8枚ずつ読み込む(ツールの並列処理制限)
  • 標準のWhisperはCPUとMPSでFP32を使用、faster-whisperはCUDAでCTranslate2とFP16を使用
  • 非常に長い録音(1時間以上)の場合は、最初に音声を分割することを検討
  • Zoomのチャットファイルにはタイムスタンプと共有リンクが含まれているため、最初に読むとすぐにコンテキストが得られる
  • Windowsでは、Pythonのファイルパスにスラッシュまたは生文字列を使用する

エラー処理

エラー原因修正
ffmpeg: command not foundffmpegがインストールされていない上記のプラットフォーム別テーブルに従ってインストール
No module named 'whisper'Whisperがインストールされていないpip3 install openai-whisper
No module named 'faster_whisper'faster-whisperがインストールされていないpip3 install faster-whisper
CUDA out of memoryモデルがVRAMに大きすぎるより小さいモデルに切り替え
RuntimeError: MPS backend古いmacOSのMPS問題macOSを更新、または PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 でCPUにフォールバック
torch not foundPython依存関係が不足上記のプラットフォーム別テーブルに従ってtorchをインストール
書き起こしが乱れる言語が間違っているか、音声品質が悪いlanguage="en" を指定するか、より大きなモデルを使用
書き起こしが非常に遅いCPUで大きなモデルを実行base または small モデルに切り替え

関連スキル