Communitygithub.com

動画文字起こしと字幕追加

X/Twitter、YouTube、任意のyt-dlp URL、またはローカルファイルの動画を、ローカルのWhisperで文字起こしし、SRTファイルを生成し、字幕を焼き込んだ新しいMP4を作成します。「トランスクリプトを取得」「発言内容を抽出」「字幕を追加」「この動画に字幕をつけて」などの依頼に対応します。

動画文字起こしと字幕追加 とは?

このスキル(video-transcribe-and-caption)は、クラウドサービスを使わずに動画内の音声をテキスト化し、字幕を付与するためのエージェント向けツールです。yt-dlpで動画をダウンロードし、faster-whisper(大規模言語モデルlarge-v3推奨)でローカル文字起こしを行い、SRT形式の字幕ファイルを出力します。さらに、ffmpegのsubtitlesフィルタを使って動画に字幕を焼き付け、常に表示されるMP4ファイルを生成することも可能です。対応プラットフォームはX/Twitter、YouTube、その他yt-dlpがサポートするすべてのサイト、およびローカルファイルです。誤認識を修正するための部分再文字起こし機能や、語彙ヒントを与える機能も備えており、低品質なsmallモデルの使用や無断での大規模モデルダウンロードといったよくあるミスを回避するためのガイドラインも含まれています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/gengwg/skills/tree/HEAD/video-transcribe-and-caption

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

スキル: video-transcribe-and-caption

目的

動画の音声をクラウドサービスなしでテキスト化します。yt-dlpでダウンロードし、faster-whisperでローカル文字起こしを行い、SRTファイルを出力。必要に応じてffmpegで字幕を焼き込み、すべてのプレイヤーで表示できるようにします。

手順

1. ツールの確認

which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null

uvx yt-dlp および uv run --with faster-whisper を使えばインストール不要です。ffmpegのsubtitlesフィルタにはlibass対応の本物のffmpegビルドが必要です(ffmpeg -filters | grep subtitlesで確認)。imageio-ffmpegに付属するバイナリでは不足する可能性があります。

2. ダウンロード

uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'

3. 文字起こし→SRT生成

# srt.py — uv run --with faster-whisper python srt.py で実行
from faster_whisper import WhisperModel

def ts(t):
    h, r = divmod(t, 3600); m, s = divmod(r, 60)
    return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"

model = WhisperModel("large-v3", device="cpu", compute_type="int8")  # GPUがあればdevice="cuda"
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
    for i, s in enumerate(segments, 1):
        f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")

モデルの選択:

  • small は高速ですが、複数話者やジョーク、専門用語で誤認識しやすい。最初の確認には使えますが、最終的な字幕には不向きです。
  • large-v3 が本番向け。初回ダウンロードは約3GB(~/.cache/huggingface/hub/ に保存)。回線が遅いと30分以上かかる場合もあるので、事前に伝えて許可を得てください。medium はその半分のサイズです。
  • 長時間の文字起こしはバックグラウンドで実行し、進捗を正直に報告してください:HFキャッシュの.incompleteファイルがまだ成長しているか(ダウンロード中)、プロセスが高CPU状態か(文字起こし中)確認します。

4. 誤認識の修正

Whisperは固有名詞やドメイン固有の単語を誤認識することがあります。全体を再実行せず、問題のある部分だけを語彙ヒント付きで再文字起こしします:

ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
    initial_prompt="期待される単語のリスト: 製品名、専門用語、絵文字名。")

その後、該当のSRTエントリを手動で編集します(タイムスタンプは維持)。フレーム画像を取得(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg)すると、画面のテキストから音声を判別するのに役立ちます。確信度の低い行は、推測を事実として提示するのではなく、ユーザーに伝えてください。

5. 字幕の焼き込み

ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
  -vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
  -c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4

出力ファイルの隣にSRTを保持しておけば、1行の修正と再レンダリングが1分以内で完了します。ソフト字幕(表示/非表示切り替え可能)の場合は、ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4 で多重化します。

成果物

元の動画、字幕付き動画、.srt ファイル、プレーンテキストのトランスクリプト。キャッシュされたモデルのサイズも伝え、ユーザーが削除できるようにします。

よくあるミス

  • small モデルの出力をそのまま字幕として使う。
  • 数GBのモデルダウンロードを事前確認なしに開始する。
  • 3行だけ修正するために全文文字起こしを再実行する。
  • libass対応でないffmpegを使い、「No such filter: subtitles」エラーが発生する。

関連スキル