スキル: video-transcribe-and-caption
目的
動画の音声をクラウドサービスなしでテキスト化します。yt-dlpでダウンロードし、faster-whisperでローカル文字起こしを行い、SRTファイルを出力。必要に応じてffmpegで字幕を焼き込み、すべてのプレイヤーで表示できるようにします。
手順
1. ツールの確認
which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null
uvx yt-dlp および uv run --with faster-whisper を使えばインストール不要です。ffmpegのsubtitlesフィルタにはlibass対応の本物のffmpegビルドが必要です(ffmpeg -filters | grep subtitlesで確認)。imageio-ffmpegに付属するバイナリでは不足する可能性があります。
2. ダウンロード
uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'
3. 文字起こし→SRT生成
# srt.py — uv run --with faster-whisper python srt.py で実行
from faster_whisper import WhisperModel
def ts(t):
h, r = divmod(t, 3600); m, s = divmod(r, 60)
return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"
model = WhisperModel("large-v3", device="cpu", compute_type="int8") # GPUがあればdevice="cuda"
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
for i, s in enumerate(segments, 1):
f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")
モデルの選択:
smallは高速ですが、複数話者やジョーク、専門用語で誤認識しやすい。最初の確認には使えますが、最終的な字幕には不向きです。large-v3が本番向け。初回ダウンロードは約3GB(~/.cache/huggingface/hub/に保存)。回線が遅いと30分以上かかる場合もあるので、事前に伝えて許可を得てください。mediumはその半分のサイズです。- 長時間の文字起こしはバックグラウンドで実行し、進捗を正直に報告してください:HFキャッシュの
.incompleteファイルがまだ成長しているか(ダウンロード中)、プロセスが高CPU状態か(文字起こし中)確認します。
4. 誤認識の修正
Whisperは固有名詞やドメイン固有の単語を誤認識することがあります。全体を再実行せず、問題のある部分だけを語彙ヒント付きで再文字起こしします:
ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
initial_prompt="期待される単語のリスト: 製品名、専門用語、絵文字名。")
その後、該当のSRTエントリを手動で編集します(タイムスタンプは維持)。フレーム画像を取得(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg)すると、画面のテキストから音声を判別するのに役立ちます。確信度の低い行は、推測を事実として提示するのではなく、ユーザーに伝えてください。
5. 字幕の焼き込み
ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
-vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
-c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4
出力ファイルの隣にSRTを保持しておけば、1行の修正と再レンダリングが1分以内で完了します。ソフト字幕(表示/非表示切り替え可能)の場合は、ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4 で多重化します。
成果物
元の動画、字幕付き動画、.srt ファイル、プレーンテキストのトランスクリプト。キャッシュされたモデルのサイズも伝え、ユーザーが削除できるようにします。
よくあるミス
smallモデルの出力をそのまま字幕として使う。- 数GBのモデルダウンロードを事前確認なしに開始する。
- 3行だけ修正するために全文文字起こしを再実行する。
- libass対応でないffmpegを使い、「No such filter: subtitles」エラーが発生する。