Lyric Video スキル
ユーザーが提供するもの: 音声ファイル、カバー画像、歌詞(プレーンテキスト、任意)。
あなたが生成するもの: 完成した .mp4 ファイル。ユーザーがSRTファイルを用意する必要はありません — auto_srt.py が音声から自動生成します。
実行手順
pip install pillow imageio-ffmpeg vosk # ffmpeg は imageio-ffmpeg に同梱
python scripts/make_video.py \
--audio song.mp3 --cover cover.png --lyrics lyrics.txt \
--title "曲名" --artist "アーティスト名" \
--style spotify --out lyric_video.mp4
この1コマンドで:音声認識 → 歌詞の位置合わせ → SRT書き出し → 動画をチャンクごとにレンダリング → 連結 → lyric_video.mp4 を出力します。
--style spotify(デフォルト) — ぼかしたカバー背景、アルバムカード、プログレスバー、滑らかにスクロールする歌詞。--style cinematic— 全画面背景(--bg plate.pngで指定、または自動生成)、2.35:1レターボックス、Kalamフォント、単語ごとのハイライト。--start 9.6 --duration 20— ティザークリップ。- カバー画像がない?タイトルから自動生成されます。歌詞がない?ASRの認識テキストが使用されます。
入力と、不足時の対応
| 入力 | 備考 | 不足時 |
|---|---|---|
| 音声 | mp3 / m4a / wav | 必須 — ユーザーに依頼 |
| カバー画像 | 正方形、1000×1000以上推奨 | プログラムで生成;またはFigmaで作成(generate_image、プロンプトはPROMPTS.md参照) |
| 歌詞テキスト | プレーンテキスト、1行1歌詞 | ASRの認識テキストが使用、タイミングは自動 |
| 曲名 / アーティスト名 | テキスト | カバー画像から推測、または汎用表記 |
| 言語 | --lang hi(デフォルト)または en | 歌詞の表記から自動判定 |
タイポは想定済みで処理されます:両方のテキストを正規化(句読点、ヌクタ、大文字小文字)し、単語をあいまい一致でマッチングするため、「कोलम्बस」と「कोलंबस」や「आईंस्टीन」と「आइंस्टाइン」のような揺れも吸収します。マッチできない単語は隣接単語から補間されます。
パイプライン(スクリプトの動作)
auto_srt.py— 音声を16kHz PCMにデコードし、Voskを実行(オフライン、初回のみ約40~80MBのモデルをダウンロード)、ユーザーの歌詞を行ごとに文法としてデコードを制約し、difflib+ あいまい一致で位置合わせ、1行1SRTキューを書き出す。spotify_lyrics.py/motivational_render.py— Pillowでフレームをレンダリング、生フレームをffmpegにパイプ。make_video.py— レンダリングをチャンク分割(デフォルト45秒/チャンク、メモリ2GB未満に維持)、ffmpeg -f concat -c copyで連結。
品質基準
- 常に連続的な動き、停止しない:カメラ/スクロールをフレームごとに補間。
- アクティブ行を大きく明るく表示、隣接行は段階的に縮小・減衰。
- 長い行は安全な幅に自動縮小、テキストがフレーム端で切れない。
- 各文字体系に適切なフォントを使用:デーヴァナーガリー文字は専用フォント(
assets/fonts/に同梱)、ラテン文字はラテンフォント。1つの文字列内で混在させない。 - 1フレーム1アイデア:背景が動くかテキストが動くかのどちらか。両方を同時に動かさない。
納品前の確認
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 2~3箇所確認
確認項目:テキストが切れていないか、アクティブ行が1つだけか、トーフ(□)やフォント問題がないか、プログレスタイムが正しいか、音声が同期しているか、バーやグレードが一貫しているか。
よくある問題と対策
| 症状 | 原因 | 対策 |
|---|---|---|
| テキストが□になる | 文字体系に合わないフォントを使用 | font_for(text, …) を使用;デーヴァナーガリー用フォントは assets/fonts/ にある |
mkl_malloc: failed to allocate memory | 2GB RAM + 大モデル/大音声 | Vosk(ここで使用)はこれを回避;Whisperの場合は8~10秒にチャンク分割 |
ffmpeg Cannot allocate memory | 同時処理フレーム数が多すぎる | --chunk 40、-threads 2、rc-lookahead=4 |
| 歌詞が時間経過とともにずれる | 長いインストゥルメンタル部分でアライメント失敗 | --lyrics を指定;歌詞テキストは1行につき1歌詞とする |
| 背景が飛ぶ | プリレンダリングされたキーフレームが切り替わる際にブレンドされていない | バンドル済みレンダラーはブレンド・補間を行う |