Communitygithub.com

lyric-video

音声ファイル、カバー画像、歌詞テキスト(任意)から、自動生成されたタイミングで完成したリリックビデオ(.mp4)を作成します。SRTファイルは不要で、オフライン音声認識とあいまい一致により歌詞の誤字も許容します。

lyric-video とは?

このスキルは、ユーザーが提供する音声ファイル、カバー画像、歌詞テキスト(任意)から、完成されたリリックビデオ(.mp4)を生成するものです。SRTファイルを手動で用意する必要はなく、`auto_srt.py` がオフラインのVosk音声認識とfuzzy matchingを用いて自動でタイミングを生成します。対応スタイルは2種類:「spotify」(ぼかしたカバー背景、アルバムカード、プログレスバー付きで滑らかにスクロールする歌詞)と「cinematic」(全画面背景、2.35:1レターボックス、Kalamヒンディー語フォント、単語単位のハイライト)。歌詞が未提供の場合はASRの認識テキストが使用され、カバー画像が無い場合はタイトルからプロシージャル生成されます。複数の音声・画像・動画フォーマットをサポートし、ffmpegとPillowによりメモリ効率良くレンダリングします。このスキルは主にClaude Codeやコード実行環境で動作し、ユーザーが「リリックビデオ」「カラオケビデオ」「Spotify風歌詞編集」「モチベーション系リリックリール」をリクエストした際に使用されます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Lyric Video スキル

ユーザーが提供するもの: 音声ファイル、カバー画像、歌詞(プレーンテキスト、任意)。 あなたが生成するもの: 完成した .mp4 ファイル。ユーザーがSRTファイルを用意する必要はありません — auto_srt.py が音声から自動生成します。

実行手順

pip install pillow imageio-ffmpeg vosk          # ffmpeg は imageio-ffmpeg に同梱

python scripts/make_video.py \
    --audio song.mp3 --cover cover.png --lyrics lyrics.txt \
    --title "曲名" --artist "アーティスト名" \
    --style spotify --out lyric_video.mp4

この1コマンドで:音声認識 → 歌詞の位置合わせ → SRT書き出し → 動画をチャンクごとにレンダリング → 連結 → lyric_video.mp4 を出力します。

  • --style spotify(デフォルト) — ぼかしたカバー背景、アルバムカード、プログレスバー、滑らかにスクロールする歌詞。
  • --style cinematic — 全画面背景(--bg plate.png で指定、または自動生成)、2.35:1レターボックス、Kalamフォント、単語ごとのハイライト。
  • --start 9.6 --duration 20 — ティザークリップ。
  • カバー画像がない?タイトルから自動生成されます。歌詞がない?ASRの認識テキストが使用されます。

入力と、不足時の対応

入力備考不足時
音声mp3 / m4a / wav必須 — ユーザーに依頼
カバー画像正方形、1000×1000以上推奨プログラムで生成;またはFigmaで作成(generate_image、プロンプトはPROMPTS.md参照)
歌詞テキストプレーンテキスト、1行1歌詞ASRの認識テキストが使用、タイミングは自動
曲名 / アーティスト名テキストカバー画像から推測、または汎用表記
言語--lang hi(デフォルト)または en歌詞の表記から自動判定

タイポは想定済みで処理されます:両方のテキストを正規化(句読点、ヌクタ、大文字小文字)し、単語をあいまい一致でマッチングするため、「कोलम्बस」と「कोलंबस」や「आईंस्टीन」と「आइंस्टाइン」のような揺れも吸収します。マッチできない単語は隣接単語から補間されます。

パイプライン(スクリプトの動作)

  1. auto_srt.py — 音声を16kHz PCMにデコードし、Voskを実行(オフライン、初回のみ約40~80MBのモデルをダウンロード)、ユーザーの歌詞を行ごとに文法としてデコードを制約し、difflib + あいまい一致で位置合わせ、1行1SRTキューを書き出す。
  2. spotify_lyrics.py / motivational_render.py — Pillowでフレームをレンダリング、生フレームをffmpegにパイプ。
  3. make_video.py — レンダリングをチャンク分割(デフォルト45秒/チャンク、メモリ2GB未満に維持)、ffmpeg -f concat -c copy で連結。

品質基準

  • 常に連続的な動き、停止しない:カメラ/スクロールをフレームごとに補間。
  • アクティブ行を大きく明るく表示、隣接行は段階的に縮小・減衰。
  • 長い行は安全な幅に自動縮小、テキストがフレーム端で切れない。
  • 各文字体系に適切なフォントを使用:デーヴァナーガリー文字は専用フォント(assets/fonts/ に同梱)、ラテン文字はラテンフォント。1つの文字列内で混在させない。
  • 1フレーム1アイデア:背景が動くかテキストが動くかのどちらか。両方を同時に動かさない。

納品前の確認

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 2~3箇所確認

確認項目:テキストが切れていないか、アクティブ行が1つだけか、トーフ(□)やフォント問題がないか、プログレスタイムが正しいか、音声が同期しているか、バーやグレードが一貫しているか。

よくある問題と対策

症状原因対策
テキストが□になる文字体系に合わないフォントを使用font_for(text, …) を使用;デーヴァナーガリー用フォントは assets/fonts/ にある
mkl_malloc: failed to allocate memory2GB RAM + 大モデル/大音声Vosk(ここで使用)はこれを回避;Whisperの場合は8~10秒にチャンク分割
ffmpeg Cannot allocate memory同時処理フレーム数が多すぎる--chunk 40、-threads 2、rc-lookahead=4
歌詞が時間経過とともにずれる長いインストゥルメンタル部分でアライメント失敗--lyrics を指定;歌詞テキストは1行につき1歌詞とする
背景が飛ぶプリレンダリングされたキーフレームが切り替わる際にブレンドされていないバンドル済みレンダラーはブレンド・補間を行う

関連スキル