Communitygithub.com

アニメーションリリックビデオ

このリポジトリのRemotionキットを使って、縦型のアニメーションリリックビデオ(歌詞に沿った描き下ろしストーリーと、その下に表示されるカラオケ風歌詞テロップ)をYouTubeショート、Instagramリール、TikTok向けに作成します。ユーザーが楽曲(音声ファイルと歌詞)を提供し、アニメーションまたはリリックビデオを希望する場合に使用します。

アニメーションリリックビデオ とは?

このスキルはRemotionベースのキットを使用して、縦型アニメーションリリックビデオ(1080x1920、30fps)を生成します。ユーザーが音声ファイルと歌詞テキストを提供すると、歌詞の書き起こしとタイミングアライメント、歌詞に沿った短い描き下ろしストーリーの作成、そして歌唱ワードがハイライトされた行ごとの歌詞テロップ表示を自動化します。対応プラットフォームはYouTubeショート、Instagramリール、TikTokで、最大長(デフォルト60秒)の範囲内で楽曲の抜粋を処理します。プロセスは、楽曲IDの作成(npm run new-song)、Whisperモデルを使用した書き起こしとアライメント、ストーリーボード(ビートシート)の作成、Remotionコンポーネントとしてのシーンの実装、フレームチェック、そして最終レンダリングというステップを踏みます。出力形式はH.264+AACコーデックのMP4ファイルです。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

アニメーションリリックビデオ は何をしますか?

ビデオは楽曲の抜粋1つで構成され、歌詞に沿った短い描き下ろしストーリーと、アニメーションの下に表示される行ごとの歌詞(歌唱中の単語が強調表示されます)から成ります。シェル(src/kit/LyricVideo.tsx)がオーディオ、ヘッダー、歌詞、クレジット、ソーシャルハンドル、フェードを処理します。あなたの役割は、抜粋の選択、タイミング設定、ストーリーの作成です。ユーザーの言語で回答してください。

0. 入力

不足しているものだけを入手してください。それ以上は不要です。

  • 音声ファイルと歌詞テキスト。ユーザーがタイトルしか指定しない場合は、ファイルを要求してください。曲をダウンロードしないでください。
  • アーティスト、曲名、クレジット行(例:「作詞・作曲: …」)、オプションのソーシャルハンドル({network: 'instagram' | 'youtube', handle})。
  • 最大長。ユーザーが指定しない場合は、デフォルトで60秒に設定します。

ユーザーが所有しているか、使用許可を得ている楽曲のみを扱ってください。決してアップロードや公開はしないでください。

1. 楽曲を作成する

npm run new-song -- <ケバブケースID> --audio <ファイル> --title "…" --artist "…" --credit "…"

これにより src/songs/<id>/ に設定、歌詞、シーンが作成され、音声ファイルが public/ にコピーされ、コンポジション <id> が登録されます。

2. 歌詞、書き起こし、アライメント

  1. src/songs/<id>/lyrics.txt を記述します:1画面行につき1行、歌唱順に、繰り返しのコーラスも再度記述します。1行あたり2~7語が読みやすく、長い行は自然な区切りで分割します。
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <コード>
  3. 抜粋を選択し、config.ts で start / end を設定します:
    • 最大長内に収めること。
    • 保持する最初の歌唱行の2~3秒前から開始する(カバーシーンのための余白)。
    • 完全なフレーズの後、理想的にはコーラスの一行の後、フェードアウトのために約1.5秒の余裕を持たせて終了する(シェルは最後の約1.8秒でオーディオと映像をフェードアウトします)。
    • フレーズの境界を見つけるために transcription.json のセグメント時間を使用します。
  4. python scripts/align.py src/songs/<id> を実行し、そのレポートを確認します:
    • "not heard: timing estimated":Whisperがその行をスキップしました;時間は推測値です。より大きなモデル(--model mlx-community/whisper-large-v3-mlx または --model large-v3)を試すか、lyrics.ts で手動で修正します。
    • "Dropped":抜粋範囲外の行。ユーザーが曲全体を貼り付けた場合に想定されます。
    • Whisperの単語はしばしば間違っています;ユーザーの歌詞が優先されます。ユーザーの歌詞をWhisperに合わせて「修正」しないでください。録音が明らかに異なる歌詞を歌っている場合は、ユーザーに伝え、どちらのバージョンを表示するか尋ねてください。

3. コードの前にストーリーを書く

短いビートシートを作成します:1行(または連句)につき1ビート、その開始時間を lyrics.ts から取得します。次にビートをシーンに変換します。

スタイルルール。これらがビデオを機能させるものです。必ず従ってください:

  • 示唆せよ、単語を逐語的に描くな。 歌詞を繰り返す画面上の文字や擬音語は禁止:標識、ラベル、行き先、吹き出し、「ワンワン」、「シーッ」、「∞」など。アクション、物、光、天気、色、繰り返し現れるモチーフで表現してください。歌詞が何か(電車、犬、電話)を名指しした場合、それがストーリーの中で何を意味するのかを問い、それを示すか、または名前を出さずにそのものを示してください。
  • ひとつのストーリー、ひとつのキャスト。 同じキャラクターと、いくつかの繰り返し使われる設定や小道具を維持することで、ビデオがスライドショーではなくストーリーとして読まれるようにします。
  • キーワードをタイミングよく。 ポップ、インパクト、変化は重要な単語の開始に合わせます(pop(t, word.start)、sacudida(t, word.start))。
  • 常に動き続ける。 どのフレームも約1秒以上静止させないでください。
  • レイアウトを尊重する。 1080x1920のキャンバス上で、y≈300 から y≈1100 の範囲にシーンを描画します。ヘッダーはその上に、歌詞は y≈1150 から始まります。
  • シーンは、それが描く行の約0.3~0.5秒前に変わります;シェルは0.12秒でクロスフェードします。
  • 最初のシーンはカバー(アーティスト名と曲名、ボーカルが始まる前)です。ヘッダーは2番目のシーンが始まるときに表示されます。

4. シーンをコーディングする

src/songs/<id>/scenes.tsx を編集します。シーンは t(曲の経過時間(秒))を受け取り、<Lienzo> 内に描画するコンポーネントです:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 曲の2秒間の間で0→1
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

キットリファレンス(名前はスペイン語;README.md に用語集があります)。kit-gallery コンポジション内のすべてのピースを参照してください。

  • 時間ヘルパー(kit.tsx):u(t, a, b) 進行度0→1;lerp、lerp2;イージング eo(アウト)、ei(イン)、eio(インアウト)、back(オーバーシュート);pop(t, at) 弾むような出現;sacudida(t, at) 減衰振動;rnd(i) 決定論的乱数。決して Math.random() を使用しないでください。
  • キャラクター:<Persona tipo="el" | "ella" x y s mira pose enMano>。x, y は足の位置。mira 1 は右向き、-1 は左向き。pose:bd/bt 前/後の腕 [肩°, 肘°](0が下、90が前、180が上)、paso + zancada(歩行)、inclina(傾き)、cabeza(首の傾き)、ojo: 'cerrado'、beso、sonrojo(赤面)。ikBrazo(...) は手を特定の点に向けます;puntoMano、puntoCabeza はキャンバス上の点を返します。<Pareja k>:0は離れている、1はキス中。<Perro>。
  • 設定:FondoPuerto(港、パレット PAL.noche | ocaso | alba)、FondoHuerto(果樹園)、FondoTejados(屋上)、FachadaFondo + FachadaFrente(バルコニー;キャラクターをその間に描画)、FondoBar、FondoInfierno、FondoTapia(白壁)、FondoEstacion(駅、tren を渡す)、FondoDescampado(夜の荒地)。ほとんどの設定で地面は y=985(MUELLE_Y、ANDEN_Y);バルコニーの床 BALCON_Y、通り CALLE_Y。
  • オブジェクト:Barco、Tren + Humo、Coche(曇った窓、曇りに描かれたハート)、Casa、Arbol、Banco、Maleta、Polaroid、Corazon、Labios、Flor、Manzana、Anillo、NeonCopa、Gaviota、Destello、Estallido(ハートと唇の破裂)、Flotantes(浮遊ハート)、Recuerdo(記憶の色合い)、Luna、Estrellas、Mar、Cielo。

経験則:すべてのグラデーション/クリップ id はビデオ全体で一意でなければなりません(シーン名をプレフィックスとして付加);すべてを t から計算(状態なし);奥から手前に描画します。

新しいパーツは src/kit/ に、同じスタイル(フラットカラー、輪郭線なし、自身の原点を中心に描画、s スケールプロパティを持つ)で追加します。それらを Gallery.tsx に追加してください。

5. フレームを確認する

npm run typecheck
npm run stills -- <id> <秒> <秒> …

すべてのシーンの開始時と中間時、および各キーワードのフレームを要求します。out/stills/<id>/sheet.jpg に出力されます。レンダリング前に確認して修正します:可読性、顔を覆うものがないこと、ヘッダーや歌詞エリアに何もないこと、キャラクターが一貫していること、文字通りのラベルがないこと、表示されている歌詞がオーディオの瞬間と一致していること。

6. レンダリングと報告

npm run render -- <id>

出力:out/<id>.mp4、1080x1920、30fps、H.264 + AAC。ffprobe でその長さを確認し、ユーザーに報告します:ファイルパス、長さ、使用した抜粋、2~3文でのストーリー、そして推定したすべてのタイミングや見つけた歌詞の疑念。静止フレームは確認したが、再生中のビデオは確認していないことを伝えます。

関連スキル