アニメーションリリックビデオ は何をしますか?
ビデオは楽曲の抜粋1つで構成され、歌詞に沿った短い描き下ろしストーリーと、アニメーションの下に表示される行ごとの歌詞(歌唱中の単語が強調表示されます)から成ります。シェル(src/kit/LyricVideo.tsx)がオーディオ、ヘッダー、歌詞、クレジット、ソーシャルハンドル、フェードを処理します。あなたの役割は、抜粋の選択、タイミング設定、ストーリーの作成です。ユーザーの言語で回答してください。
0. 入力
不足しているものだけを入手してください。それ以上は不要です。
- 音声ファイルと歌詞テキスト。ユーザーがタイトルしか指定しない場合は、ファイルを要求してください。曲をダウンロードしないでください。
- アーティスト、曲名、クレジット行(例:「作詞・作曲: …」)、オプションのソーシャルハンドル(
{network: 'instagram' | 'youtube', handle})。 - 最大長。ユーザーが指定しない場合は、デフォルトで60秒に設定します。
ユーザーが所有しているか、使用許可を得ている楽曲のみを扱ってください。決してアップロードや公開はしないでください。
1. 楽曲を作成する
npm run new-song -- <ケバブケースID> --audio <ファイル> --title "…" --artist "…" --credit "…"
これにより src/songs/<id>/ に設定、歌詞、シーンが作成され、音声ファイルが public/ にコピーされ、コンポジション <id> が登録されます。
2. 歌詞、書き起こし、アライメント
src/songs/<id>/lyrics.txtを記述します:1画面行につき1行、歌唱順に、繰り返しのコーラスも再度記述します。1行あたり2~7語が読みやすく、長い行は自然な区切りで分割します。python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <コード>- 抜粋を選択し、
config.tsでstart/endを設定します:- 最大長内に収めること。
- 保持する最初の歌唱行の2~3秒前から開始する(カバーシーンのための余白)。
- 完全なフレーズの後、理想的にはコーラスの一行の後、フェードアウトのために約1.5秒の余裕を持たせて終了する(シェルは最後の約1.8秒でオーディオと映像をフェードアウトします)。
- フレーズの境界を見つけるために
transcription.jsonのセグメント時間を使用します。
python scripts/align.py src/songs/<id>を実行し、そのレポートを確認します:- "not heard: timing estimated":Whisperがその行をスキップしました;時間は推測値です。より大きなモデル(
--model mlx-community/whisper-large-v3-mlxまたは--model large-v3)を試すか、lyrics.tsで手動で修正します。 - "Dropped":抜粋範囲外の行。ユーザーが曲全体を貼り付けた場合に想定されます。
- Whisperの単語はしばしば間違っています;ユーザーの歌詞が優先されます。ユーザーの歌詞をWhisperに合わせて「修正」しないでください。録音が明らかに異なる歌詞を歌っている場合は、ユーザーに伝え、どちらのバージョンを表示するか尋ねてください。
- "not heard: timing estimated":Whisperがその行をスキップしました;時間は推測値です。より大きなモデル(
3. コードの前にストーリーを書く
短いビートシートを作成します:1行(または連句)につき1ビート、その開始時間を lyrics.ts から取得します。次にビートをシーンに変換します。
スタイルルール。これらがビデオを機能させるものです。必ず従ってください:
- 示唆せよ、単語を逐語的に描くな。 歌詞を繰り返す画面上の文字や擬音語は禁止:標識、ラベル、行き先、吹き出し、「ワンワン」、「シーッ」、「∞」など。アクション、物、光、天気、色、繰り返し現れるモチーフで表現してください。歌詞が何か(電車、犬、電話)を名指しした場合、それがストーリーの中で何を意味するのかを問い、それを示すか、または名前を出さずにそのものを示してください。
- ひとつのストーリー、ひとつのキャスト。 同じキャラクターと、いくつかの繰り返し使われる設定や小道具を維持することで、ビデオがスライドショーではなくストーリーとして読まれるようにします。
- キーワードをタイミングよく。 ポップ、インパクト、変化は重要な単語の開始に合わせます(
pop(t, word.start)、sacudida(t, word.start))。 - 常に動き続ける。 どのフレームも約1秒以上静止させないでください。
- レイアウトを尊重する。 1080x1920のキャンバス上で、y≈300 から y≈1100 の範囲にシーンを描画します。ヘッダーはその上に、歌詞は y≈1150 から始まります。
- シーンは、それが描く行の約0.3~0.5秒前に変わります;シェルは0.12秒でクロスフェードします。
- 最初のシーンはカバー(アーティスト名と曲名、ボーカルが始まる前)です。ヘッダーは2番目のシーンが始まるときに表示されます。
4. シーンをコーディングする
src/songs/<id>/scenes.tsx を編集します。シーンは t(曲の経過時間(秒))を受け取り、<Lienzo> 内に描画するコンポーネントです:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 曲の2秒間の間で0→1
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
キットリファレンス(名前はスペイン語;README.md に用語集があります)。kit-gallery コンポジション内のすべてのピースを参照してください。
- 時間ヘルパー(
kit.tsx):u(t, a, b)進行度0→1;lerp、lerp2;イージングeo(アウト)、ei(イン)、eio(インアウト)、back(オーバーシュート);pop(t, at)弾むような出現;sacudida(t, at)減衰振動;rnd(i)決定論的乱数。決してMath.random()を使用しないでください。 - キャラクター:
<Persona tipo="el" | "ella" x y s mira pose enMano>。x, yは足の位置。mira1 は右向き、-1 は左向き。pose:bd/bt前/後の腕[肩°, 肘°](0が下、90が前、180が上)、paso+zancada(歩行)、inclina(傾き)、cabeza(首の傾き)、ojo: 'cerrado'、beso、sonrojo(赤面)。ikBrazo(...)は手を特定の点に向けます;puntoMano、puntoCabezaはキャンバス上の点を返します。<Pareja k>:0は離れている、1はキス中。<Perro>。 - 設定:
FondoPuerto(港、パレットPAL.noche | ocaso | alba)、FondoHuerto(果樹園)、FondoTejados(屋上)、FachadaFondo+FachadaFrente(バルコニー;キャラクターをその間に描画)、FondoBar、FondoInfierno、FondoTapia(白壁)、FondoEstacion(駅、trenを渡す)、FondoDescampado(夜の荒地)。ほとんどの設定で地面は y=985(MUELLE_Y、ANDEN_Y);バルコニーの床BALCON_Y、通りCALLE_Y。 - オブジェクト:
Barco、Tren+Humo、Coche(曇った窓、曇りに描かれたハート)、Casa、Arbol、Banco、Maleta、Polaroid、Corazon、Labios、Flor、Manzana、Anillo、NeonCopa、Gaviota、Destello、Estallido(ハートと唇の破裂)、Flotantes(浮遊ハート)、Recuerdo(記憶の色合い)、Luna、Estrellas、Mar、Cielo。
経験則:すべてのグラデーション/クリップ id はビデオ全体で一意でなければなりません(シーン名をプレフィックスとして付加);すべてを t から計算(状態なし);奥から手前に描画します。
新しいパーツは src/kit/ に、同じスタイル(フラットカラー、輪郭線なし、自身の原点を中心に描画、s スケールプロパティを持つ)で追加します。それらを Gallery.tsx に追加してください。
5. フレームを確認する
npm run typecheck
npm run stills -- <id> <秒> <秒> …
すべてのシーンの開始時と中間時、および各キーワードのフレームを要求します。out/stills/<id>/sheet.jpg に出力されます。レンダリング前に確認して修正します:可読性、顔を覆うものがないこと、ヘッダーや歌詞エリアに何もないこと、キャラクターが一貫していること、文字通りのラベルがないこと、表示されている歌詞がオーディオの瞬間と一致していること。
6. レンダリングと報告
npm run render -- <id>
出力:out/<id>.mp4、1080x1920、30fps、H.264 + AAC。ffprobe でその長さを確認し、ユーザーに報告します:ファイルパス、長さ、使用した抜粋、2~3文でのストーリー、そして推定したすべてのタイミングや見つけた歌詞の疑念。静止フレームは確認したが、再生中のビデオは確認していないことを伝えます。