Communitygithub.com

動畫歌詞影片

製作一支垂直動畫歌詞影片(繪本故事搭配歌詞卡拉OK字幕),適用於 YouTube Shorts、Instagram Reels 或 TikTok,使用此倉庫的 Remotion 工具組。當使用者提供歌曲(音檔與歌詞)並希望獲得動畫或歌詞影片時使用。

動畫歌詞影片 是什麼?

此技能用於生成垂直動畫歌詞影片,專為社交媒體短影音(如 YouTube Shorts、Instagram Reels、TikTok)而設計。它接收使用者的音檔和歌詞,自動創建一個簡短的繪本故事來配合歌詞,並在動畫下方逐行顯示歌詞,同時高亮正在演唱的單詞。該技能依賴 Remotion 框架,並提供了一套完整的工具組合:從創建歌曲專案、處理歌詞轉錄與對齊,到編寫場景和渲染最終影片。其核心在於引導使用者設計一個連貫的故事,避免逐字插圖,而是通過動作、物品、光線和顏色來暗示歌詞意境。此外,它還包含豐富的可重用元件庫(如人物、場景背景、道具和時間動畫輔助函數),確保影片風格統一且製作高效。使用者需先提供音檔和歌詞,技能會自動生成時間軸並輸出 1080x1920 的 MP4 檔案。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

動畫歌詞影片 是做什麼的?

影片包含一首歌的片段、一個配合歌詞的簡短繪本故事,以及動畫下方逐行顯示的歌詞,並高亮正在演唱的單詞。外殼(src/kit/LyricVideo.tsx)負責處理音訊、標題、歌詞、致謝、社交帳號和淡入淡出。你的任務是選取歌曲片段、設定時間點和編寫故事。請使用使用者的語言回答。

0. 輸入

僅取得缺少的內容,不多問:

  • 音檔和歌詞文字。如果使用者只提供歌曲名稱,請要求提供檔案。 不要下載歌曲。
  • 歌手、歌曲名稱、致謝文字(例如「詞曲:……」)、可選的社交帳號({network: 'instagram' | 'youtube', handle})。
  • 最大長度。如果使用者未指定,預設為 60 秒。

只處理使用者擁有或獲准使用的歌曲。切勿上傳或發布任何內容。

1. 創建歌曲

npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"

這會在 src/songs/<id>/ 建立(設定檔、歌詞、場景),將音訊複製到 public/,並註冊組件 <id>。

2. 歌詞、轉錄、對齊

  1. 編寫 src/songs/<id>/lyrics.txt:每行一個畫面行,依照演唱順序, 重複的副歌需再次寫出。每行 2–7 個單詞閱讀效果最佳; 較長的行請在自然停頓處分割。
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>
  3. 選取歌曲片段,並在 config.ts 中設定 start / end:
    • 保持在最大長度內;
    • 在你要保留的第一個演唱行前 2–3 秒開始(為封面場景留出空間);
    • 在一個完整的短語結束後結束,理想情況是副歌行,並留出約 1.5 秒用於淡出(外殼會在最後約 1.8 秒內淡出音訊和畫面);
    • 使用 transcription.json 中的片段時間來尋找短語邊界。
  4. python scripts/align.py src/songs/<id> 並閱讀其報告:
    • "not heard: timing estimated":Whisper 跳過了該行;時間僅為 猜測。嘗試更大的模型(--model mlx-community/whisper-large-v3-mlx 或 --model large-v3)或在 lyrics.ts 中手動修正。
    • "Dropped":位於選取片段外的行。如果使用者貼上了整首歌的歌詞,這是預期行爲。
    • Whisper 辨識的單詞經常出錯;應以使用者的歌詞為準。切勿「修正」使用者的歌詞以符合 Whisper 的辨識結果。如果錄音明顯演唱了不同的歌詞,請告知使用者,並詢問要顯示哪個版本。

3. 在編寫程式碼之前先編寫故事

製作一個簡短的節拍表:每個節拍對應一行(或一對歌詞行),並附上來自 lyrics.ts 的開始時間。然後將節拍轉換為場景。

風格規則。這些是讓影片成功的關鍵;請務必遵循:

  • 暗示,而非逐字插圖。 不要出現重複歌詞的螢幕文字或狀聲詞:沒有標誌、標籤、目的地、對話框、「汪汪」、「噓」、「∞」。用動作、物品、光線、天氣、顏色和反覆出現的主題來敘述。如果一行歌詞提到了某個東西(火車、狗、電話),請思考它在故事中代表什麼,並加以表現,或者展示該東西但不在畫面上標明名稱。
  • 一個故事,一組角色。 保持相同的角色和一些反覆出現的場景和道具,使影片看起來像一個連貫的故事,而非幻燈片。
  • 抓住關鍵詞。 將爆發、撞擊和變化等效果對齊到重要單詞的起始時間(pop(t, word.start),sacudida(t, word.start))。
  • 始終保持動態。 任何畫面停滯不變的時間不要超過約一秒。
  • 尊重版面配置。 在 1080x1920 畫布上,將場景繪製在 y≈300 到 y≈1100 的區域。標題位於上方,歌詞從 y≈1150 處開始。
  • 場景應在它所描繪的歌詞行開始前約 0.3–0.5 秒切換;外殼會進行 0.12 秒的交叉淡入淡出。
  • 第一個場景是封面(顯示歌手和歌曲名稱,在人聲開始之前)。當第二個場景開始時,標題才會出現。

4. 編寫場景程式碼

編輯 src/songs/<id>/scenes.tsx。一個場景是一個接收 t(歌曲時間,以秒為單位)並在 <Lienzo> 內部繪製的組件:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 在兩個歌曲時間點之間從 0 到 1
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

工具組參考(名稱是西班牙文;README.md 有詞彙表)。瀏覽 kit-gallery 組件中的每一個元件。

  • 時間輔助函數(kit.tsx):u(t, a, b) 從 0 到 1 的進度;lerp、lerp2; 緩動函數 eo(出)、ei(入)、eio(入-出)、back(過衝); pop(t, at) 彈性出現;sacudida(t, at) 阻尼震動;rnd(i) 確定性隨機。切勿使用 Math.random()。
  • 角色:<Persona tipo="el" | "ella" x y s mira pose enMano>。x, y 是腳的位置。mira 1 面向右,-1 面向左。pose:bd/bt 手臂前/後 [肩膀角度°, 手肘角度°](0 向下,90 向前,180 向上),paso + zancada (行走),inclina(傾斜),cabeza(頭部傾斜),ojo: 'cerrado'、beso、 sonrojo(臉紅)。ikBrazo(...) 將手瞄準某個點;puntoMano、 puntoCabeza 返回畫布上的座標點。<Pareja k>:0 時分開,1 時接吻。 <Perro>。
  • 場景背景:FondoPuerto(港口,色板 PAL.noche | ocaso | alba)、 FondoHuerto(果園)、FondoTejados(屋頂)、FachadaFondo + FachadaFrente(陽台;角色繪製於兩者之間)、FondoBar、 FondoInfierno、FondoTapia(白牆)、FondoEstacion(車站, 可傳入 tren 參數)、FondoDescampado(夜晚荒地)。大多數場景的地面 位於 y=985(MUELLE_Y、ANDEN_Y);陽台地板 BALCON_Y,街道 CALLE_Y。
  • 物件:Barco、Tren + Humo、Coche(起霧的車窗,霧中畫有 愛心)、Casa、Arbol、Banco、Maleta、Polaroid、Corazon、 Labios、Flor、Manzana、Anillo、NeonCopa、Gaviota、Destello、 Estallido(愛心與嘴唇的爆發)、Flotantes(漂浮的愛心)、 Recuerdo(回憶色調)、Luna、Estrellas、Mar、Cielo。

經驗法則:每個漸層/裁切 id 在整支影片中必須唯一(請加上場景名稱前綴);所有計算都基於 t(不要使用狀態);由後往前繪製。

新的元件請放置在 src/kit/ 中,並遵循相同風格:扁平顏色、無輪廓線、 圍繞自身原點繪製,並帶有 s 縮放屬性。將它們加入 Gallery.tsx。

5. 檢查幀

npm run typecheck
npm run stills -- <id> <second> <second> …

針對每個場景的開始、中間以及每個關鍵詞要求檢查靜止幀。 它會在 out/stills/<id>/sheet.jpg 輸出結果;請查看並在渲染前修正: 可讀性、沒有遮擋臉部的元素、沒有在標題或歌詞區域出現的元素、 從頭到尾使用相同角色、沒有文字標籤、顯示的歌詞與音訊時刻匹配。

6. 渲染與報告

npm run render -- <id>

輸出:out/<id>.mp4,解析度 1080x1920,30 fps,H.264 + AAC。 使用 ffprobe 檢查其持續時間,並向使用者報告:檔案路徑、長度、 使用的歌曲片段、用兩三句話描述的故事,以及你估算的所有時間點 或遇到的歌詞疑問。告知使用者你已檢查了靜止幀,而非正在播放的影片。

相關技能