動畫歌詞影片 是做什麼的?
影片包含一首歌的片段、一個配合歌詞的簡短繪本故事,以及動畫下方逐行顯示的歌詞,並高亮正在演唱的單詞。外殼(src/kit/LyricVideo.tsx)負責處理音訊、標題、歌詞、致謝、社交帳號和淡入淡出。你的任務是選取歌曲片段、設定時間點和編寫故事。請使用使用者的語言回答。
0. 輸入
僅取得缺少的內容,不多問:
- 音檔和歌詞文字。如果使用者只提供歌曲名稱,請要求提供檔案。 不要下載歌曲。
- 歌手、歌曲名稱、致謝文字(例如「詞曲:……」)、可選的社交帳號(
{network: 'instagram' | 'youtube', handle})。 - 最大長度。如果使用者未指定,預設為 60 秒。
只處理使用者擁有或獲准使用的歌曲。切勿上傳或發布任何內容。
1. 創建歌曲
npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"
這會在 src/songs/<id>/ 建立(設定檔、歌詞、場景),將音訊複製到 public/,並註冊組件 <id>。
2. 歌詞、轉錄、對齊
- 編寫
src/songs/<id>/lyrics.txt:每行一個畫面行,依照演唱順序, 重複的副歌需再次寫出。每行 2–7 個單詞閱讀效果最佳; 較長的行請在自然停頓處分割。 python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>- 選取歌曲片段,並在
config.ts中設定start/end:- 保持在最大長度內;
- 在你要保留的第一個演唱行前 2–3 秒開始(為封面場景留出空間);
- 在一個完整的短語結束後結束,理想情況是副歌行,並留出約 1.5 秒用於淡出(外殼會在最後約 1.8 秒內淡出音訊和畫面);
- 使用
transcription.json中的片段時間來尋找短語邊界。
python scripts/align.py src/songs/<id>並閱讀其報告:- "not heard: timing estimated":Whisper 跳過了該行;時間僅為
猜測。嘗試更大的模型(
--model mlx-community/whisper-large-v3-mlx或--model large-v3)或在lyrics.ts中手動修正。 - "Dropped":位於選取片段外的行。如果使用者貼上了整首歌的歌詞,這是預期行爲。
- Whisper 辨識的單詞經常出錯;應以使用者的歌詞為準。切勿「修正」使用者的歌詞以符合 Whisper 的辨識結果。如果錄音明顯演唱了不同的歌詞,請告知使用者,並詢問要顯示哪個版本。
- "not heard: timing estimated":Whisper 跳過了該行;時間僅為
猜測。嘗試更大的模型(
3. 在編寫程式碼之前先編寫故事
製作一個簡短的節拍表:每個節拍對應一行(或一對歌詞行),並附上來自 lyrics.ts 的開始時間。然後將節拍轉換為場景。
風格規則。這些是讓影片成功的關鍵;請務必遵循:
- 暗示,而非逐字插圖。 不要出現重複歌詞的螢幕文字或狀聲詞:沒有標誌、標籤、目的地、對話框、「汪汪」、「噓」、「∞」。用動作、物品、光線、天氣、顏色和反覆出現的主題來敘述。如果一行歌詞提到了某個東西(火車、狗、電話),請思考它在故事中代表什麼,並加以表現,或者展示該東西但不在畫面上標明名稱。
- 一個故事,一組角色。 保持相同的角色和一些反覆出現的場景和道具,使影片看起來像一個連貫的故事,而非幻燈片。
- 抓住關鍵詞。 將爆發、撞擊和變化等效果對齊到重要單詞的起始時間(
pop(t, word.start),sacudida(t, word.start))。 - 始終保持動態。 任何畫面停滯不變的時間不要超過約一秒。
- 尊重版面配置。 在 1080x1920 畫布上,將場景繪製在 y≈300 到 y≈1100 的區域。標題位於上方,歌詞從 y≈1150 處開始。
- 場景應在它所描繪的歌詞行開始前約 0.3–0.5 秒切換;外殼會進行 0.12 秒的交叉淡入淡出。
- 第一個場景是封面(顯示歌手和歌曲名稱,在人聲開始之前)。當第二個場景開始時,標題才會出現。
4. 編寫場景程式碼
編輯 src/songs/<id>/scenes.tsx。一個場景是一個接收 t(歌曲時間,以秒為單位)並在 <Lienzo> 內部繪製的組件:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 在兩個歌曲時間點之間從 0 到 1
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
工具組參考(名稱是西班牙文;README.md 有詞彙表)。瀏覽 kit-gallery 組件中的每一個元件。
- 時間輔助函數(
kit.tsx):u(t, a, b)從 0 到 1 的進度;lerp、lerp2; 緩動函數eo(出)、ei(入)、eio(入-出)、back(過衝);pop(t, at)彈性出現;sacudida(t, at)阻尼震動;rnd(i)確定性隨機。切勿使用Math.random()。 - 角色:
<Persona tipo="el" | "ella" x y s mira pose enMano>。x, y是腳的位置。mira1 面向右,-1 面向左。pose:bd/bt手臂前/後[肩膀角度°, 手肘角度°](0 向下,90 向前,180 向上),paso+zancada(行走),inclina(傾斜),cabeza(頭部傾斜),ojo: 'cerrado'、beso、sonrojo(臉紅)。ikBrazo(...)將手瞄準某個點;puntoMano、puntoCabeza返回畫布上的座標點。<Pareja k>:0 時分開,1 時接吻。<Perro>。 - 場景背景:
FondoPuerto(港口,色板PAL.noche | ocaso | alba)、FondoHuerto(果園)、FondoTejados(屋頂)、FachadaFondo+FachadaFrente(陽台;角色繪製於兩者之間)、FondoBar、FondoInfierno、FondoTapia(白牆)、FondoEstacion(車站, 可傳入tren參數)、FondoDescampado(夜晚荒地)。大多數場景的地面 位於 y=985(MUELLE_Y、ANDEN_Y);陽台地板BALCON_Y,街道CALLE_Y。 - 物件:
Barco、Tren+Humo、Coche(起霧的車窗,霧中畫有 愛心)、Casa、Arbol、Banco、Maleta、Polaroid、Corazon、Labios、Flor、Manzana、Anillo、NeonCopa、Gaviota、Destello、Estallido(愛心與嘴唇的爆發)、Flotantes(漂浮的愛心)、Recuerdo(回憶色調)、Luna、Estrellas、Mar、Cielo。
經驗法則:每個漸層/裁切 id 在整支影片中必須唯一(請加上場景名稱前綴);所有計算都基於 t(不要使用狀態);由後往前繪製。
新的元件請放置在 src/kit/ 中,並遵循相同風格:扁平顏色、無輪廓線、
圍繞自身原點繪製,並帶有 s 縮放屬性。將它們加入 Gallery.tsx。
5. 檢查幀
npm run typecheck
npm run stills -- <id> <second> <second> …
針對每個場景的開始、中間以及每個關鍵詞要求檢查靜止幀。
它會在 out/stills/<id>/sheet.jpg 輸出結果;請查看並在渲染前修正:
可讀性、沒有遮擋臉部的元素、沒有在標題或歌詞區域出現的元素、
從頭到尾使用相同角色、沒有文字標籤、顯示的歌詞與音訊時刻匹配。
6. 渲染與報告
npm run render -- <id>
輸出:out/<id>.mp4,解析度 1080x1920,30 fps,H.264 + AAC。
使用 ffprobe 檢查其持續時間,並向使用者報告:檔案路徑、長度、
使用的歌曲片段、用兩三句話描述的故事,以及你估算的所有時間點
或遇到的歌詞疑問。告知使用者你已檢查了靜止幀,而非正在播放的影片。