Kelly MV
應用程式螢幕截圖
核心概念
將此技能用作音樂影片創意工作空間。應用程式是人類編輯的界面;技能則是創意製作人:它負責推理、起草、驗證、匯出,並準備 AI 生成提示。應用程式僅讀取和寫入本地專案檔案。
此處的 MV 是純粹的圖片——無旁白、無對話、無螢幕歌詞。任務很簡單:取用現有的 MP3 並為其配上視覺素材。最終影片就是分鏡鏡頭按照歌曲順序播放。(對於有配音/對話的戲劇,請改用 kelly-drama——那是它的職責。)
應用程式正好有四個區域:概括、歌曲、角色、分鏡。保持如此簡單——不要重新引入歌曲段落、時間軸拼貼或大型逐鏡頭製作表。
預設使用本地應用程式進行持續的創意工作。僅在使用者明確要求「純聊天」、「無 UI」、「纯聊天」或類似情況時,才使用純聊天模式。
預設流程
- 使用
app/start.sh啟動或重複使用本地應用程式(預設為127.0.0.1:3041;會套用KELLY_MV_UI_PORT)。 - 檢查
app/.data/project.json。如果缺少,伺服器會植入捆綁的入門專案(一個《靜夜思》範例 MV)。你也可以使用scripts/create_sample_project.ts重新植入。 - 使用應用程式,遵循側邊欄的下一步:
- 概括:一句話總結 MV 的內容及其調性、一行視覺「外觀」及長寬比。僅此而已。
- 歌曲:上傳 MP3。持續時間會自動讀取。可選的標題/演出者。其他無需填寫。
- 角色:螢幕上出現的人物。穩定的 ID、角色、三視外觀筆記、服裝、錨點、禁止漂移,以及一張角色參考卡圖片。在需要一致性的情況下,在分鏡工作前生成參考卡。無聲音輪廓(純視覺 MV)。與 kelly-drama 使用相同的模型。
- 分鏡:有序的鏡頭清單。每個鏡頭包含畫面描述、螢幕上出現的角色、持續時間,以及圖片 + 影片。圖片和影片可以分別由 AI 生成(從角色卡進行圖片到圖片生成;透過本地 LTX 生成草稿影片)或由使用者上傳。
- 編輯後,在生成前執行
scripts/validate_ui_schema.ts(結構)和scripts/validate_shot_readiness.ts(每個鏡頭有標題、描述和合理的持續時間)。 - 使用
scripts/export_story_bible.ts匯出可讀的概念 + 鏡頭清單,以便交接。
創意操作規則
- 純視覺。 永遠不要添加對話音訊、旁白 TTS 或內嵌字幕/歌詞。唯一的音訊就是歌曲本身。
- 保持簡單。 鏡頭僅包含場景描述 + 角色 + 持續時間 + 圖片 + 影片。不要添加鏡頭規格表、歌曲段落分類、歌詞時間線或嚴格的時間軸覆蓋規則。
- 配合音樂節奏。 根據歌曲剪裁鏡頭長度——快速片段用短鏡頭(4-6秒),建立/英雄/蒙太奇用較長鏡頭(8-12秒)。AI 生成的單個鏡頭必須是 4、5、6、8、10 或 12 秒,且絕不超過 12 秒。(上傳的剪輯可以是任意長度。)
- 兩種填充鏡頭的方式。 每個鏡頭的圖片和影片可以生成或上傳——兩者都以非破壞性候選方式附加,使用者選擇啟用哪一個。尊重使用者的意願;不要透過重新生成來覆蓋已上傳的素材。
- 透過真實的圖片到圖片實現角色一致性。 分鏡圖片生成會將現有的角色參考卡圖片作為實際輸入像素(而不僅僅是文字)饋送到
/images/edits端點。如果角色缺少生成的參考卡,該鏡頭將回退為文字到圖片,且相似度會漂移——請先生成參考卡。 - 按依賴順序生成:歌曲上傳 → 概念撰寫 → 角色參考卡 → 分鏡圖片 → 草稿鏡頭影片。鏡頭的
description是圖片提示詞;可選的negative_prompt和video_prompt可優化生成。 - (當以寫實為目標時)擬真 MV 外觀: 要求電影感音樂影片靜態圖、真實鏡頭感、膠片顆粒;禁止螢幕歌詞/字幕/浮水印/UI、可讀的假文字、塑膠皮膚和畸形手部。
歌曲生成(未來功能)
選擇/匯入現有歌曲是目前支援的路徑。創作歌曲本身——包括使用使用者的複製聲音演唱——已配置為文件化的存根(POST /api/song-generate → scripts/gen_song.py),反映了用於影片的本地草稿 / 雲端正式版拆分。
建議的本地後端(Apple Silicon,無雲端):
- SongGeneration v2 (Tencent) — 原生 MLX 權重
mlx-community/SongGeneration-v2-large。最適合「本地 MLX 最好」;與本地 TTS/音訊堆疊屬於同一系列。首要建議。 - ACE-Step 1.5 — 最強的本地模型,可在 Mac 上運行,<4GB,完整的人聲 + 樂器,支援音訊提示音色複製和歌詞編輯 → 這是「用我 clone 的声音创歌」的路徑(傳遞參考剪輯作為音色提示)。
- YuE / DiffRhythm — 從歌詞生成完整歌曲的替代方案;較重。
注意:複製歌唱聲音需要一個歌唱參考剪輯;語音樣本可以很好地複製音色,但無法複製聲樂表現。若要啟用生成,請將後端安裝到 app/.data/song/venv,在 scripts/gen_song.py 中實作推論調用,然後翻轉 song-service.songConfigPayload() 中的 draft_ready。
應用程式契約
本地應用程式僅使用基於檔案的 JSON:
app/.data/project.json:規範的 MV 工作空間(song,treatment= 概念,characters,shots)。app/.data/image_config.json:僅限本地的分鏡生成圖片 API 配置。app/.data/song_config.json:可選的僅限本地歌曲生成後端配置。app/.data/generated/songs/:上傳(或生成)的歌曲音訊。app/.data/generated/storyboards/,.../references/,.../videos/:生成或上傳的圖片和鏡頭影片。app/.data/agent.lock:臨時寫入鎖定。
應用程式不得免費呼叫外部模型、發布檔案、傳送訊息,或在使用者觸發的配置圖片/影片生成之外改變外部系統。技能僅在使用者要求後才能準備或執行其他動作。
何時閱讀參考資料
- 在設計或改善 MV 概念、角色庫、鏡頭分解或圖片/影片提示工作流程時,閱讀
references/mv-workflow.md。 - 在編輯應用程式檔案、生成專案 JSON 或驗證資料時,閱讀
references/ui-schema.md。
實用指令
skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts
在進行圖片/影片生成之前,執行 validate_shot_readiness.ts(可選地加上 --strict)。使用相對於技能儲存庫根目錄的路徑,或從 skills/kelly-mv 目錄內部執行腳本。



