Communitygithub.com

nine-programmer/CineStory-Studio

從小說章節或敘事腳本製作電影級說故事影片,整合 Gemini 多模態圖片生成、Gemini TTS 錄音室配音,以及 HyperFrames AI GSAP 動畫,確保角色一致性、流暢鏡頭剪輯,且無字幕/音訊干擾。

CineStory-Studio 是什麼?

此技能提供端到端的電影級故事影片製作管線,將小說章節或敘事腳本轉化為高傳真度的說故事影片。它整合了多模態圖片生成(anchor 角色參考影像)、Gemini TTS 純錄音室配音,以及 HyperFrames AI(GSAP)驅動的多鏡頭電影動畫。技能強制執行嚴格的製作標準:所有角色必須透過參考概念表進行視覺定位,旁白配音只能使用純文字敘事,禁止使用系統提示或後設資料,因為 TTS 模型會將其唸出。它還禁止合成音效和字幕保持畫面乾淨,使用 2.39:1 寬銀幕遮幅,並為動作場景採用動態多重剪輯切換。支援的平台包括 Google GenAI SDK(gemini-2.5-flash-image 和 gemini-3.8-flash-tts)、HyperFrames CLI(npx hyperframes lint/render)、FFmpeg,以及 Python 輔助腳本(如 scripts/generate_scene_images.py、scripts/generate_gemini_tts.py、scripts/build_hyperframes_project.py)。整個管線包含步驟:故事板建立、角色聖經與參考定位、多模態圖片生成、純錄音室配音、HyperFrames 組合與 GSAP 動畫,以及最終的驗證與渲染。

相容平台~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/nine-programmer/CineStory-Studio/tree/HEAD/.agents/skills/cinematic-story-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

電影級故事影片製作技能

本技能指導從小說章節或敘事腳本進行端到端的高傳真電影級說故事影片製作。它結合多模態圖片生成(含角色參考錨定)、透過 Gemini TTS 進行的純錄音室配音,以及運用 HyperFrames AI(GSAP)的流暢多鏡頭導演手法。


核心理念與製作標準

  1. 嚴格的角色一致性:每個角色都必須使用參考概念表進行視覺錨定。永遠不要僅憑盲文提示生成故事場景——始終傳遞角色參考影像位元組,並強制執行視覺 DNA(臉部結構、髮型、服裝)。
  2. 純錄音室配音(Gemini TTS): 旁白聲音必須使用 gemini-3.8-flash-tts 生成。絕對不要在內容提示中加入系統提示、語氣指令或後設資料;僅傳遞純故事敘述文字,否則 TTS 模型將會大聲讀出指令。
  3. 無合成音訊干擾: 除非使用者明確要求,否則避免程式性/合成音效和通用背景音樂。乾淨、高清晰度的人聲旁白可提供身臨其境、有聲書與電影兼具的體驗。
  4. 無字幕: 除非要求,否則避免在電影畫面上燒錄或疊加字幕。使用 2.39:1 變形寬銀幕遮幅保持畫面乾淨,以最大化視覺衝擊力。
  5. 動態電影鏡頭: 避免每個段落只使用單一靜態鏡頭。對於高強度或動作場景,將節奏分解為快速的多鏡頭剪輯(例如,剪輯 1:極致細節/反應,剪輯 2:撞擊/廣角,剪輯 3:特寫情緒)。
  6. 嚴格安全(.env): 永遠不要讀取、cat、列印、顯示或編輯 .env。後端腳本會以程式方式將環境變數載入執行時期記憶體。

製作管線(逐步說明)

flowchart TD
    A["章節文字 (chapter_XX.md)"] --> B["1. 場景分解與分鏡"]
    B --> C["2. 角色聖經與參考表"]
    C --> D["3. 多模態圖片生成 (gemini-2.5-flash-image)"]
    B --> E["4. 純錄音室配音 (gemini-3.8-flash-tts)"]
    D --> F["5. HyperFrames 組合與 GSAP 動畫"]
    E --> F
    F --> G["6. 驗證 (npx hyperframes lint)"]
    G --> H["7. 完整渲染 (npx hyperframes render)"]

步驟 1:故事分解與分鏡建構

  1. 閱讀目標小說章節或故事文字(例如 chapter_01.md)。
  2. 將章節分解為 8–12 個不同的電影節拍/場景。
  3. 對於每個場景,指定:
    • scene_id:例如 scene_01、scene_02 等。
    • title:簡短的描述性標題(泰文/英文)。
    • narration:該場景的確切純泰文旁白文字。
    • visual_prompt:詳細的電影提示(16:9、燈光、鏡頭角度、氛圍情緒)。
    • characters_present:角色鍵列表(例如 ["prima", "tawan"])。
  4. 將分解結果儲存至 video_project/storyboard.json。

步驟 2:角色聖經與參考錨定

  1. 檢查 character_references/character_bible.md 以確認已定義哪些角色。
  2. 如果引入新角色,首先生成專用的角色參考表:
    • 格式:16:9 寬螢幕概念表,顯示多個角度(近距離肖像、3/4 視角、全身)於中性電影攝影棚背景上。
    • 儲存至 character_references/<character_key>_reference_sheet.png。
    • 在 character_references/character_bible.md 中記錄確切視覺 DNA(年齡、臉部特徵、髮型、服裝風格、顯著特徵)。

詳細的參考提示範本請參閱角色一致性指南。


步驟 3:多模態圖片生成

  1. 透過 Google GenAI SDK 使用 gemini-2.5-flash-image。
  2. 對於包含既有角色的場景:
    • 將角色參考表載入為二進制影像位元組。
    • 在多模態請求中,將參考影像部分與文字提示一起提供。
    • 明確指示模型:"使用參考影像中的確切角色 (<名稱>, <描述>): [場景描述]"。
  3. 對於動作 / 高戲劇性場景:
    • 生成多重剪輯的子剪輯(例如 scene1_cut1_tire.png、scene1_cut2_impact.png、scene1_cut3_face.png)。
  4. 將影像儲存至 video_project/images/,並複製到 HyperFrames 專案資源(sample_hyperframe/assets/)。

輔助腳本:scripts/generate_scene_images.py


步驟 4:純錄音室配音 (Gemini TTS)

  1. 使用模型 gemini-3.8-flash-tts。
  2. 配置音訊生成:
    • response_modalities=["AUDIO"]
    • speech_config 使用預設語音(例如 Puck 或 Aoede)。
  3. 關鍵: 僅將確切的故事敘述文字傳入 contents。
    # 正確的做法:
    response = client.models.generate_content(
        model="gemini-3.8-flash-tts",
        contents=scene["narration"],  # 僅純文字!
        config=types.GenerateContentConfig(response_modalities=["AUDIO"], speech_config=...)
    )
    
  4. 使用 FFmpeg 將原始輸出 PCM/WAV 轉換為乾淨的 44.1kHz MP3。
  5. 將音訊檔案儲存至 video_project/audio/voice/,並複製到 sample_hyperframe/assets/。

輔助腳本:scripts/generate_gemini_tts.py


步驟 5:HyperFrames 組合與電影動畫

  1. 使用 ffprobe 探測每個場景語音檔案的時長。
  2. 計算場景開始時間和時長:
    • scene_duration = voice_duration + 0.6s(0.2 秒前置 + 0.4 秒呼吸空間)。
  3. 生成 sample_hyperframe/index.html,包含:
    • 電影 2.39:1 寬銀幕遮幅疊加層(.letterbox-top、.letterbox-bottom)。
    • 零字幕的純影像容器。
    • 在其精確時間戳記排程的原生 <audio> 元素(tl.call(() => audio.play(), ..., voice_start))。
    • GSAP 時間軸動畫:
      • 動作節拍的多重剪輯切換(使用白色閃爍過渡切換顯示)。
      • 緩慢的 Ken Burns 推近/平移(scale: 1.0 -> 1.08-1.12)。
      • 場景間的平滑交叉淡化/剪輯。
    • 註冊時間軸:window.__timelines = [tl]。
  4. 使用精確的總時長更新 sample_hyperframe/hyperframes.json:
    { "duration": 177.6, "fps": 30, "width": 1920, "height": 1080 }
    

輔助腳本:scripts/build_hyperframes_project.py 詳細動畫指南:HyperFrames 動畫指南


步驟 6:驗證與渲染

  1. Lint 檢查:
    cd sample_hyperframe
    npx hyperframes lint
    
    確保 0 錯誤、0 警告。
  2. 渲染完整影片:
    npx hyperframes render --output ../video_project/output/<chapter_name>_full_movie.mp4
    
  3. 品質驗證:
    • 確認檔案存在且大小合理(~3 分鐘 Full HD 約 150–250 MB)。
    • 確認影音同步,且無黑格或音訊中斷。

相關技能