Communitygithub.com

CineStory-Studio:电影化故事视频制作技能

从小说章节或叙事脚本生成电影级故事视频,结合 Gemini 多模态图像生成、Gemini TTS 录音棚级配音和 HyperFrames AI GSAP 动画,确保角色一致性、流畅运镜,无字幕和音频干扰。

CineStory-Studio:电影化故事视频制作技能 是什么?

该技能指导从小说章节或叙事脚本到高质量电影故事视频的端到端制作流程。它整合了多模态图像生成(带角色参考锚定)、通过 Gemini TTS 实现的纯录音棚级配音以及使用 HyperFrames AI(基于 GSAP)的流畅多镜头运镜。核心哲学是严格的角色一致性,即必须通过参考概念图板来锚定每个角色的视觉特征,避免仅凭盲文提示生成场景。配音方面,要求使用 `gemini-3.8-flash-tts` 模型,且内容提示中只能包含纯故事旁白文本,防止模型念出系统指令。该技能还遵循一套生产标准,包括禁止合成音效/通用背景音乐,除非用户明确要求;不添加字幕,保持 2.39:1 的宽银幕画面;对高潮/动作场景采用多镜头快速切换。生产流程分为 6 个步骤:场景分解与故事板构建、角色圣经与参考锚定、多模态图像生成、纯录音棚配音、HyperFrames 合成与 GSAP 运动,以及验证与渲染。该技能主要面向 Gemini(使用 `gemini-2.5-flash-image` 和 `gemini-3.8-flash-tts` 模型)和 HyperFrames AI 平台。

兼容平台~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/nine-programmer/CineStory-Studio/tree/HEAD/.agents/skills/cinematic-story-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

电影故事视频制作技能

本技能指导从小说章节或叙事脚本到高保真电影故事视频的端到端制作。它结合了多模态图像生成与角色参考锚定、通过 Gemini TTS 实现的纯录音棚配音,以及使用 HyperFrames AI (GSAP) 的流畅多镜头运镜。


核心理念与制作标准

  1. 严格角色一致性: 每个角色必须使用参考概念图板进行视觉锚定。切勿仅仅通过盲文提示生成故事场景——始终传递角色参考图像字节并强制执行视觉 DNA(面部结构、发型、服装)。
  2. 纯录音棚配音 (Gemini TTS): 必须使用 gemini-3.8-flash-tts 生成旁白语音。切勿将系统提示、语气指令或元数据放入内容提示中;仅传递纯粹的故事旁白文本,否则 TTS 模型会朗读出指令。
  3. 无合成音频干扰: 除非用户明确要求,否则避免使用程序/合成音效和通用背景音乐。干净、高清晰度的语音旁白可带来沉浸式的有声读物与电影融合体验。
  4. 无字幕: 除非用户要求,避免在电影画布上烧录或叠加字幕。使用 2.39:1 变形宽银幕遮幅保持画面整洁,以最大化视觉冲击力。
  5. 动态电影运镜: 避免每段落的静态镜头。对于高强度或动作场景,将节拍分解为快速多镜头切换(例如,切 1:细节/反应,切 2:冲击/广角,切 3:面部特写情感)。
  6. 严格安全 (.env): 切勿读取、cat、打印、显示或编辑 .env。后端脚本通过编程方式将环境变量加载到运行时内存中。

生产流程(分步执行)

flowchart TD
    A["章节文本 (chapter_XX.md)"] --> B["1. 场景分解与故事板"]
    B --> C["2. 角色圣经与概念图板"]
    C --> D["3. 多模态图像生成 (gemini-2.5-flash-image)"]
    B --> E["4. 纯录音棚配音 (gemini-3.8-flash-tts)"]
    D --> F["5. HyperFrames 合成与 GSAP 动画"]
    E --> F
    F --> G["6. 验证 (npx hyperframes lint)"]
    G --> H["7. 完整渲染 (npx hyperframes render)"]

步骤 1:故事分解与故事板构建

  1. 读取目标小说章节或故事文本(例如 chapter_01.md)。
  2. 将章节分解为 8–12 个不同的电影节拍/场景。
  3. 对于每个场景,指定:
    • scene_id:例如 scene_01, scene_02 等。
    • title:简短描述性标题(泰语/英语)。
    • narration:该场景的确切纯泰语旁白文本。
    • visual_prompt:详细的电影提示词(16:9、光照、镜头角度、氛围情调)。
    • characters_present:角色键列表(例如 ["prima", "tawan"])。
  4. 将分解结果保存到 video_project/storyboard.json。

步骤 2:角色圣经与参考锚定

  1. 检查 character_references/character_bible.md 是否已定义现有角色。
  2. 如果要引入新角色,首先生成专用的角色概念图板:
    • 格式:16:9 宽屏概念图板,在纯色电影工作室背景上显示多个角度(特写肖像、3/4 视图、全身)。
    • 保存到 character_references/<character_key>_reference_sheet.png。
    • 在 character_references/character_bible.md 中记录确切的视觉 DNA(年龄、面部特征、发型、服装风格、独特特征)。

详细参考提示模板请参阅 角色一致性指南。


步骤 3:多模态图像生成

  1. 通过 Google GenAI SDK 使用 gemini-2.5-flash-image。
  2. 对于包含已建立角色的场景:
    • 将角色概念图板加载为二进制图像字节。
    • 在多模态请求中,将参考图像部分与文本提示一起提供。
    • 明确指示模型:"使用参考图像中的确切角色 (<名称>, <描述>): [场景描述]"。
  3. 对于动作/高戏剧性场景:
    • 生成多镜头子剪辑(例如 scene1_cut1_tire.png, scene1_cut2_impact.png, scene1_cut3_face.png)。
  4. 将图像保存到 video_project/images/ 并将其复制到 HyperFrames 项目资源 (sample_hyperframe/assets/)。

辅助脚本:scripts/generate_scene_images.py


步骤 4:纯录音棚配音 (Gemini TTS)

  1. 使用模型 gemini-3.8-flash-tts。
  2. 配置音频生成:
    • response_modalities=["AUDIO"]
    • speech_config 使用预设语音(例如 Puck 或 Aoede)。
  3. 关键: 仅将确切的故事旁白文本传递到 contents 中。
    # 正确:
    response = client.models.generate_content(
        model="gemini-3.8-flash-tts",
        contents=scene["narration"],  # 仅纯文本!
        config=types.GenerateContentConfig(response_modalities=["AUDIO"], speech_config=...)
    )
    
  4. 使用 FFmpeg 将原始输出 PCM/WAV 转换为干净的 44.1kHz MP3。
  5. 将音频文件保存到 video_project/audio/voice/ 并复制到 sample_hyperframe/assets/。

辅助脚本:scripts/generate_gemini_tts.py


步骤 5:HyperFrames 组合与电影化运动

  1. 使用 ffprobe 探测每个场景语音文件的持续时间。
  2. 计算场景开始时间和持续时间:
    • scene_duration = voice_duration + 0.6s (0.2s 预卷 + 0.4s 余量)。
  3. 生成 sample_hyperframe/index.html,包含:
    • 电影 2.39:1 宽银幕遮幅叠加层 (.letterbox-top, .letterbox-bottom)。
    • 纯图像容器,不包含任何字幕。
    • 原生 <audio> 元素,在其精确时间戳处调度 (tl.call(() => audio.play(), ..., voice_start))。
    • GSAP 时间线动画:
      • 动作节拍的多镜头切换(通过白色闪光过渡切换显示)。
      • 缓慢的肯·伯恩斯推进/平移 (scale: 1.0 -> 1.08-1.12)。
      • 场景间的平滑淡入淡出/切换。
    • 注册时间线:window.__timelines = [tl]。
  4. 使用精确的总持续时间更新 sample_hyperframe/hyperframes.json:
    { "duration": 177.6, "fps": 30, "width": 1920, "height": 1080 }
    

辅助脚本:scripts/build_hyperframes_project.py 详细动画指南:HyperFrames 运动指南


步骤 6:验证与渲染

  1. 语法检查:
    cd sample_hyperframe
    npx hyperframes lint
    
    确保 0 错误, 0 警告。
  2. 渲染完整影片:
    npx hyperframes render --output ../video_project/output/<chapter_name>_full_movie.mp4
    
  3. 质量验证:
    • 确认文件存在且大小合理(~3 分钟全高清约 150–250 MB)。
    • 验证音视频同步,确认无黑帧或音频中断。

相关技能