电影故事视频制作技能
本技能指导从小说章节或叙事脚本到高保真电影故事视频的端到端制作。它结合了多模态图像生成与角色参考锚定、通过 Gemini TTS 实现的纯录音棚配音,以及使用 HyperFrames AI (GSAP) 的流畅多镜头运镜。
核心理念与制作标准
- 严格角色一致性: 每个角色必须使用参考概念图板进行视觉锚定。切勿仅仅通过盲文提示生成故事场景——始终传递角色参考图像字节并强制执行视觉 DNA(面部结构、发型、服装)。
- 纯录音棚配音 (Gemini TTS): 必须使用
gemini-3.8-flash-tts生成旁白语音。切勿将系统提示、语气指令或元数据放入内容提示中;仅传递纯粹的故事旁白文本,否则 TTS 模型会朗读出指令。 - 无合成音频干扰: 除非用户明确要求,否则避免使用程序/合成音效和通用背景音乐。干净、高清晰度的语音旁白可带来沉浸式的有声读物与电影融合体验。
- 无字幕: 除非用户要求,避免在电影画布上烧录或叠加字幕。使用 2.39:1 变形宽银幕遮幅保持画面整洁,以最大化视觉冲击力。
- 动态电影运镜: 避免每段落的静态镜头。对于高强度或动作场景,将节拍分解为快速多镜头切换(例如,切 1:细节/反应,切 2:冲击/广角,切 3:面部特写情感)。
- 严格安全 (
.env): 切勿读取、cat、打印、显示或编辑.env。后端脚本通过编程方式将环境变量加载到运行时内存中。
生产流程(分步执行)
flowchart TD
A["章节文本 (chapter_XX.md)"] --> B["1. 场景分解与故事板"]
B --> C["2. 角色圣经与概念图板"]
C --> D["3. 多模态图像生成 (gemini-2.5-flash-image)"]
B --> E["4. 纯录音棚配音 (gemini-3.8-flash-tts)"]
D --> F["5. HyperFrames 合成与 GSAP 动画"]
E --> F
F --> G["6. 验证 (npx hyperframes lint)"]
G --> H["7. 完整渲染 (npx hyperframes render)"]
步骤 1:故事分解与故事板构建
- 读取目标小说章节或故事文本(例如
chapter_01.md)。 - 将章节分解为 8–12 个不同的电影节拍/场景。
- 对于每个场景,指定:
scene_id:例如scene_01,scene_02等。title:简短描述性标题(泰语/英语)。narration:该场景的确切纯泰语旁白文本。visual_prompt:详细的电影提示词(16:9、光照、镜头角度、氛围情调)。characters_present:角色键列表(例如["prima", "tawan"])。
- 将分解结果保存到
video_project/storyboard.json。
步骤 2:角色圣经与参考锚定
- 检查
character_references/character_bible.md是否已定义现有角色。 - 如果要引入新角色,首先生成专用的角色概念图板:
- 格式:16:9 宽屏概念图板,在纯色电影工作室背景上显示多个角度(特写肖像、3/4 视图、全身)。
- 保存到
character_references/<character_key>_reference_sheet.png。 - 在
character_references/character_bible.md中记录确切的视觉 DNA(年龄、面部特征、发型、服装风格、独特特征)。
详细参考提示模板请参阅 角色一致性指南。
步骤 3:多模态图像生成
- 通过 Google GenAI SDK 使用
gemini-2.5-flash-image。 - 对于包含已建立角色的场景:
- 将角色概念图板加载为二进制图像字节。
- 在多模态请求中,将参考图像部分与文本提示一起提供。
- 明确指示模型:"使用参考图像中的确切角色 (<名称>, <描述>): [场景描述]"。
- 对于动作/高戏剧性场景:
- 生成多镜头子剪辑(例如
scene1_cut1_tire.png,scene1_cut2_impact.png,scene1_cut3_face.png)。
- 生成多镜头子剪辑(例如
- 将图像保存到
video_project/images/并将其复制到 HyperFrames 项目资源 (sample_hyperframe/assets/)。
辅助脚本:scripts/generate_scene_images.py
步骤 4:纯录音棚配音 (Gemini TTS)
- 使用模型
gemini-3.8-flash-tts。 - 配置音频生成:
response_modalities=["AUDIO"]speech_config使用预设语音(例如Puck或Aoede)。
- 关键: 仅将确切的故事旁白文本传递到
contents中。# 正确: response = client.models.generate_content( model="gemini-3.8-flash-tts", contents=scene["narration"], # 仅纯文本! config=types.GenerateContentConfig(response_modalities=["AUDIO"], speech_config=...) ) - 使用 FFmpeg 将原始输出 PCM/WAV 转换为干净的 44.1kHz MP3。
- 将音频文件保存到
video_project/audio/voice/并复制到sample_hyperframe/assets/。
辅助脚本:scripts/generate_gemini_tts.py
步骤 5:HyperFrames 组合与电影化运动
- 使用
ffprobe探测每个场景语音文件的持续时间。 - 计算场景开始时间和持续时间:
scene_duration = voice_duration + 0.6s(0.2s 预卷 + 0.4s 余量)。
- 生成
sample_hyperframe/index.html,包含:- 电影 2.39:1 宽银幕遮幅叠加层 (
.letterbox-top,.letterbox-bottom)。 - 纯图像容器,不包含任何字幕。
- 原生
<audio>元素,在其精确时间戳处调度 (tl.call(() => audio.play(), ..., voice_start))。 - GSAP 时间线动画:
- 动作节拍的多镜头切换(通过白色闪光过渡切换显示)。
- 缓慢的肯·伯恩斯推进/平移 (
scale: 1.0 -> 1.08-1.12)。 - 场景间的平滑淡入淡出/切换。
- 注册时间线:
window.__timelines = [tl]。
- 电影 2.39:1 宽银幕遮幅叠加层 (
- 使用精确的总持续时间更新
sample_hyperframe/hyperframes.json:{ "duration": 177.6, "fps": 30, "width": 1920, "height": 1080 }
辅助脚本:scripts/build_hyperframes_project.py
详细动画指南:HyperFrames 运动指南
步骤 6:验证与渲染
- 语法检查:
确保 0 错误, 0 警告。cd sample_hyperframe npx hyperframes lint - 渲染完整影片:
npx hyperframes render --output ../video_project/output/<chapter_name>_full_movie.mp4 - 质量验证:
- 确认文件存在且大小合理(~3 分钟全高清约 150–250 MB)。
- 验证音视频同步,确认无黑帧或音频中断。