yt-film:从静态图像制作旁白电影
对于竖版 Reels、Shorts 或连载社交视频,请使用配套的 yt-film-reels 技能。
基础集是起点,而非电影的全部。 对于每部电影,无论是横版还是竖版,在镜头列表之前,都要在 Claude 负责创意 阶段进行创意审核:确定这个故事需要哪些基础集没有的东西(它自己的特效、转场、音效、绘制工具),制作或查找它们,并且只在合适的地方复用一个基础特效。引擎也支持竖版渲染:竖版模式。
一个故事电影的生产线:用户根据 Claude 编写的指导制作约 150 张静态图像,Claude 根据这些图像编写脚本,一个声音朗读它,然后 Python 引擎 让每一张图片与文字同步活动起来。参考电影是 Chadwick 示例(examples/chadwick/,卡内基的女儿:那个以安德鲁·卡内基秘密女儿身份借走数百万的女人):它的图像、脚本、语音、配乐、镜头列表以及 70 秒的效果测试视频(examples/chadwick/video/chadwick_effects_test.mp4)展示了所有技术。
REPO 下面是此技能的文件夹(此文件所在的位置)。PY 是其 Python 解释器:在 macOS/Linux 上为 REPO/.venv/bin/python,在 Windows 上为 REPO\.venv\Scripts\python.exe。始终从项目的 tools/ 文件夹中使用 PY 运行引擎命令。如果 .venv 不存在,请先进行设置:严格按照 references/install.md 中的 安装运行手册(供 Claude 使用) 逐步操作(在进行系统范围安装前请询问用户;用户需要粘贴他们自己的 API 密钥)。
基本规则
- 未经用户同意,切勿渲染。 使用
stills.py进行检查(约 30 秒生成一张联系表)。批量渲染、预览、结尾和最终拼接需要几分钟到几小时:说明您要渲染的内容以及可能需要的时间,然后等待用户确认。除非文件已更改且用户要求,否则不要重新渲染任何已渲染的内容。 - 每个项目向用户询问一次他们的偏好:使用哪个图像工具(
references/image-generation.md)、哪种语音(Gemini TTS 或他们自己的:references/voice.md)、哪种音乐(Lyria 或他们自己的:references/music.md)、他们的领域和频道名称,以及使频道独一无二的三个选择:图像风格(开篇风格:水粉、平面社论风、黑色电影风、粉笔风、漫画风、故事书风、蓝图风或他们自己的;是否包含角色),引擎外观(YTF_LOOK:水粉、简洁、黑色电影、粉笔、漫画、故事书、蓝图;look.json用于单个值)和格式(story、explainer、countdown、rise-fall、storytime、kids、summary、case-study、news):references/art-styles.md、references/formats.md。不要默认使用示例的柔和真实故事风格;如果用户没有偏好,在一个简短的表格中显示选项,并推荐一个适合他们领域的选项。 - 用户的领域是他们自己的:不要引导他们选择历史题材或示例的主题。示例是技术的参考,而不是主题的模板。
- Windows:使用正斜杠的路径可以工作;长时间运行的任务在后台执行;速度设置见
references/performance.md。永远不要假设只有 macOS 工具。 - 除
.env文件外,API 密钥不得存放在其他文件中。只有在用户同意后(说明文件、来源、大小和许可证)才能下载真实的照片或声音文件。
技术栈
| 工作 | 工具 | 位置 |
|---|---|---|
| 研究 | 网络搜索,带有来源的已核实事实列表;标记无法确认的内容 | OUTLINE.md |
| 图像 | 用户的图像工具,依据 Claude 的指导 | IMAGE_GUIDE.md (+ 供 API 使用的 IMAGE_PROMPTS.jsonl),incoming/ |
| 脚本 | Claude,根据图像指导编写,每个节拍一个 ## 段落,带有 [SHOTS: …] 注释 | SCRIPT.md |
| 语音 | Gemini TTS(声音 Orus,慢速朗读 → 1.25 倍速,限制停顿长度)或 用户通过 import_voice.py 导入的音频 | tools/voice.py,tools/import_voice.py |
| 单词时间戳 | Whisper:mlx-whisper(Apple Silicon)或 faster-whisper(Windows/Intel/Linux) | voice/<batch>_words.json |
| 音乐 | Lyria(Gemini API),每个部分一个提示,或 用户授权的音轨 | tools/music.py → audio/music/ |
| 电影引擎 | Python(OpenCV、Pillow、NumPy、SciPy),无需 After Effects | tools/film.py、fx2.py、seq.py、signature.py、wr.py、kit.py |
| 镜头列表 | 每个批次一个文件,基于 seq.py,根据该批次的单词时间触发 | tools/<story>.py + tools/shots_bN.py |
| 渲染 | 并行渲染,根据机器配置调整大小,低优先级 | tools/render_all.py |
| 结尾 | 用户自己的动画签名(示例:cta.py) | renders/cta.mp4 |
| 最终拼接 | 各批次 + 结尾,一个连续的配乐,−14 LUFS / −2 dBTP | tools/final.py |
| 配音 | 默认西班牙语 + 法语:Gemini 翻译 + TTS,约 3 分钟的片段,适配英语的时间槽 | tools/dub.py |
| 缩略图 | 用户的图像工具,依据指导 | references/thumbnails.md |
项目位于 YTF_WORKSPACE 中(默认 ~/yt-film-projects/<story>/),通过 PY REPO/scripts/new_project.py <story> 创建,该命令将引擎复制到 tools/ 并创建所有文件夹。设置位于 .env 中(项目优先,然后 REPO):GEMINI_API_KEY、YTF_CHANNEL、语音/模型名称、速度调节参数(.env.example 中列出了所有参数)。engine/ytf.py 能在任何操作系统上找到字体、API 密钥、Whisper 和共享的艺术资源。
工作顺序
- 选择故事(如果未指定):3–5 个候选方案,并进行空白检查(
references/story-finding.md)。使用其格式和外观启动项目:PY REPO/scripts/new_project.py <name> --format <format> --look <look>(将格式的主干模板写入 OUTLINE.md,将YTF_FORMAT和YTF_LOOK写入.env)。在编写完整指导(references/art-styles.md,最后一部分)之前,先用stills.py在两张图像上测试新样式。 - 故事和事实:研究;带有来源的
OUTLINE.md。标记任何未经证实的内容,并在后续叙述中含糊其辞地规避(“据报道”),切勿将其陈述为事实。确定钩子(references/hooks.md:永远不要与用户过去三部电影的类型相同)。然后在OUTLINE.md顶部编写主线(references/storytelling.md):电影回答的一个问题,以及由“因此”/“但是”连接的 8–12 个节拍;第一个错误行为或决定时刻大约在电影的 15% 处;每个主要人物有一两段背景故事。在图像指导之前将其展示给用户。 - 先做图像指导(
references/image-guide.md,针对用户的路线编写)。它遵循主线以及电影的叙述方式(展示,然后绘制:每个节拍的行命名其服务的台词以及在该台词上或之后绘制的内容)。目标是约 150 张图像:风格卡片、演员表、约 100 张场景镜头(含覆盖:W 广角、M 中景、F 面部特写作为编辑镜头、D 细节、P 视角),6 个带有_lines版本的场景,12 张草图页 +_lines,约 10 个空白故事对象(“基底”:笔记本、旧地图、卡片、分类账、信封、电报、报纸)。确切的文件名和文件夹。一致性规则:references/consistency.md。 - 按组检查图像(手部、面部、时代细节、无文字、形状:图像以约 16:9 的比例到达,并被中心裁剪为 2:1,因此顶部/底部不能有重要内容)。手动下载:
scripts/sort_images.py。然后在引擎像素(COLS=4 PY tools/egrid.py out.png IMG ...)中生成网格化图像,并在编写镜头之前绘制每张图片的烟囱、灯具、蜡烛、呼吸和安静区域。 - 根据图像编写脚本。 每一张生成的图像都要被使用;将每个段落映射到其镜头,并运行未使用图像检查(示例:
examples/chadwick/tools/script_check.py),然后运行PY tools/story_check.py(口头提及的日期、场景转换的开场、[DRIVE]段落的位置、每个批次的接缝)以及references/storytelling.md中的检查(复述、15%、但是/因此、无堆叠解释、5–7 个口头提及的日期、展示 → 绘制)。无长度限制:完整、从容地讲述故事(约每分钟 150 个单词;Chadwick:1,780 个单词 → 12 分钟)。以用户的“点赞/关注”行结束。 - 语音:Gemini(先
voice.py --test,然后批量处理;--pace和SPEEDS使每个批次保持在约 140–160 wpm)或用户的音频(import_voice.py --full | --passages | --batches)。设置BATCHES(4–7 个段落,每个约 65–100 秒,在故事进展中的行为中间切开;仅在行为转折处进行 2–3 次剪切;批次开始时不要重新引入任何内容)和GAPS。在编写其镜头之前打印每个批次的单词(Whisper 会听错名称并将数字写成数字形式:根据它实际写下的内容来触发)。 - 音乐:5–7 个提示片段(
music.py,或用户在audio/music/中的文件);将提示片段映射到final.py的MUSIC中的批次。 - 使用
seq.py为每个批次生成镜头列表(references/engine.md、examples/chadwick/tools/):一个电影模块(<story>.py,如chad.py)包含LIVE表(每张图片的动态层)和地图设置;每个shots_bN.py是约 60 行的S.at(time, scene(...)/page(...)/drawin(...)/map_shot(...))。使用PY tools/stills.py bN检查每个镜头列表,并在渲染任何内容之前查看图像网格。 - 渲染(在用户同意后):
PY tools/render_all.py并行运行所有批次,根据机器的空闲内存决定同时运行的数量(每个渲染约 1.5 GB;内存耗尽后同时运行更多会变慢);修复后,使用render_all.py b3 b7或--changed。将其在自己独立的窗口中启动,以便关闭 Claude 不会停止它,并在渲染缓慢或计算机卡顿时参考references/performance.md(尤其是在 Windows 上)。首先在两帧上测试新的转场或特效(后期崩溃会浪费渲染)。 - 结尾每个频道制作一次(
references/cta.md),然后最终拼接PY tools/final.py;检查 MP4 的长度、帧率、响度(−14 LUFS,峰值 ≤ −1.5 dB)和示例静帧(references/final-render.md)。 - 配音(
references/dubs.md)和缩略图(references/thumbnails.md),如果需要。
外观(示例的默认设置;每个频道自行选择)
- 示例:蛋头人物(蛋形头、两个黑色椭圆形眼睛、一条线的嘴巴、无鼻子/耳朵/眉毛、简单圆形的手)位于时代准确的现实世界中;墨水线条 + 哑光粉彩水粉;引擎外观
gouache。其他频道选择自己的图像风格、角色(或无)和引擎外观(references/art-styles.md);以下规则适用于所有风格。 - 引擎外观设置添加的图层:色调、颗粒感、暗角、墨水、标签纸、强调色、字体、绘制音效(
engine/look.py:YTF_LOOK、look.json)。当外观已定义颜色或字体时,切勿在镜头文件中硬编码颜色或字体(look.rgb("accent")、look.L.type_font);一个频道的外观必须在一个地方更改。 - 无 2.5D 效果、无抠图、无 AI 视频。 使用带有缓和摄像机运动的单张图像(推近、平移、缓慢漂移)。
- 切勿长时间停留在一个画面上:切换到同一时刻的下一个镜头(W→M→F→D→P)或一个绘制页面。
- 草图解说器是真正的绘画,而非图标:从线条艺术图纸中提取,或者如果引擎代码执行得好的话,由引擎绘制(精确的地图、路线、标记、简单图形)。
- 空白基底在其自身的媒介上实时绘制:纸上的石墨、黑板上的粉笔、画笔墨水、打印到报纸上的半色调照片、地图上的墨水路线。
- 线条承载意义:年份的计数线、声波环、落纸路径、烟雾线、被划掉的人物。
- 标签(日期、地点、名称)是使用外观的字体(在水粉外观中是打字机字体)以印刷体级别逐键输入的文本,并带有轻柔的咔嗒声。
- 物体上的文字位于该物体真实线条上,并跟随其角度;其下方无法辨认的印刷体文字会先被擦除(
fx2.clean_text)。 - 始终有对比:深色上不能叠加深色。标签会自动选择奶油色/墨水色并带有光晕。除非检查了其下方的内容,否则切勿强制使用
color="ink"。 - 工具精灵很小(0.28 比例),因此永远不会抢夺焦点。
签名动画(全部在静态图像上通过代码实现)
engine/signature.py、engine/fx2.py、镜头辅助 engine/wr.py、engine/seq.py。效果测试视频中展示了每个动画的动态效果。
- 动态静帧(图片本身不动;图层在其上活动):每个烟囱的粒子烟雾、寒冷中的呼吸、跳动的火焰及其投出的光线、图片自身被发现并呼吸的灯具(
fx2.lamps)、雪、雨、落叶、闪光。避免在烟雾、蒸汽、火焰或水上使用像素扭曲效果:它会涂抹绘画(look/flow_smear_avoid.png)。 - 仅在关键之处表演的面部:无自动眨眼或表情。只有当镜头传递
act=/talk=参数时,面部才会表演,并且只有具有匹配的眼睛对的面部才能表演(sg.face_audit([...], out.jpg):仅当两只眼睛都被绿色圆圈标记时才能表演)。提示:blinks、glances、widen、mouth_fx、expr(微笑、咧嘴笑、皱眉、o 型嘴、大笑、闭眼、眯眼...)、talk=(ta, tb)、反应标记(sweat、shake、!、?、zzz)。每个批次中只有少数几个真正的节拍,切勿用于装饰。 - 空白板上的漫画页面(
sg.Comic):边框自行绘制墨水,每个面板先绘制墨水然后上色,摄像机访问各面板并潜入最后一个面板。每部电影使用两次(钩子,第一个大场景)。每个面板至少持续 1.8 秒。 - 实时制作的绘画(
fx2.Draw):一张图纸按照其笔划顺序绘制墨水(笔精灵和音效),然后颜色渲染进来;card=True首先在复杂的图片上铺一层柔和的奶油色底色。一张图纸从不显示为包含四格漫画的页面:当叙述者提到每个绘画时,它才会出现,并通过箭头和简短打印的标签连接。 - 解说卡(重复使用一个基底):名字被输入然后划掉,一个机制表现为带箭头的绘画链,三个绘画配三个单词。
- 标记词汇,根据含义选择,每次不要使用相同的标记:下划线、对勾、叉号、括号、运动线、声波环、路线(虚线路径 + 箭头)、指引线(点、线、打印标签)、计数标记;
sg.Stamp(橡皮图章重击声:伪造、关闭、14 年)、sg.Tag(撕破的纸标签)、sg.Inset、`sg