文字 → 动画视频
这是一个类似 Fliki 的“文字转动画”流水线(见 references/fliki-notes.md),但所有视觉内容均在此容器内通过代码绘制并渲染,因此没有 Fliki 或模型的信用限制、无水印、也无3分钟时长限制。
输入: 以下之一
- 一个简单的想法
- 一个脚本
- 一个博客 URL
- 一个 PDF 或 PPT
- 一个现有的配音 MP3
输出: 一个完整的 MP4 视频,外加一个供 WhatsApp 使用的副本,比例为用户选择的宽高比。
步骤
-
需求收集。 收集以下信息,如果用户未指定则使用默认值:
- 语言(默认:用户使用的语言;印地英语/印地语均可)
- 语调(中性)
- 时长(60 秒)
- 宽高比(短视频/故事选9:16,YouTube选16:9,信息流选1:1)
- 风格预设(见下文)
- 配音:用户的 MP3、ElevenLabs 或无需配音
仅询问无法默认的内容。
-
源 → 脚本。
- 想法: 自行编写。
- URL / PDF / PPT: 读取源内容,仅保留其支持的事实,并在结束卡片中注明来源。
- 长度: 编写按场景分段的脚本,英文约140词/分,印地语约120词/分。
- 结构: 前3秒设置钩子,每场景一个想法,结尾包含行动号召(CTA)。
- 检查: 显示脚本并等待用户确认,除非用户已提供脚本。
-
场景规划。 编写
plan.json(格式如下),每4–8秒一个场景,并以简短表格形式展示。{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<配音行>","visual":"<绘制内容>","motion":"<镜头/动画>","sfx":["whoosh:0.1"]}]} -
配音。 选择以下之一:
- 用户 MP3: 直接使用。如果音乐覆盖了人声,先分离人声(使用 demucs)再进行对齐。
- ElevenLabs: 用户需要提供密钥。使用
request_credential请求主机api.elevenlabs.io,头部xi-api-key。切勿让用户将密钥粘贴到聊天中。然后调用POST https://api.elevenlabs.io/v1/text-to-speech/{voice_id},model_id使用eleven_multilingual_v2(或API列出的最新多语言模型),每个场景发送一个请求或发送整个脚本。 - 无需配音: 仅使用字幕和音效,每个场景按其计划时长计时。
-
对齐。
python scripts/align.py voice.wav script.txt words.json 30可得到单词时间戳,以及用于口型同步的words_mouth.json。- 需要执行
pip install --break-system-packages torch torchaudio uroman librosa soundfile,并从download.pytorch.org下载模型,此环境允许这样做。 - 根据对齐后的单词重新调整
plan.json中的场景时间。当存在配音时,切勿猜测时间。
-
首先生成角色表(如果视频包含角色)。将每个角色绘制为一个包含少数几个姿势(静止、说话、指、惊讶)的函数,并保存为 PNG 角色表。在所有场景中重复使用相同的函数,以确保角色外观一致。角色必须原创;切勿复制现有的卡通或动漫角色。
-
构建
scene.html。- 一个大小为 W×H 的画布。
window.renderAt(t)必须是确定性的:使用带种子的随机数,不能使用Date.now()或 CSS 动画。window.ready在字体加载完成后 resolve。使用本地 woff2 文件:印地语用 Baloo 2 或 Noto Sans Devanagari,根据风格需要选择 Inter/Anton/Bangers/Caveat。- 字幕 在画布上绘制:
- 每个片段2–5个单词,在标点符号处或超过0.35秒的停顿处断开
- 当前单词在其开始时刻高亮显示
- 文本保持在安全区域内;对于9:16,顶部250px和底部420px内不能有内容
- 运动: 缓动移动,每2–5秒眨眼一次,静止摇摆,每场景一个缓慢推镜,以及场景之间的一个过渡运动。
-
静态帧检查。 运行
node scripts/render.cjs stills scene.html <8–12次> stills/ W H,然后使用 ffmpeg 的tile将静态帧拼贴成联系表。自行查看联系表,修复问题,然后展示给用户并等待确认后再进行完整渲染。 -
渲染与混音。
- 视频:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - 音效:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - 将人声音轨设为 0 dB,音效设为约 −12 dB。仅当用户提供音乐时使用;使用
sidechaincompress在人声下进行闪避处理。 - 混合,然后应用
loudnorm=I=-14:TP=-1.5。
- 视频:
-
交付。
- 使用
blackdetect检查黑帧。 - 生成一个 WhatsApp/720p 副本,大小不超过 20 MB。
- 使用
SendUserFile发送两个文件。 - 对于其他宽高比,将布局编写为 (W,H) 的函数并重新渲染。
- 使用
风格预设
| 预设 | 外观 | 运动 |
|---|---|---|
2d-cartoon | 圆润形状、单色平涂(带一个渐变色)、深色4–6px轮廓、明亮背景 | 活泼(回弹/弹性缓动)、落地时压扁 |
anime-style | 大眼睛、粗而干净的线条、平涂+硬阴影、天空渐变 | 速度线、冲击帧、击中时轻微屏幕震动 |
comic-book | 厚重黑色墨线、半调阴影、分格、爆发贴纸(POW, WAAH!) | 分格猛击、缩放冲击、翻页过渡 |
storybook (奇幻) | 柔和绘画式渐变、纸张纹理、暖光、圆角衬线字体 | 缓慢视差、漂浮粒子、柔和淡入淡出 |
whiteboard | 白板、黑色马克笔笔触(使用 stroke-dashoffset 绘制)、一种强调色 | 手/笔跟随正在绘制的笔触;擦除式过渡 |
kinetic-type | 粗体字(Anton/Inter Black)、2–3种颜色、形状作为点缀 | 单词随节奏猛击、滑动和缩放;遮罩和匹配剪辑 |
cinematic-2d | 半写实扁平插画、单光源戏剧性光效、柔和调色板 | 仅限缓慢推镜和平移;纪录片式节奏 |
规则
- 用代码绘制。 所有内容都用代码绘制:不使用素材库,也不使用图像或视频生成器,除非用户提供了媒体素材或要求生成剪辑(此时应使用
ai-video-generator)。 - 真实人物。 不要制作真实在世公众人物的写实 AI 肖像。使用象征性图像、剪影或根据用户照片绘制其漫画形象。
- 事实。 屏幕上显示的事实必须来自用户的源文件或经过验证的搜索。切勿编造统计数字、引文或推荐语。
- 覆盖。 在覆盖已有输出文件前征求用户同意。