Manga to Anime
这套 skill 的价值在漫画约束,不在调接口。
视频模型能画;它不会读漫画。它会搞错谁在说话、把拟声词当台词、把母亲当成成年后的主角、把黑白页的浅发认成金发、为了演完偷偷删格。这些错误不是画质问题,是理解问题,而且模型自己不会报错。
所以这里先把"怎么读"钉死,再谈"怎么生成"。
一、阅读约束
C1 顺序:右 → 左,上 → 下
同一横排:右格先于左格。同一竖列:上格先于下格。
这条最容易在每页最后一排出错。习惯上人眼从左往右扫,但日漫最后一排依然是右先左后。写编排前先把最后一排的格子从左到右编号,再倒过来读。
上排: [2] [1] ← 1 先读
中排: [3]
下排: [5] [4] ← 4 先读,5 后读
详见 reference/reading_rules.md。
失败案例:某页下排是"孩子发问(右)"+"母亲摸头(左)"。编排时按左→右写成"先摸后问",生成出来的动作顺序整个反了,画面没错、台词没错,但叙事逻辑错了。观众只觉得"怪"。
C2 岛:视线相邻 = 同一时刻
| 关系 | 含义 | 动画处理 |
|---|---|---|
| 同岛、相邻视线 | 连续时间、同一空间 | 硬切,保持连续感 |
| 跨岛 | 换场 / 时间跳 / 回忆进出 | 硬切;需要缓冲时加一个短空镜或环境音桥接 |
跨岛处不要用叠化。叠化在动画里表示"时间流逝",会让观众误读成"过了很久"。
C3 分格类型决定镜头长度
| 格型 | 语义 | 镜头 |
|---|---|---|
| 标准框 | 常规叙事 | 常规镜头 |
| 无框 / 开放框 | 心理状态、空间延伸 | 长镜 + 景深 + 缓推 |
| 出血框(压出页边) | 冲击、大场面 | 定场大镜或情绪停顿 |
| 斜框 | 动乱、紧张 | 手持感、快切 |
| 内嵌小格 | 插入细节 / 回忆 | 插入特写,不是独立叙事格 |
失败案例:把内嵌小格当成"下一格剧情",叙事线被打乱;把无框格当"没画格"漏掉,丢掉整页最重要的情绪点。
二、归属约束(谁在说)
C4 气泡尾巴指向谁说
尾羽指向的人 = 说话人。尾羽叠在两人之间、分不清指向时,标 unknown,不要猜。
失败案例:一格里有"孩子仰头喊"和"母亲从楼梯下来"两个动作,气泡「媽媽!」被标成了母亲说的。实际上这是孩子在喊母亲。生成出来的画面变成母亲喊"妈妈",整段人物关系崩了。
C5 六类气泡,配音规则各不相同
| 类型 | 视觉 | 动画 | 配音 |
|---|---|---|---|
| speech | 椭圆 + 尾羽指向人 | 张嘴 | 角色声线 |
| thought | 云朵边 + 点状尾羽 | 不张嘴 | 画外音或静默 |
| narration | 矩形框、无尾羽、贴页边 | 无嘴动 | 叙述者声线(平) |
| shout | 锯齿 / 爆炸边 | 张嘴 + 动作大 | 角色声线 + 高音量 |
| sfx | 手写体、无边框、直接压画 | 不是台词 | 零配音(只做音效) |
| phone | 方框带齿 / 天线符号 | 画外音 | 角色声线 + 滤波 |
只有 sfx 完全不配音。thought 不张嘴但可以有画外音;narration 不张嘴,用独立的叙述者声线。三者都不能当普通对白处理。
失败案例:手写体的「輕摸」(轻轻地摸)被当成台词配了音,角色开口说"轻摸",直接出戏。这类词是动作音效,必须走音效轨,不进台词。
同理:旁白框没有尾羽,用角色声线配会变成人物自言自语;心声配成对白,画面里嘴不动却有声音。
C6 判定优先级
- 有尾羽且指向具体人物 → speech
- 无尾羽、框形规整 → narration
- 手写体无框 → sfx
- 云朵边 → thought
- 锯齿边 → shout
- 方框带齿 → phone
不确定时用动画决策反推:这个镜头需要角色张嘴吗?要 → speech;不要 → thought / narration。
六类气泡的完整判定表见 reference/bubble_taxonomy.md。
三、身份约束(这是谁)
C7 不同年龄不是同一个人
同一角色的幼年与成年,脸型、发型细节、服装全不同。VLM 常把两种形态标成两个"金发女性"或同一个"长发女性",于是出现"母亲跟着孩子去冒险"这种错误。
判定方法:看服装与配饰,不看发色。同一个人跨年龄会保留标志性配饰(胸针、发饰、帽子),但制服会变。
失败案例:第 2 页上格是母亲蹲下摸头,下格是成年主角骑扫帚飞走。解析把它们当成同一个人,编排成"母亲飞向目的地",主角整段消失。
C8 配角不是主角
路人、门卫、旁听者只有一两格,不要升级成主角。反过来,主角在画面里只露出背影或一只手时,也不要当成"没有主角"。
失败案例:城门守卫被标成"金发少女",编排时给了他一段特写反应镜;实际他只是过场 NPC。
C9 黑白页的发色不可信
黑白漫画的浅色头发在扫描后接近白色,VLM 经常标成"金发"。发色必须以上色参考(官方彩图 / 动画截图)为准,不能用漫画灰度推断。
失败案例:银白色头发被写成"金发",生成出金发角色,与主角完全不符;而且因为提示词里写死了金发,模型"忠实执行"了这个错误。
规则:拿到上色参考图之前,不要在提示词里写具体颜色,只写"与参考图一致"。
四、时间约束(给多少秒)
C10 台词时长按音节算,不按字数猜
日语按 mora:
时长 = mora ÷ 语速 × 密度 + 0.4s 呼吸
mora/秒:平静 7.0|情绪 6.0|急促 8.5
密度:陈述 1.0|感叹 0.9|疑问 1.1|省略 0.8
mora 计数:一个假名 = 1;小書きゃゅょ = 0;っ、ん、ー = 1。 汉字必须给假名读法(平假名/片假名都可,脚本会转)。没有读法就不要估算,不要用汉字个数猜。
完整公式、多语言对照与算例见 reference/duration_budget.md。
C11 无台词格有基准,不要凭感觉
| 格型 | 基准 |
|---|---|
| 定场 / 远景 | 3.5s |
| 动作 | 2.5s |
| 情绪 / 特写 | 2.2s |
| 过场 / 小格 | 1.5s |
| 心理 / 无框 | 3.0s |
C12 内容装不下就删格,不许偷偷压
总账 = 所有镜头时长之和。目标给定后:
- 内容 > 目标:依次压过场(1.5→1.2)、反应镜(2.0→1.5)、定场(3.5→2.5);台词格一律不动。仍然超 → 停下来报告:缺多少秒、压了哪些、给出"拆段"或"删指定格"两个方案。
- 内容 < 目标:加镜头,不要拉长现有镜头,更不要冻结末帧。
失败案例:为了塞进目标时长,把 5 个镜头压成 3 个,其中删掉的是转场——观众看到的是"跳了一下",不是"节奏变快"。
C13 不要用静帧 / 慢放填时间
静帧 + 极慢 zoom 等于画面完全静止。把素材慢放会产生重复帧——每两帧才前进一次,有效帧率减半,观众看到的是抖动或卡顿,不是慢动作。这两种"填时间"都会被直接看出来。时间不够就加镜头。
五、拆镜约束
C14 格 ≠ 镜头
一页 2–4 格 → 动画 3–5 镜。漫画靠"同页多格"承载时间,动画靠"镜头时长 + 剪辑"承载。
| 格内容 | 镜头数 | 拆法 |
|---|---|---|
| 双人对话 | 2–3 | 正反打:A 说 → B 反应 → 回 A |
| 单人对白 | 1 | 说话镜 + 轻微运镜 |
| 动作 | 1–2 | 连续整镜,或按起/中/收切 |
| 心理 / 无框 | 1 | 静止长镜 + 景深 |
| 大格 / 出血 | 1 | 定场或情绪停顿 |
| 内嵌小格 | 1(插入) | 插在它所解释的镜头之后 |
| 拟声词 | 0–1 | 不单独成镜,音效叠在相邻动作镜 |
完整拆分规则与镜头预算见 reference/shot_grammar.md。
C15 反应镜是呼吸,不是填充
保留:首次情绪反转、关键决定后的反应。 删除:重复的惊讶、纯信息确认。
一页最多 1–2 个反应镜。每个对话格都加反应镜 = 机械节奏。
C16 动作顺序要写死,而且仍要验收
提示词里写 Aしてから、Bする(A 之后 B)比写"先…再…"更稳,但只能提高概率,不能保证。
规则:出片后逐格核对顺序。反了就重跑或调整剪辑,不要假设提示词一定生效。
六、验收约束
生成后按表核对,不通过就回改,不进入下一步。
| 约束 | 检查方法 | 不通过 |
|---|---|---|
| C1 顺序 | 抽帧对照原页,逐格核对 | 重排或重跑 |
| C2 岛 / 转场 | 跨岛处是否硬切;有无误用叠化 | 重剪 |
| C3 分格类型 | 无框格是否给了长镜;内嵌格是否被当独立叙事 | 重排镜头 |
| C4 说话人 | 听音频,核对每句台词与脚本的角色 | 重写提示词 |
| C5 气泡类型 | 确认拟声词没有被配音;旁白不是角色声线 | 重写提示词 |
| C6 判定优先级 | 存疑气泡是否标 unknown 而非猜 | 补标注 |
| C7 身份 | 抽帧看服装配饰,不只看发色 | 换参考图 |
| C8 配角 | 路人是否被写成主角/反应镜 | 删镜头 |
| C9 发色 | 与上色参考比对 | 换参考图 |
| C10 时长 | 用 ASR 拿到实际语速,与估算比对 | 调整时长 |
| C11 无台词格 | 定场/动作/情绪是否落在基准区间 | 调整时长 |
| C12 总账 | 镜头时长之和 vs 目标 | 删格或拆段 |
| C13 静止 | 帧间光流是否持续非零 | 换素材 |
| C14 格≠镜头 | 是否出现一页一镜或一格一镜 | 重拆 |
| C15 反应镜 | 每页是否超过 2 个 | 删多余反应镜 |
| C16 顺序 | 逐格核对动作先后 | 重跑或剪辑 |
指标的口径要说清
center_texture_delta(有的实现叫 face_boil)不是人脸检测,是中心区域高频纹理的帧间差。城市、人群、树叶会让它飙高,但画面里可能一个脸都没有。必须抽帧人眼确认,不要直接判失败。- 多镜头片段有硬切,全局运动突变指标会被切点拉高。判定要用逐镜片段,不要用整段均值。
七、可选:渲染参考
以上约束与渲染方式无关。如果你需要一个具体做法:
- 按 30s 规划,按 15+13 渲染:30 秒是叙事单位,两段是成本单位。
- 第 1 段 15s;第 2 段 13s,把第 1 段最后 2 秒作为
reference_video传入,承接运动与镜头。 - 身份来自角色参考图,运动来自参考视频。两者都要,缺一会漂。
- 部分平台的首尾帧与参考素材角色互斥,不能同时传。做 15+13 时走
reference_video,不要同时要求首尾帧。 - 不要用一堆 3–4 秒片段迭代场景:贵,且跨段一致性差。
计划脚本:
python scripts/plan_duration.py --target 28 --unit 30 --segment 15,13 \
< examples/page_plan.sample.json > plan.json
段内不足只报缺口,提示你加镜头,不会自动拉长镜头。
接口字段与客户端纪律见 reference/api_integration.md。 模型能力边界见 reference/h3_rendering.md。
八、常见失败与对应约束
| 现象 | 违反的约束 | 修法 |
|---|---|---|
| 动作顺序反了 | C1 / C16 | 重排阅读顺序,写死 Aしてから、Bする,逐格验收 |
| 角色在喊自己的名字 | C4 | 核对气泡尾巴指向 |
| 角色说"轻摸" | C5 | 拟声词走音效轨 |
| 母亲跟着去冒险 | C7 | 按服装配饰区分年龄形态 |
| 全员金发 | C9 | 用上色参考,不写具体色值 |
| 镜头被偷偷删掉 | C12 | 先算总账,删哪格显式指定 |
| 画面像静止 | C13 | 加镜头,不要静帧/慢放 |
| 一页一个镜头 | C14 | 按镜头语法拆镜 |
| 每个对话格都有反应镜 | C15 | 只留情绪转折处 |
| 字数估不准时长 | C10 | 补假名读法,按 mora 算 |
示例
- examples/page_plan.sample.json:机器可读的页面解析(台词 + 假名读法)
- reference/example.md:两页完整走查,含每步的判定理由
依赖
Python 3.10+、numpy、opencv-python、soundfile、scipy、ffmpeg/ffprobe。
可选:openai-whisper(台词核对)、pykakasi(日语注音)。