Communitygithub.com

16位复古像素视频制作

端到端制作系统,用于在React + HTML5 Canvas中创建广播级16位复古像素艺术解说与纪录片视频,支持画外音、SRT字幕同步、无缝像素转场、16位背景音乐+程序化音效、演播室NLE播放界面及客户端1920x1080 MP4导出。

16位复古像素视频制作 是什么?

该技能是一个完整的端到端生产系统,用于在React + HTML5 Canvas中创建广播级别的16位复古像素艺术动作图形解说和纪录片视频。它包含一个严格的美学规范,灵感来自SNES、Chrono Trigger和Sea of Stars,确保温暖、丰富、氛围感强的视觉风格。该引擎基于384×216的低分辨率虚拟像素画布构建,可精确5倍整数缩放到1920×1080,实现清晰的像素输出。该系统支持多轨音频编排,包括画外音、多幕16位背景音乐(带自动闪避)和同步程序化音效,所有这些都可以通过Web Audio和WebCodecs在客户端实时播放并导出为标准MP4文件。该技能提供了完整的NLE风格的演播室界面,包含多轨时间线、场景预览及导出控制,并严格遵循非协商性美学规则,例如用于清晰CJK文本排版的双层HD覆盖层、九个独特像素转场库以及每个场景元素的有序动画编排。建议用于构建新的像素艺术视频、扩展现有视频项目或重新设计叙述像素动画,同时保持与`https://github.com/Lithium023/16bit-video-forNeon`仓库一致的架构和质量标准。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lithium023/retro-16bit-pixel-video-SKILL/tree/main

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

16位复古像素视频制作技能

参考蓝图

  • 规范参考仓库: https://github.com/Lithium023/16bit-video-forNeon
  • 参考基准: 5分14.5秒(314.5秒)全长纪录片(AI发展史),55个精心制作的16位像素场景,分为5幕,155个同步SRT字幕,9个无缝转场,3轨音频(画外音 + 5幕16位背景音乐自动闪避 + 94个同步16位音效),以及超实时客户端1920×1080 H.264/AAC MP4导出。
  • 开始新项目时: 镜像本技能及其references/文件中记录的模块架构和视觉/音频/导出标准。如果用户提供新的脚本、画外音音频或SRT文件,保持整个引擎、美学构成、演播室UI和MP4导出管线不变,同时为新主题创作特定章节、像素场景、精灵和声音提示。

1. 美学构成(不可协商)

想象SNES / Chrono Trigger / Sea of Stars / Celeste 与高工艺纪录片动态图形的结合——温暖、丰富、有氛围且清晰透明。绝不要单调线框极简主义,不要杂乱的低分辨率模糊,也不要刺眼的霓虹垃圾。

  1. 纯16位虚拟像素网格(384×216 横屏 / 216×384 竖屏):

    • 在离屏虚拟画布上绘制所有像素世界、背景、抖动天空、精灵、道具和图标,尺寸为**384×216(16:9)或216×384**(9:16)。
    • 为什么用384×216?它是到1920×1080的精确5倍整数缩放(384 × 5 = 1920,216 × 5 = 1080)。使用ctx.imageSmoothingEnabled = false 将内容位块传输到高清输出画布,确保每个像素保持锐利,无闪烁或子像素模糊。
    • 将空闲/环境像素动画锁定为清晰的复古节奏(stepT = Math.floor(time * 8..10) / 10),而摄像机平移、缓动曲线和转场则以流畅的60fps(导出时为30fps)运行。
  2. 连贯的28色温暖电影级16位调色板:

    • 基于一个严格共享的调色板(PAL)构建每个场景,涵盖6种情感风格:深夜虚空/海军蓝、温暖灯金/奶油色、舒适珊瑚/李子色、冷色青绿/松木色、北极冬冰和Game Boy橄榄单色(严格保留用于戏剧性的情节转折硬切,如"但其实")。
    • 绝不使用平坦的无纹理渐变。使用4×4有序拜耳抖动(drawDitheredSky、drawDitheredGlow)处理天空接缝、灯光光晕、黎明爆发和像素溶解。
    • 参见 references/visual-and-typography-spec.md 了解精确的十六进制令牌、拜耳矩阵数学和精灵绘制原语。
  3. 黄金排版法则(无模糊CJK文本):

    • 绝不要将小号中文文本绘制到384×216低分辨率画布上然后放大——密集的中文字符(最/魔/幻/澜/疆)会模糊成不可读的色块(“糊成一坨”)。
    • 场景内动态标题和徽章(双层HD覆盖):直接在高清画布(1920×1080)上使用二值化像素字形精灵渲染标题,字号为38px(大标题)、32px(副标题)或24px(HUD标签),并带有8邻域1像素深色墨迹轮廓、阶梯式投影和3带金属倒角填充(顶部高光/中间色/底部阴影),通过最近邻缩放(imageSmoothingEnabled = false)。
    • 底部广播字幕:使用干净、高可读性的原始无衬线字体(Noto Sans SC / 系统无衬线粗体,置于半透明深色胶囊背景中,搭配发丝琥珀色边框,位于 y = 0.905 * h)。除非明确要求,否则不要对主字幕条进行像素化处理。
    • 绝不让抖动光晕遮挡关键标签: 任何关键年份、指标或顶峰徽章(2026、1950 — FUTURE)必须位于一个清晰的、高对比度的深色铭牌内,并带有金色/青绿色像素边框,且该边框要在背景光晕之后绘制。
  4. 零突然出现式入场 & 零意外硬切:

    • 每个场景边界必须有一个来自9种转场库(aperture-open、whip-blinds、iris-flash、razor-wipe、invert-strobe、camera-pullback、ember-curtain、gravity-shatter、horizon-burst)的有意转场,并配合平滑的fromCam → toCam摄像机插值和排版淡入淡出。即使是戏剧性反转也要使用故意的CRT光栅擦拭(invert-strobe),而不是突兀无动机的跳跃。
    • 场景内的每个多元素图形(4个模态卡片、4个功能模块、4个框、步骤模块、结局年份横幅)必须通过有目的编排进行动画化——交错的弹簧弹出、连接集线器→节点的扫掠能量光束、展开的RPG铭牌或与口语单词同步的滚动里程表/计数器滴答声。绝不要仅仅使用if (localTime > X) drawBox()。
    • 每个结局/结尾都需要一个标志性的创意结束序列(例如,日出地平线绽放 + 角色向前看 + 展开铭牌 + 滚动年份里程表 1950 → 2026 → FUTURE + 发光的星弧扫掠 + 温暖的和弦)。

2. 标准制作工作流程

从头开始创建新的16位像素视频(或扩展现有视频)时,请遵循此确切顺序:

步骤 1: 导入脚本、画外音和SRT时间

  • 解析用户真实的画外音音频和.srt字幕文件(或生成与画外音对齐的准确时间戳SRT)。
  • 标准化相邻提示之间的微间隙(< 0.18s),以免字幕闪烁2帧。
  • 根据确切的音频/SRT结束时间建立CLIP_DURATION。

步骤 2: 故事板和节拍表(节奏蓝图)

  • 将电影分成3-6个叙事幕(每个幕有自己的色温和BGM章节)和3-8秒的场景(每个视觉节拍大约1-3个字幕提示)。
  • 对于长视频(>60秒),按30秒章节迭代构建(retroPixelChapterTwo.ts、retroPixelChapterThree.ts等),以便每个镜头都获得真正精心制作的像素艺术,而不是回收模板。
  • 在timeline.ts中为每个场景分配:
    • index、id、title、quote、start、end(严格连续,覆盖[0, CLIP_DURATION],无间隙/重叠)
    • transitionIn + transitionLabel
    • visualBeat(用于故事板面板的简洁编辑描述)
    • accent 十六进制颜色,用于时间线条带。

步骤 3: 构建核心像素引擎和模块化章节渲染器

镜像https://github.com/Lithium023/16bit-video-forNeon中清晰的关注点分离:

  • src/video/types.ts — SrtCue、SceneCut、TransitionType、RenderSettings、ExportResolution、ExportStatus
  • src/video/srtParser.ts — 确定性SRT解析器,AUDIO_SRC、BGM_SRC、CLIP_DURATION、getActiveCue
  • src/video/timeline.ts — 连续的SCENE_CUTS、缓动曲线(easeOutExpo、easeOutBack、easeOutCubic、easeInOutQuint、smoothstep)、getStaggerProgress、getSceneAtTime、getActiveTransition、合成后备语音能量
  • src/video/pixelSprites.ts — PAL、BAYER_4X4、pxRect、pxOutline、pxCircle、pxRing、pxLine、drawDitheredSky、drawDitheredGlow、drawSprite、pxBitmapText、可复用像素艺术精灵和环境助手(pxPineTree、pxCloud、pxSparkle、pxStarfield)
  • src/video/pixelTypography.ts — 缓存二值化像素字形光栅化器(drawPixelString、drawPixelKineticTitle、drawPixelHudTag)
  • src/video/retroPixelRenderer.ts — 主虚拟缓冲池(bufA、bufB、bufDither)、摄像机漂移计算器、9种转场合成器、CRT扫描线、排版交接以及分派到模块化retroPixelChapter*.ts文件
  • src/video/sceneRenderers.ts — 顶级renderVideoFrame:像素场景 → 微妙暗角(0.14)→ 干净的原始底部字幕 → 发丝琥珀色进度条 → 0.25秒尾部淡入淡出

步骤 4: 为整个电影配乐(3轨音频系统)

阅读references/choreography-and-audio-spec.md获取完整细节:

  1. 音轨 1 — 画外音: 主叙述锚点(volume = 1.0,0.25秒尾部淡出)
  2. 音轨 2 — 多幕16位BGM: 获取真正开放许可(CC0 / CC BY 3.0,例如OpenGameArt / BoxCat Games / Kevin MacLeod / chiptune OST)的、与每幕情绪相匹配的16位曲目,将它们拼接成单个无缝BGM曲目,并带有与幕时间戳匹配的平滑交叉淡入淡出,并应用自动画外音闪避(duck = 1 - voiceEnergy * 0.22),大约在~0.58 * bgmVolume处
  3. 音轨 3 — 同步16位SFX(retroSfxEngine.ts): 结合每个场景切换的自动转场SFX + 手动放置的音乐节拍SFX(用于4卡揭示的五声音阶上升音、水晶叮当声、砍杀嗡嗡声、里程表滴答声以及一个温暖的尾声主和弦)。所有SFX通过Web Audio(BaseAudioContext + 可选scheduleTime)干净地合成,因此实时播放和离线MP4导出的声音相同

步骤 5: 演播室NLE预览和客户端1080p MP4导出

阅读references/mp4-export-and-qa-spec.md获取完整细节:

  • 演播室外壳: 暗黑曜石工作区(#07080B),TopBar(品牌标题、章节跳转导航、单个主导出1080p MP4操作,带有实时阶段进度和即时取消)、Canvas舞台(16:9 / 9:16切换、播放/暂停/拖拽/步进/速度/静音/全屏)、多轨可视化时间线(场景块 + 字幕块 + 播放头)和右侧编辑面板(分镜与转场 / 口播台词 / 画面调校,包括1080p vs 720p MP4切换、BGM/SFX滑块、字幕切换、高亮跳转按钮)
  • MP4导出(videoExporter.ts): 使用mp4-muxer + 浏览器WebCodecs(VideoEncoder H.264 + AudioEncoder AAC/Opus),配合离线直接PCM音频混合 + 缓存每SFX印记,默认设置为**1920×1080 @ 30fps,14 Mbps**(竖屏为1080×1920),并自动回退到Safari原生的MediaRecorder MP4

步骤 6: 单元测试和视觉浏览器验证(强制)

  • 解耦纯逻辑并使用node:test进行测试(npx tsx --test):
    1. SRT时间戳解析和提示覆盖率(srtParser.test.ts)
    2. 连续场景切换和转场,无间隙/重叠(timeline.test.ts)
    3. 拜耳抖动和矩形精灵网格验证(pixelSprites.test.ts)
    4. 按时间顺序的SFX提示覆盖率和仅向前触发窗口(retroSfxEngine.test.ts)
    5. 导出分辨率配置、MP4 MIME优先级和语音能量时间线(videoExporter.test.ts)
  • 在App.tsx中支持?t=<seconds> URL查询参数,以便自动化无头浏览器检查可以直接跳转到任何场景、转场中间点、动画入场节拍和结束帧进行视觉检查
  • 验证实时MP4导出达到渲染MP4,干净地取消回到空闲状态,没有残留回调,并且不发出浏览器控制台错误

3. 来之不易的规则和绝不重复的陷阱

陷阱根本原因强制解决方案
中文标题看起来模糊/成团(“糊成一坨”)将CJK文本渲染到384×216低分辨率画布然后放大通过二值阈值化38px/32px字形精灵(CJK为thresh = 142..148,ASCII为88)并在HD画布上渲染CJK标题,附带1px墨迹轮廓 + 3带倒角;保持底部字幕为干净的原始无衬线字体
后期场景之间的硬切缺少transitionIn或不匹配的视觉过渡SCENE_CUTS中的每个剪辑必须定义一个目的性的transitionIn;搭配主题性转场(例如,盛开的花朵溶解成落下的冰晶 → gravity-shatter 投入冬天)
元素突然弹出使用原始if (localTime > t)布尔值绘制UI卡片/框使用clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo、光束连接器、展开铭牌或滚动计数器驱动每个元素
高潮标签被遮挡或半显示在标签上绘制光晕,或进度来自有界段计数器在光晕之后在带框架的深色铭牌内绘制标签;将揭示进度直接绑定到localTime,而不是封顶曲线参数
离线MP4导出在4%处停止将90+个SFX(约280个BiquadFilterNode)连接到单个314秒的OfflineAudioContext解码语音+BGM一次,直接在立体声Float32Array PCM中混合,在小的0.55–1.55s OfflineAudioContext中渲染每个唯一的短SFX(缓存),然后印记到PCM中
离线MP4音频编码耗时12秒以上提供微小的4096样本AudioData块,并带有松散的耗尽轮询将AudioData批处理为1秒(48000样本)块(5分钟约315块),并将耗尽回退收紧到20ms
在MP4渲染期间点击取消导致按钮卡住waitForEncoderDrain 在 cancel() 之后解析,并发出最后一个 onProgress将 onProgress/onComplete/onError 包装在 !cancelled 守卫中,并在每次 await 之后立即检查 if (isCancelled()) return

4. 本技能中的参考文件

在执行期间根据需要加载这些参考:

  • references/visual-and-typography-spec.md — 精确的PAL颜色调色板、384×216画布和整数缩放数学、拜耳抖动、像素排版光栅化器和9种转场方案
  • references/choreography-and-audio-spec.md — 动画入场模式、5幕BGM交叉淡入淡出+闪避数学以及15种程序化16位SFX方案
  • references/mp4-export-and-qa-spec.md — 4层客户端MP4导出管线、快速离线PCM混音器、演播室NLE UI规范和单元+浏览器QA检查清单

相关技能