Communitygithub.com

Treemation — 3D教育视频制作

完全通过代码生成9:16竖版3D教育短片(适合YouTube Shorts/Instagram Reels/TikTok),包含像素风格主持人角色+吉祥物、动态运镜、自适应背景、黄色关键词字幕、口型同步、音效和缩略图(支持印尼语),并与ElevenLabs的MP3旁白同步。自动化两步流程。

Treemation — 3D教育视频制作 是什么?

Treemation是一个AI Agent技能,用于自动生成3D教育竖版短视频。用户只需提供一个主题(例如“什么是域名”),技能就会在第一步自动完成:根据主题生成完整的ElevenLabs脚本、场景规划、角色选择和缩略图设计,并以印尼语回复。此时,用户只需将生成的脚本粘贴到ElevenLabs中朗读并导出MP3文件发送回来。第二步,技能会接收MP3文件,通过语音识别(faster-whisper)进行精确的单词级时间对齐,然后自动编写Three.js驱动的3D场景代码,最终渲染输出1080×1920分辨率的MP4视频和缩略图。整个过程几乎无需人为干预。该技能专为Claude Code等模型设计,支持自动化的两步流程:主题请求直接回复脚本,MP3直接制作视频。用户可随时请求修改角色、标题或品牌颜色。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Adytm404/treemation/tree/HEAD/skills/treemation

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Treemation — 3D教育视频

本技能制作的视频示例见 examples/zenhosta/(“Kok website bisa online?”): 一个像素皮肤的主持人(积木沙盒风格角色,带有像素化的动漫面孔),根据用户上下文进行适配,吉祥物“Byte”,一个切换镜头(面部特写、吉祥物特写、3D说明聚焦、广角、低角度)的摄影机,背景主题跟随话题,顶部带有进度条的步骤标签,用于道具的浮动3D舞台,3D场景(完整的房间/地点——数据中心、办公室、仓库、城市或你自己构建的——建在主持人身后,主持人浮动在它们前面,然后摄像机飞入其中),UI面板精确地在某个词语被说出时出现,大号字幕(关键词为黄色),以及嘴巴跟随声音的主持人。

与用户的所有交流均使用Bahasa Indonesia(印尼语)(脚本、字幕和聊天回复)。

触发规则(先读——用户一句话即可)

A. 用户命名一个主题——例如“buat konten edukasi apa itu domain”、“bikin video soal cara kerja email, CTA ke tokoku.id”、“konten tiktok: kenapa harga emas naik”。

  • 这是一个制作内容的请求,而不是一个问题。不要在聊天中解释该主题,不要总结材料,也不要反问(“想要多长时长?”、“目标观众是谁?”、“要用行动号召吗?”)。
  • 直接进入阶段1,使用默认设置,然后以阶段1格式(references/output-format.md)回复:可直接粘贴到ElevenLabs的脚本、角色、缩略图、场景表格以及video-plan.json的路径。最后一句:“Kirim MP3 dari ElevenLabs, nanti langsung aku jadikan video.”
  • 未指定时的默认值:时长±60–70秒(120–150词),根据主题2–4个步骤,角色来自karakter.md(用户上下文→细分领域→预设raka),结尾CTA“Follow buat konten edukasi lainnya!”。如果用户指定了品牌/URL,则CTA使用该内容。所有默认值之后都可以更改——在回复中简要提及,不要先询问。
  • 如果主题依赖于可能变化的事实(价格、法规、近期数据)并且你有网络访问权限,请先检查;否则编写一个不依赖当前数据的脚本。

B. 用户发送一个MP3(可能带消息也可能不带)——从阶段2运行到完成,无需确认:查找项目,对齐,编写scenes.js,检查静态预览图,渲染,制作缩略图,编码,检查结果,然后以阶段2格式回复。

  • 查找项目:python <skill>/scripts/find_project.py 列出项目及其状态。使用其 plan.json 存在但尚未有音频的项目(最新的)。MP3文件名或提及主题的用户消息优先级高于时间顺序。仅在多个候选可能性相当时,问一个简短的问题。
  • 没有任何项目→要求用户粘贴在ElevenLabs中朗读的文本(对齐需要确切的文本),然后围绕该文本构建plan.json而不改变其词语,并继续阶段2。
  • 音频时长与预估相差超过25%或align.py标记了许多短语为<-- cek→文本可能在ElevenLabs中被编辑过。询问所使用的文本,更新计划中的旁白,然后重复。
  • 唯一可能中途停止的原因:缺少依赖项(征求一次用户许可后安装)或你自己无法修复的错误。
  • 完整渲染可能需要一段时间;在后台运行,等待时制作缩略图,并在会话支持时发布简短的进度更新。

C. 用户请求修改(“把角色换成戴头巾的女性”、“标题更简短”、“品牌颜色为蓝色”)→在同一项目中更改plan.json/scenes.js。在MP3存在之前:仅重新发送阶段1回复中更改的部分。如果旁白改变,提醒用户必须重新生成MP3。视频完成后:仅重新渲染所需的内容(仅缩略图,或完整视频)。

两个阶段的聊天回复格式见references/output-format.md——请严格遵守。

项目文件夹

一个视频 = 工作目录中的一个文件夹 video-<short-topic>/(小写字母,用连字符连接,例如 video-apa-itu-domain)。在阶段1创建并一次性设置:

python <skill>/scripts/setup_project.py video-<topic>

这会复制引擎(index.html、engine.js、pixelchar.js),通过npm安装three.js + 字体 + 图标,创建icons.js,并检查ffmpeg/numpy/playwright。如果某行以PERLU:开头,则先安装它指定的依赖项(在用户系统上安装任何东西前需征求许可)。

完成时的文件夹内容:plan.json(你编写)、scenes.js(你编写)、narasi.mp3、naskah-elevenlabs.txt、video-plan.json、timeline.js/json、frames/、previews/、video.mp4。

阶段1 — 概念 → 脚本 + 场景计划

  1. 阅读 references/naskah-dan-plan.md(如何编写脚本、plan.json模式、姿势、表情、吉祥物动作和音效列表)。
  2. 从用户上下文(阅读references/karakter.md)中选择主持人角色,并将其写入plan.json中的characters。运行 python <skill>/scripts/preview_characters.py <project> --plan 并查看结果;如果可能,在回复中包含 previews/karakter.png。
  3. 阅读 references/hook.md。编写3个不同版本的钩子,选择最强的一个作为第一句旁白 + plan.json中的hook(大号屏幕文本、替代方案)。场景1必须满足三层规则:在@start处有一个强镜头,第一个词上添加音效,无问候/开场白。
  4. 编写 plan.json:6–9个场景,遵循钩子 → 引言(要点数量)→ 步骤 1..n → 总结 → 行动号召,加上 thumbnail(封面标题、要展示的道具、主持人表情)——参见“缩略图”部分。同时规划每个场景的 shots 和 background(“Shot kamera”和“Latar adaptif”部分)。目标总词数120–150词(ElevenLabs中约60–70秒)。 如果某个步骤涉及一个地点(服务器机房、仓库、办公室、街道、教室、工厂……),阅读references/sets.md并为该场景使用set(每个视频1–2个场景):主持人浮动在一个3D房间前,摄像机移动到旁白中提到的spot:,mark指向其部件,fx使其生动。不在内置场景列表中的地点→在scenes.js中使用defineSet()构建(阶段2)。
  5. 运行 python <skill>/scripts/plan_timing.py <project> → 创建 video-plan.json(预估时间)和 naskah-elevenlabs.txt。检查输出:每个触发词必须被找到,必须打印 “Cek hook: OK”,当使用场景时**“Cek set 3D: OK”**——修复每一个⚠警告并重新运行。对于带场景的视频可选:plan_timing.py <project> --preview 也会写入一个预估的 timeline.js,这样在MP3存在之前,render.py --stills 可以检查场景的外观(需要scenes.js;在阶段1中,一行就足够了:import { register } from './engine.js'; register({});)。
  6. 按照references/output-format.md中的阶段1格式回复用户:可直接粘贴的脚本块、发音注释、带有分钟的场景表格以及video-plan.json路径。请求MP3。

阶段2 — MP3 → 视频

  1. 将音频保存为 <project>/narasi.mp3。
  2. 确保 plan.json 中的旁白完全与朗读的内容一致(用户可能在ElevenLabs中编辑了脚本——如果不确定则询问,或检查时长:与预估差距过大意味着文本不同)。
  3. python <skill>/scripts/align.py <project> --whisper → 同步的 timeline.js、timeline.json、video-plan.json。使用 --whisper(需要 pip install faster-whisper;首次下载模型约±500 MB)时,每个单词的计时来自真实语音识别,因此卡拉OK字幕和口型同步可以精确匹配;不使用它时,则使用暂停+音节对齐。查看短语列表:标记为 <-- cek 的行表示时长可疑,通常是因为文本与音频不同或ElevenLabs在某个意外位置暂停。如果需要,在计划中修复文本并重新运行。
  4. 阅读 references/engine-api.md(如果计划使用了set,也阅读references/sets.md),然后编写 <project>/scenes.js。首先复制 examples/zenhosta/scenes.js 中的模式。所有时间使用 T(sceneId, 'word'),从不使用原始秒数——这样如果音频被替换,所有内容保持同步。
  5. 完整渲染前的视觉检查: python <skill>/scripts/render.py <project> --stills <每个场景3–4秒> 然后查看 <project>/previews/ 中的图像。每个镜头至少取一张静态图(对于场景:每个 spot: 一张,以及场景构建过程中的一张)。检查:面板不遮挡主持人面部、无元素被边缘裁切、字幕可读、道具出现在舞台上、无页面错误。修复并重复直到干净。这是保证质量最重要的步骤。 要检查动作(角色让开、背景过渡、镜头切换),渲染一个带声音的短片:python <skill>/scripts/render.py <project> --clip 10 18 → previews/clip_10-18.mp4。
  6. 完整渲染:python <skill>/scripts/render.py <project>(可中断恢复;多核CPU使用 --workers N)。如果计算机有显卡,先检查 render.py <project> --gpu --check-gpu;如果渲染器不是SwiftShader,则使用 --gpu 渲染(快3–10倍)。在完整渲染前,将一张 --gpu 静态图与CPU版本进行比较。每帧每个工作线程大约0.3–0.6秒。如果耗时较长,在后台运行并监控进度。
  7. 背景音乐:如果用户发送了音乐文件(或 plan.json 中设置了 music),则使用该文件,并自动进行闪避处理(旁白说话时音乐音量降低)。如果没有文件,使用 --music auto(简单代码生成的免版税音乐),并在回复中提及用户可以替换成自己选择的音乐——绝不使用受版权保护的歌曲。
  8. 缩略图:python <skill>/scripts/thumbnail.py <project> → <project>/thumbnail.png(1080×1920封面)和 previews/thumbnail-cek.png(安全区域指南)。查看检查图像:标题和主持人面部位于红色框内,标题不覆盖面部,道具可见。调整 props_from、stage 或 title_y 并重复。可以在完整渲染运行时完成。
  9. python <skill>/scripts/encode.py <project> <name>.mp4 [--music file.mp3|auto] → 音效自动生成,在旁白下轻柔混音(如果有音乐则带闪避),然后编码为1080×1920、30 fps的H.264 + AAC MP4。
  10. 检查最终MP4的几帧(ffmpeg -ss <seconds> -frames:v 1),然后按照references/output-format.md中的阶段2格式回复。

原则

  • 同步优先,美观其次。 每个视觉元素在解释它的单词出现时一同出现。在单词说出前出现的面板会感觉不自然。
  • 钩子先于内容。 前3秒决定视频是否会被观看:钩子句≤14词,无问候,大号屏幕文本不与旁白重复,角色/道具从第一帧开始移动,并且在第8秒之前开始回答承诺(references/hook.md)。
  • 活的摄像机,而非静止的。 每个场景至少有两个镜头(host_close、host_medium、mascot_close、illustration、wide、low_angle),在正确的单词处进行剪辑或移动——特写用于钩子/重点句/CTA,illustration 在讨论道具时使用(角色先消失或滑出画面,然后返回),mascot_close 用于反应。UI面板必须保持在当前镜头的安全区内。
  • 背景跟随主题。 每个场景(或关键词)都有一个 background:色彩主题、粒子图案和与内容匹配的图标——寒冷使用冰蓝色+雪,服务器使用二进制代码,CTA使用温暖/品牌颜色。整个视频使用静态单色背景会显得无聊。
  • 嘴巴跟随元音。 口型同步使用5种口型A、I、U、E、O,遵循每个单词的元音顺序——例如“aku mau makan” → A U A U A A——并在暂停时闭合。外来词通过 pronunciation 的读音读取(references/karakter.md)。
  • 角色绝不遮挡摄像机。 当聚焦于说明时,角色要么瞬间消失(hide,用于剪辑),要么在摄像机移动前直接向侧面滑出(slide,用于移动)——不转身,不走到摄像机前面。为了变化(仅当需要时),角色可以通过 enter 从下方、侧面或上方弹入。
  • 地点变成舞台,而非背景板。 当旁白谈论到一个地点时,将其构建为主持人身后的3D场景(而不是背景图片):主持人浮动在它前面进行解释,然后摄像机移动到被提及的部分,再回到主持人。单个物体则留在浮动岛上。
  • 每时每刻一个想法。 顶部区域(y 230–900 px)一次只展示一个主要内容:一个UI面板或一个大3D道具。清除前一场景的元素。
  • 贴合上下文但又原创的角色。 像素皮肤主持人根据用户描述、品牌和细分领域,从一个规格(预设+发型、服装、颜色、配饰、头巾)构建。不要从其他创作者、游戏角色或品牌吉祥物那里复制皮肤/角色——只从参考图像中获取风格。
  • 准确的事实。 教育脚本必须正确;示例数字应使用文档中的范围(例如IP 203.0.113.x)或清晰的标签。绝不编造统计数据。
  • 诚实的行动号召。 按用户给出的方式陈述其品牌/URL,不添加他们未提供的主张(价格、促销、“最好的”、虚假截止日期)。
  • 每秒都生动。 卡拉OK字幕、关键词上的缩放强调、重读词上的点头、看向所指方向的眼睛、数字跳动或信息图的变化——每一秒都让观众有事可看。

[因长度限制已截断,但翻译遵循完整原则]

相关技能