Communitygithub.com

文字转动画视频

将想法、脚本、博客URL、PDF或PPT转化为完整的动画视频——包括逐场景脚本、一致风格(2D卡通、动漫风、漫画书、故事书/奇幻、白板、动感文字)、配音、与单词同步的字幕、音效/音乐——全部用代码绘制并渲染为MP4,支持9:16、16:9或1:1比例。

文字转动画视频 是什么?

该技能是一个完整的“文字转动画”流水线,旨在将各种输入(如简单想法、脚本、博客URL、PDF、PPT甚至已有的配音MP3)转化为专业的动画视频。与依赖外部API或模型的服务不同,此技能完全在容器内通过代码绘制所有视觉内容,从而避免水印、信用限制和3分钟时长上限。它支持多种动画风格预设(2D卡通、动漫、漫画、故事书、白板、动感文字等),并可根据用户需求调整宽高比(9:16用于短视频、16:9用于YouTube、1:1用于信息流)。该技能利用ElevenLabs或用户提供的音频进行配音,通过脚本实现逐词对齐和口型同步,并自动生成字幕、音效和背景音乐(用户提供时)。关键规则包括:坚持所有内容均为代码绘制(不使用素材库或生成模型),保持事实准确性,避免写实人物肖像,并在覆盖已有输出文件前征求用户同意。它适用于Claude Code等AI助手的操作环境,特别适合制作解说视频、教育内容、故事视频、无脸YouTube频道或动画广告。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1Harsh88/Video-skill/tree/HEAD/.claude/skills/text-to-animated-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

文字 → 动画视频

这是一个类似 Fliki 的“文字转动画”流水线(见 references/fliki-notes.md),但所有视觉内容均在此容器内通过代码绘制并渲染,因此没有 Fliki 或模型的信用限制、无水印、也无3分钟时长限制。

输入: 以下之一

  • 一个简单的想法
  • 一个脚本
  • 一个博客 URL
  • 一个 PDF 或 PPT
  • 一个现有的配音 MP3

输出: 一个完整的 MP4 视频,外加一个供 WhatsApp 使用的副本,比例为用户选择的宽高比。

步骤

  1. 需求收集。 收集以下信息,如果用户未指定则使用默认值:

    • 语言(默认:用户使用的语言;印地英语/印地语均可)
    • 语调(中性)
    • 时长(60 秒)
    • 宽高比(短视频/故事选9:16,YouTube选16:9,信息流选1:1)
    • 风格预设(见下文)
    • 配音:用户的 MP3、ElevenLabs 或无需配音

    仅询问无法默认的内容。

  2. 源 → 脚本。

    • 想法: 自行编写。
    • URL / PDF / PPT: 读取源内容,仅保留其支持的事实,并在结束卡片中注明来源。
    • 长度: 编写按场景分段的脚本,英文约140词/分,印地语约120词/分。
    • 结构: 前3秒设置钩子,每场景一个想法,结尾包含行动号召(CTA)。
    • 检查: 显示脚本并等待用户确认,除非用户已提供脚本。
  3. 场景规划。 编写 plan.json(格式如下),每4–8秒一个场景,并以简短表格形式展示。

    {"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[
      {"id":1,"t0":0,"t1":5.2,"text":"<配音行>","visual":"<绘制内容>","motion":"<镜头/动画>","sfx":["whoosh:0.1"]}]}
    
  4. 配音。 选择以下之一:

    • 用户 MP3: 直接使用。如果音乐覆盖了人声,先分离人声(使用 demucs)再进行对齐。
    • ElevenLabs: 用户需要提供密钥。使用 request_credential 请求主机 api.elevenlabs.io,头部 xi-api-key。切勿让用户将密钥粘贴到聊天中。然后调用 POST https://api.elevenlabs.io/v1/text-to-speech/{voice_id},model_id 使用 eleven_multilingual_v2(或API列出的最新多语言模型),每个场景发送一个请求或发送整个脚本。
    • 无需配音: 仅使用字幕和音效,每个场景按其计划时长计时。
  5. 对齐。

    • python scripts/align.py voice.wav script.txt words.json 30 可得到单词时间戳,以及用于口型同步的 words_mouth.json。
    • 需要执行 pip install --break-system-packages torch torchaudio uroman librosa soundfile,并从 download.pytorch.org 下载模型,此环境允许这样做。
    • 根据对齐后的单词重新调整 plan.json 中的场景时间。当存在配音时,切勿猜测时间。
  6. 首先生成角色表(如果视频包含角色)。将每个角色绘制为一个包含少数几个姿势(静止、说话、指、惊讶)的函数,并保存为 PNG 角色表。在所有场景中重复使用相同的函数,以确保角色外观一致。角色必须原创;切勿复制现有的卡通或动漫角色。

  7. 构建 scene.html。

    • 一个大小为 W×H 的画布。
    • window.renderAt(t) 必须是确定性的:使用带种子的随机数,不能使用 Date.now() 或 CSS 动画。
    • window.ready 在字体加载完成后 resolve。使用本地 woff2 文件:印地语用 Baloo 2 或 Noto Sans Devanagari,根据风格需要选择 Inter/Anton/Bangers/Caveat。
    • 字幕 在画布上绘制:
      • 每个片段2–5个单词,在标点符号处或超过0.35秒的停顿处断开
      • 当前单词在其开始时刻高亮显示
      • 文本保持在安全区域内;对于9:16,顶部250px和底部420px内不能有内容
    • 运动: 缓动移动,每2–5秒眨眼一次,静止摇摆,每场景一个缓慢推镜,以及场景之间的一个过渡运动。
  8. 静态帧检查。 运行 node scripts/render.cjs stills scene.html <8–12次> stills/ W H,然后使用 ffmpeg 的 tile 将静态帧拼贴成联系表。自行查看联系表,修复问题,然后展示给用户并等待确认后再进行完整渲染。

  9. 渲染与混音。

    • 视频:node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H
    • 音效:python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5
    • 将人声音轨设为 0 dB,音效设为约 −12 dB。仅当用户提供音乐时使用;使用 sidechaincompress 在人声下进行闪避处理。
    • 混合,然后应用 loudnorm=I=-14:TP=-1.5。
  10. 交付。

    • 使用 blackdetect 检查黑帧。
    • 生成一个 WhatsApp/720p 副本,大小不超过 20 MB。
    • 使用 SendUserFile 发送两个文件。
    • 对于其他宽高比,将布局编写为 (W,H) 的函数并重新渲染。

风格预设

预设外观运动
2d-cartoon圆润形状、单色平涂(带一个渐变色)、深色4–6px轮廓、明亮背景活泼(回弹/弹性缓动)、落地时压扁
anime-style大眼睛、粗而干净的线条、平涂+硬阴影、天空渐变速度线、冲击帧、击中时轻微屏幕震动
comic-book厚重黑色墨线、半调阴影、分格、爆发贴纸(POW, WAAH!)分格猛击、缩放冲击、翻页过渡
storybook (奇幻)柔和绘画式渐变、纸张纹理、暖光、圆角衬线字体缓慢视差、漂浮粒子、柔和淡入淡出
whiteboard白板、黑色马克笔笔触(使用 stroke-dashoffset 绘制)、一种强调色手/笔跟随正在绘制的笔触;擦除式过渡
kinetic-type粗体字(Anton/Inter Black)、2–3种颜色、形状作为点缀单词随节奏猛击、滑动和缩放;遮罩和匹配剪辑
cinematic-2d半写实扁平插画、单光源戏剧性光效、柔和调色板仅限缓慢推镜和平移;纪录片式节奏

规则

  • 用代码绘制。 所有内容都用代码绘制:不使用素材库,也不使用图像或视频生成器,除非用户提供了媒体素材或要求生成剪辑(此时应使用 ai-video-generator)。
  • 真实人物。 不要制作真实在世公众人物的写实 AI 肖像。使用象征性图像、剪影或根据用户照片绘制其漫画形象。
  • 事实。 屏幕上显示的事实必须来自用户的源文件或经过验证的搜索。切勿编造统计数字、引文或推荐语。
  • 覆盖。 在覆盖已有输出文件前征求用户同意。

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

相关技能