Communitygithub.com

script-to-video

Shows an agent how to plan, build, or cut "script to video" so the concrete output is an ffmpeg-based edit. The procedure moves through 一句话, 换生成平台, 装到别的 AI 上. Use it when a new assignment calls for this craft.

script-to-video란 무엇인가요?

script-to-video is a Claude Code agent skill that shows an agent how to plan, build, or cut "script to video" so the concrete output is an ffmpeg-based edit. The procedure moves through 一句话, 换生成平台, 装到别的 AI 上. Use it when a new assignment calls for this craft.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/wushengyu0312/script-to-video/tree/HEAD

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

script-to-video은(는) 무엇을 하나요?

一句话

用 Access Token 打 api-inference.modelscope.cn:提交任务 → 轮询 → 取 URL → 下载。

连通策略是自适应的:先用正常 DNS 打域名,连不上再回退到直连 IP 39.99.133.195 + Host 头(国内不少网络该域名被污染)。要强制走某个 IP,设 MODELSCOPE_IP 即可,不用改代码。

换生成平台

drama.py 不直接连任何平台——它只调 msgen 的三个函数:submit(kind, model, prompt, **kw) → poll(task_id, kind) → download(url, path)。所以换后端 = 换掉这三个函数的实现,剧本、分镜、合成、续跑逻辑一行都不用动。

后端怎么做
魔搭(默认)自带 scripts/msgen.py,装好 token 即可
即梦走 jimeng-drama 技能(画布/节点那套);要接进本管线,把它的提交/查询/下载包成同样三个函数
其它平台只要该平台有「提交任务 → 查询状态 → 结果 URL」三段式接口,都能照 msgen.py 抄一个 submit/poll/download

前后端解耦后,shots.json 就是通用中间产物:换个平台重跑,镜头和提示词不用重写。

装到别的 AI 上

格式是通用的 Agent Skill:一个目录,根目录 SKILL.md(YAML frontmatter 的 name + description),其余是脚本和参考文件。Claude Code、模型/Agent 平台、以及支持 Agent Skills 的工具都能直接装(魔搭技能广场、npx skills add、直接拷目录都行)。

换机器只要满足三件事:

依赖说明
Python 3.8+只用标准库,不用 pip 装任何东西
ModelScope Access Token环境变量 MODELSCOPE_TOKEN,或写在 ~/.modelscope/token.txt / 技能目录 .env / 当前目录 modelscope_token.txt(脚本按顺序找)
ffmpeg(只有 concat 需要)--ffmpeg、FFMPEG 环境变量、PATH、tools/bin/ 任一能找到即可

跨平台细节:脚本对 Windows 控制台强制 UTF-8(Linux/macOS 无影响);路径一律 os.path.join + abspath;不要写 /tmp(Windows 的 MSYS 下不可写)。文档里的 $PY 只是本机示例,换成你自己的 python3 即可。

额度:唯一的门槛

这个技能本身不限制生成数量:镜头多少、分辨率、时长、跑几轮,都由你定,代码里没有任何配额逻辑。

唯一的外部限制是账号的「魔法方块」余额(账号级,出图和出片共用,单价魔搭未公开)。余额够 → 想生成多少就生成多少,连着跑几十个镜头也没问题;余额见底 → 接口返回 429,脚本立刻停手并说明原因。

所以判断额度通不通,最省的办法是跑一个最小任务:

"$PY" scripts/msgen.py image "test" -o probe.png   # 返回 task_id 就是通的(别写 /tmp,MSYS 下不可写)
"$PY" scripts/drama.py run shots.json --outdir out --limit 1   # 或者只跑一个镜头

返回 429 就是没额度(充完直接重跑,不用改任何代码);返回 task_id 就放心放量。

剧本 → 成片(主路径)

用户通常只丢一个剧本,要的是成片。三段式,只有中间那段联网花钱:

PY="C:/Users/31009/.dsh/dsh-runtimes/dsh-primary-runtime/dependencies/python/python.exe"
D="C:/Users/31009/.dsh/skills/script-to-video/scripts/drama.py"

"$PY" "$D" plan 剧本.md -o shots.json     # ① 拆镜头
# ② 看过 shots.json 后按剧本修提示词(这一步决定画面对不对)
"$PY" "$D" run  shots.json --outdir out    # ③ 逐镜:出首帧图 → 图生视频 → 下载
"$PY" "$D" concat out -o final.mp4         # ④ 合成成片

剧本格式(plan 认这个结构,一节一个镜头,标题里的 镜头N 会成为 id):

## 镜头1 | 时长:5s
画面:清晨窗边,一只白瓷咖啡杯冒着热气,木质桌面,柔和侧光
运镜:镜头缓慢推近,浅景深
反向:模糊, 文字, 水印
台词:每天早上,从一杯开始。

画面 + 运镜 会被拼成提示词。中文提示词要具体:主体、光线、机位、景别、风格各写清楚,别写抽象概念。

shots.json 每项字段:id、duration、image_prompt、video_prompt,可选 negative、seed、line、first_frame_url。

每镜两条路,默认走第一条:

方式做什么取舍
默认(图生视频)先出首帧图,再用这张图做首帧出片角色/场景一致性好,多一次出图时间与额度
--no-image纯文生视频快、省,但镜头之间容易跳

可靠性设计(别绕开):

  • out/state.json 每完成一步就落盘;进程被杀直接重跑同一条命令,已完成镜头自动跳过。
  • 额度不足(429)立即停止后续镜头并汇总,不会让 20 个镜头挨个失败。
  • --only 1,3 / --limit 2 先试一两个镜头,确认风格再放量;--force 重跑已完成的。
  • 台词不会自动烧进画面:字幕用 ffmpeg drawtext 或进剪映加。

前提

项位置
解释器任意 Python 3.8+,只用标准库(本机示例:C:\Users\31009\.dsh\dsh-runtimes\dsh-primary-runtime\dependencies\python\python.exe)
Tokenhttps://modelscope.cn/my/settings/tokens 生成,形如 ms-xxxxxxxx-...;本机已放在 ~/.dsh/modelscope_token.txt,也可用环境变量 MODELSCOPE_TOKEN
单个任务scripts/msgen.py(单文件,无依赖)
剧本成片scripts/drama.py(依赖 msgen.py,同目录)
示例examples/example-script.md

先自检,再花钱调生成:

PY="C:/Users/31009/.dsh/dsh-runtimes/dsh-primary-runtime/dependencies/python/python.exe"
"$PY" scripts/msgen.py check      # token 有效性 + 连通性
"$PY" scripts/msgen.py models     # 只列文本模型,不代表图/视频模型不可用

用法

# 文生图(默认 Qwen/Qwen-Image,1024x1024)
"$PY" scripts/msgen.py image "a blue ceramic cup on a white table, soft light" -o out.png

# 图生图 / 编辑模型:必须给参考图
"$PY" scripts/msgen.py image "换成木桌背景" -o out.png --model Qwen/Qwen-Image-Edit --image-url https://.../in.png

# 文生视频(默认 MiniMax/MiniMax-H3,768x1280,5 秒)
"$PY" scripts/msgen.py video "a slow push-in on a red apple, soft window light" -o out.mp4

# 图生视频:首帧走 media
"$PY" scripts/msgen.py video "镜头缓慢推近" -o out.mp4 --image-url https://.../first.png

# 可复现 / 排除项
"$PY" scripts/msgen.py image "..." -o out.png --seed 42
"$PY" scripts/msgen.py video "..." -o out.mp4 --negative "模糊, 文字, 水印"

# 只提交不轮询(长任务丢后台,稍后用 task 取)
"$PY" scripts/msgen.py video "..." -o out.mp4 --submit-only

# 任务断了别重跑(会再扣一次额度),接着取
"$PY" scripts/msgen.py task <task_id> --type image -o out.png

提交后如果进程被杀,优先用 task 续取,不要重新提交。任务记录在完成前后会过期,过期就只剩重跑一条路。

接口契约

动作请求
文生视频POST /v1/videos/generations {"model","prompt","size":"768x1280","duration":5,"steps":20}
文生图POST /v1/images/generations {"model","prompt","size":"1024x1024"}
图生视频/图生图同上,加 "media":[{"type":"image","url":"https://..."}]
轮询GET /v1/tasks/{task_id},必须带 X-ModelScope-Task-Type: video_generation 或 image_generation
下载结果 URL 是 OSS 地址,按正常 DNS 直连即可

响应里 task_status 只有 PENDING / RUNNING / SUCCEED / FAILED。结果 URL 的位置不统一:

  • 视频:{"outputs": {"url": "..."}}
  • 图片:{"output_images": ["https://.../x.png"]} —— 在顶层,不在 outputs 里

msgen.py 里的 extract_url() 两种都覆盖了,自己写脚本时别只读 outputs。

实测记录(2026-11-21)

项结果
文生视频 MiniMax/MiniMax-H3、768x1280、duration 5、steps 20成功:768×1280、24fps、5.17s、h264 + aac 静音轨、28 MB
文生图 Qwen/Qwen-Image、1024x1024成功:PNG 459 KB,排队约 5 分钟
/v1/models只返回 38 个文本模型;视频/图片模型不在这个列表里,但仍可直接调用
/v1/chat/completions(同一 token)多数模型 401 ling_auth_not_exist,与出图出片无关
额度2026-11-21 13:17 起所有生成接口返回 429 insufficient balance,当天额度用完。这是唯一的限制:额度恢复后直接重跑,无需改代码

额度是账号级的「魔法方块」,视频和图片共用;具体单价魔搭没有对外文档,别在交付里编数字。

排错表

现象原因 / 处理
连接超时、WinError 10060域名被污染。脚本会自动回退到直连 IP + Host 头;仍不通就 MODELSCOPE_IP=<可用IP>,IP 用 nslookup api-inference.modelscope.cn 223.5.5.5 查
401 ling_auth_not_exist该文本模型未对账号授权;换模型或忽略,不影响图/视频接口
429 insufficient balance额度用完。去 modelscope.cn 领/充,或改用即梦(5 积分/段、每日 40 积分)
400 image_url is required for model: ...编辑类模型(Qwen/Qwen-Image-Edit 等)必须带参考图
500 image generation task not found任务记录已过期。SUCCEED 后要立刻下载,过期无法补取
中文输出乱码Windows 控制台 GBK。设 PYTHONIOENCODING=utf-8,或直接用本技能脚本(已内置 reconfigure)
提交返回 task_status: SUCCEED 但没有 URL提交阶段的 SUCCEED 是占位,继续轮询到 extract_url() 拿到 URL 为止
concat 报「Impossible to open .../out/out/shots/...」concat 清单里必须是绝对路径,demuxer 按 list 文件所在目录解析相对路径(脚本已用 abspath)
找不到 ffmpeg脚本按 --ffmpeg → FFMPEG → PATH → tools/bin/ffmpeg.exe 找;本机在 tools/bin

出片之后的加工

竖屏 720×1280 交付时,魔搭直出是 768×1280,用 ffmpeg 统一:

ffmpeg -i in.mp4 -vf "scale=720:1280" -c:v libx264 -crf 20 -pix_fmt yuv420p out.mp4

拼接、补帧、字幕、音轨同 ffmpeg;要进剪映就用 ~/.dsh/jianying 的 pyJianYingDraft。

发布与更新

本技能已上架魔搭技能广场:https://www.modelscope.cn/skills/wushngeyu/script-to-video

(旧地址 wushngeyu/modelscope-aigc 是改名前的同一份内容,已归档不再更新。)

改完内容要同步线上,走两步 openapi:

  1. POST https://www.modelscope.cn/openapi/v1/files/upload,multipart 带 file=<zip> 与 type=skill,取回 data.id
  2. PATCH https://openapi/v1/skills/{owner}/{name}/settings,JSON 里 skill_file 填上一步的 id;首次发布用 POST /openapi/v1/skills

zip 根目录必须恰好有一个 SKILL.md,且打包时排除 .env 和隐藏文件(token 不能进包)。skill_name 和 owner 创建后不可改,显示名/描述/标签/分类可改。

排错:本机 MSYS 的 curl 走 Windows schannel,访问 modelscope 会失败(SEC_E_NO_CREDENTIALS),改用 python + urllib 并跳过证书校验。

边界

  • 不把 token 写进技能文件、提示词或对话;只从环境变量/本地文件读。
  • 不承诺免费额度、不编单价和成功率;额度以接口实际返回为准。
  • 生成失败如实报错,不把没下载到本地的 URL 说成「已出片」。
  • 本技能做「剧本 → 机械成片」:拆镜头、出图、出片、合成、续跑。选题、卖点、爆款情绪机制、人物资产总板不归这里,走 djs-movie。
  • 不自动给台词配音、不自动上字幕;需要时说清楚,用 ffmpeg 或剪映补。

관련 스킬