script-to-video 是做什麼的?
一句话
用 Access Token 打 api-inference.modelscope.cn:提交任务 → 轮询 → 取 URL → 下载。
连通策略是自适应的:先用正常 DNS 打域名,连不上再回退到直连 IP 39.99.133.195 + Host 头(国内不少网络该域名被污染)。要强制走某个 IP,设 MODELSCOPE_IP 即可,不用改代码。
换生成平台
drama.py 不直接连任何平台——它只调 msgen 的三个函数:submit(kind, model, prompt, **kw) → poll(task_id, kind) → download(url, path)。所以换后端 = 换掉这三个函数的实现,剧本、分镜、合成、续跑逻辑一行都不用动。
| 后端 | 怎么做 |
|---|---|
| 魔搭(默认) | 自带 scripts/msgen.py,装好 token 即可 |
| 即梦 | 走 jimeng-drama 技能(画布/节点那套);要接进本管线,把它的提交/查询/下载包成同样三个函数 |
| 其它平台 | 只要该平台有「提交任务 → 查询状态 → 结果 URL」三段式接口,都能照 msgen.py 抄一个 submit/poll/download |
前后端解耦后,shots.json 就是通用中间产物:换个平台重跑,镜头和提示词不用重写。
装到别的 AI 上
格式是通用的 Agent Skill:一个目录,根目录 SKILL.md(YAML frontmatter 的 name + description),其余是脚本和参考文件。Claude Code、模型/Agent 平台、以及支持 Agent Skills 的工具都能直接装(魔搭技能广场、npx skills add、直接拷目录都行)。
换机器只要满足三件事:
| 依赖 | 说明 |
|---|---|
| Python 3.8+ | 只用标准库,不用 pip 装任何东西 |
| ModelScope Access Token | 环境变量 MODELSCOPE_TOKEN,或写在 ~/.modelscope/token.txt / 技能目录 .env / 当前目录 modelscope_token.txt(脚本按顺序找) |
ffmpeg(只有 concat 需要) | --ffmpeg、FFMPEG 环境变量、PATH、tools/bin/ 任一能找到即可 |
跨平台细节:脚本对 Windows 控制台强制 UTF-8(Linux/macOS 无影响);路径一律 os.path.join + abspath;不要写 /tmp(Windows 的 MSYS 下不可写)。文档里的 $PY 只是本机示例,换成你自己的 python3 即可。
额度:唯一的门槛
这个技能本身不限制生成数量:镜头多少、分辨率、时长、跑几轮,都由你定,代码里没有任何配额逻辑。
唯一的外部限制是账号的「魔法方块」余额(账号级,出图和出片共用,单价魔搭未公开)。余额够 → 想生成多少就生成多少,连着跑几十个镜头也没问题;余额见底 → 接口返回 429,脚本立刻停手并说明原因。
所以判断额度通不通,最省的办法是跑一个最小任务:
"$PY" scripts/msgen.py image "test" -o probe.png # 返回 task_id 就是通的(别写 /tmp,MSYS 下不可写)
"$PY" scripts/drama.py run shots.json --outdir out --limit 1 # 或者只跑一个镜头
返回 429 就是没额度(充完直接重跑,不用改任何代码);返回 task_id 就放心放量。
剧本 → 成片(主路径)
用户通常只丢一个剧本,要的是成片。三段式,只有中间那段联网花钱:
PY="C:/Users/31009/.dsh/dsh-runtimes/dsh-primary-runtime/dependencies/python/python.exe"
D="C:/Users/31009/.dsh/skills/script-to-video/scripts/drama.py"
"$PY" "$D" plan 剧本.md -o shots.json # ① 拆镜头
# ② 看过 shots.json 后按剧本修提示词(这一步决定画面对不对)
"$PY" "$D" run shots.json --outdir out # ③ 逐镜:出首帧图 → 图生视频 → 下载
"$PY" "$D" concat out -o final.mp4 # ④ 合成成片
剧本格式(plan 认这个结构,一节一个镜头,标题里的 镜头N 会成为 id):
## 镜头1 | 时长:5s
画面:清晨窗边,一只白瓷咖啡杯冒着热气,木质桌面,柔和侧光
运镜:镜头缓慢推近,浅景深
反向:模糊, 文字, 水印
台词:每天早上,从一杯开始。
画面 + 运镜 会被拼成提示词。中文提示词要具体:主体、光线、机位、景别、风格各写清楚,别写抽象概念。
shots.json 每项字段:id、duration、image_prompt、video_prompt,可选 negative、seed、line、first_frame_url。
每镜两条路,默认走第一条:
| 方式 | 做什么 | 取舍 |
|---|---|---|
| 默认(图生视频) | 先出首帧图,再用这张图做首帧出片 | 角色/场景一致性好,多一次出图时间与额度 |
--no-image | 纯文生视频 | 快、省,但镜头之间容易跳 |
可靠性设计(别绕开):
out/state.json每完成一步就落盘;进程被杀直接重跑同一条命令,已完成镜头自动跳过。- 额度不足(429)立即停止后续镜头并汇总,不会让 20 个镜头挨个失败。
--only 1,3/--limit 2先试一两个镜头,确认风格再放量;--force重跑已完成的。- 台词不会自动烧进画面:字幕用 ffmpeg drawtext 或进剪映加。
前提
| 项 | 位置 |
|---|---|
| 解释器 | 任意 Python 3.8+,只用标准库(本机示例:C:\Users\31009\.dsh\dsh-runtimes\dsh-primary-runtime\dependencies\python\python.exe) |
| Token | https://modelscope.cn/my/settings/tokens 生成,形如 ms-xxxxxxxx-...;本机已放在 ~/.dsh/modelscope_token.txt,也可用环境变量 MODELSCOPE_TOKEN |
| 单个任务 | scripts/msgen.py(单文件,无依赖) |
| 剧本成片 | scripts/drama.py(依赖 msgen.py,同目录) |
| 示例 | examples/example-script.md |
先自检,再花钱调生成:
PY="C:/Users/31009/.dsh/dsh-runtimes/dsh-primary-runtime/dependencies/python/python.exe"
"$PY" scripts/msgen.py check # token 有效性 + 连通性
"$PY" scripts/msgen.py models # 只列文本模型,不代表图/视频模型不可用
用法
# 文生图(默认 Qwen/Qwen-Image,1024x1024)
"$PY" scripts/msgen.py image "a blue ceramic cup on a white table, soft light" -o out.png
# 图生图 / 编辑模型:必须给参考图
"$PY" scripts/msgen.py image "换成木桌背景" -o out.png --model Qwen/Qwen-Image-Edit --image-url https://.../in.png
# 文生视频(默认 MiniMax/MiniMax-H3,768x1280,5 秒)
"$PY" scripts/msgen.py video "a slow push-in on a red apple, soft window light" -o out.mp4
# 图生视频:首帧走 media
"$PY" scripts/msgen.py video "镜头缓慢推近" -o out.mp4 --image-url https://.../first.png
# 可复现 / 排除项
"$PY" scripts/msgen.py image "..." -o out.png --seed 42
"$PY" scripts/msgen.py video "..." -o out.mp4 --negative "模糊, 文字, 水印"
# 只提交不轮询(长任务丢后台,稍后用 task 取)
"$PY" scripts/msgen.py video "..." -o out.mp4 --submit-only
# 任务断了别重跑(会再扣一次额度),接着取
"$PY" scripts/msgen.py task <task_id> --type image -o out.png
提交后如果进程被杀,优先用 task 续取,不要重新提交。任务记录在完成前后会过期,过期就只剩重跑一条路。
接口契约
| 动作 | 请求 |
|---|---|
| 文生视频 | POST /v1/videos/generations {"model","prompt","size":"768x1280","duration":5,"steps":20} |
| 文生图 | POST /v1/images/generations {"model","prompt","size":"1024x1024"} |
| 图生视频/图生图 | 同上,加 "media":[{"type":"image","url":"https://..."}] |
| 轮询 | GET /v1/tasks/{task_id},必须带 X-ModelScope-Task-Type: video_generation 或 image_generation |
| 下载 | 结果 URL 是 OSS 地址,按正常 DNS 直连即可 |
响应里 task_status 只有 PENDING / RUNNING / SUCCEED / FAILED。结果 URL 的位置不统一:
- 视频:
{"outputs": {"url": "..."}} - 图片:
{"output_images": ["https://.../x.png"]}—— 在顶层,不在outputs里
msgen.py 里的 extract_url() 两种都覆盖了,自己写脚本时别只读 outputs。
实测记录(2026-11-21)
| 项 | 结果 |
|---|---|
文生视频 MiniMax/MiniMax-H3、768x1280、duration 5、steps 20 | 成功:768×1280、24fps、5.17s、h264 + aac 静音轨、28 MB |
文生图 Qwen/Qwen-Image、1024x1024 | 成功:PNG 459 KB,排队约 5 分钟 |
/v1/models | 只返回 38 个文本模型;视频/图片模型不在这个列表里,但仍可直接调用 |
/v1/chat/completions(同一 token) | 多数模型 401 ling_auth_not_exist,与出图出片无关 |
| 额度 | 2026-11-21 13:17 起所有生成接口返回 429 insufficient balance,当天额度用完。这是唯一的限制:额度恢复后直接重跑,无需改代码 |
额度是账号级的「魔法方块」,视频和图片共用;具体单价魔搭没有对外文档,别在交付里编数字。
排错表
| 现象 | 原因 / 处理 |
|---|---|
连接超时、WinError 10060 | 域名被污染。脚本会自动回退到直连 IP + Host 头;仍不通就 MODELSCOPE_IP=<可用IP>,IP 用 nslookup api-inference.modelscope.cn 223.5.5.5 查 |
401 ling_auth_not_exist | 该文本模型未对账号授权;换模型或忽略,不影响图/视频接口 |
429 insufficient balance | 额度用完。去 modelscope.cn 领/充,或改用即梦(5 积分/段、每日 40 积分) |
400 image_url is required for model: ... | 编辑类模型(Qwen/Qwen-Image-Edit 等)必须带参考图 |
500 image generation task not found | 任务记录已过期。SUCCEED 后要立刻下载,过期无法补取 |
| 中文输出乱码 | Windows 控制台 GBK。设 PYTHONIOENCODING=utf-8,或直接用本技能脚本(已内置 reconfigure) |
提交返回 task_status: SUCCEED 但没有 URL | 提交阶段的 SUCCEED 是占位,继续轮询到 extract_url() 拿到 URL 为止 |
concat 报「Impossible to open .../out/out/shots/...」 | concat 清单里必须是绝对路径,demuxer 按 list 文件所在目录解析相对路径(脚本已用 abspath) |
找不到 ffmpeg | 脚本按 --ffmpeg → FFMPEG → PATH → tools/bin/ffmpeg.exe 找;本机在 tools/bin |
出片之后的加工
竖屏 720×1280 交付时,魔搭直出是 768×1280,用 ffmpeg 统一:
ffmpeg -i in.mp4 -vf "scale=720:1280" -c:v libx264 -crf 20 -pix_fmt yuv420p out.mp4
拼接、补帧、字幕、音轨同 ffmpeg;要进剪映就用 ~/.dsh/jianying 的 pyJianYingDraft。
发布与更新
本技能已上架魔搭技能广场:https://www.modelscope.cn/skills/wushngeyu/script-to-video
(旧地址 wushngeyu/modelscope-aigc 是改名前的同一份内容,已归档不再更新。)
改完内容要同步线上,走两步 openapi:
POST https://www.modelscope.cn/openapi/v1/files/upload,multipart 带file=<zip>与type=skill,取回data.idPATCH https://openapi/v1/skills/{owner}/{name}/settings,JSON 里skill_file填上一步的 id;首次发布用POST /openapi/v1/skills
zip 根目录必须恰好有一个 SKILL.md,且打包时排除 .env 和隐藏文件(token 不能进包)。skill_name 和 owner 创建后不可改,显示名/描述/标签/分类可改。
排错:本机 MSYS 的 curl 走 Windows schannel,访问 modelscope 会失败(SEC_E_NO_CREDENTIALS),改用 python + urllib 并跳过证书校验。
边界
- 不把 token 写进技能文件、提示词或对话;只从环境变量/本地文件读。
- 不承诺免费额度、不编单价和成功率;额度以接口实际返回为准。
- 生成失败如实报错,不把没下载到本地的 URL 说成「已出片」。
- 本技能做「剧本 → 机械成片」:拆镜头、出图、出片、合成、续跑。选题、卖点、爆款情绪机制、人物资产总板不归这里,走 djs-movie。
- 不自动给台词配音、不自动上字幕;需要时说清楚,用 ffmpeg 或剪映补。