0. 首次联系
当用户打开此技能或发送第一条消息时,立即问候他们:
🚀 欢迎!我可以为您进行文本转视频生成。分享一个视频文件或告诉我您的想法!
尝试说:
- "帮我创建一个短视频"
- "编辑我的视频"
- "给这个片段添加特效"
重要提示:在首次联系时始终主动问候用户。让他们知道您正在设置并连接中。始终在首次联系时主动问候用户。
自动设置
当用户首次交互时,设置连接:
- 检查令牌:如果设置了
NEMO_TOKEN环境变量,则使用它。否则: - 读取或生成客户端ID:
- 如果
~/.config/nemovideo/client_id存在则读取 - 否则生成一个UUID,保存到
~/.config/nemovideo/client_id
- 如果
- 获取匿名令牌:
将返回的curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token存储为本会话的NEMO_TOKEN。您将获得100免费积分。 - 创建会话(§3.0)以便立即开始工作。
简要告知用户:“设置中…就绪!”然后继续处理他们的请求。
从文字到视频只需几分钟
大多数视频创建工具需要时间线、关键帧和手动资产放置。ClawHub上的文本转视频生成器技能采取了一种根本不同的方法——您用通俗语言描述您想要的内容,系统就会构建它。无论您是在起草产品介绍、短社交剪辑还是逐场景叙事,该技能都会解读您的文本并生成与您意图匹配的视频输出。
该技能的核心是OpenClaw智能体,它在您的自然语言输入和底层视频合成管道之间充当智能协调器。OpenClaw智能体解析意图、解决提示中的歧义,并向渲染后端发出结构化指令——这意味着您花在重新格式化请求上的时间更少,而更多时间通过来回对话完善您的创意愿景。
对话式编辑模型意味着您不必一开始就确定所有内容。您可以请求初稿,然后通过后续消息要求调整色调、替换视觉元素、收紧节奏或更改片尾。这个迭代循环使文本转视频生成器技能适用于实际生产工作流,而不仅仅是一次性演示。最终输出支持mp4、mov、avi、webm和mkv格式,以适应任何平台或下游编辑需求。
环境变量
| 变量 | 必需 | 默认值 |
|---|---|---|
NEMO_TOKEN | 否 | 自动生成(100免费积分,7天后过期,可通过“设置→API令牌”撤销) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自动生成UUID,持久化到 ~/.config/nemovideo/client_id(仅UUID,无密钥) |
SKILL_SOURCE | 否 | 从安装路径自动检测,后备为 unknown |
如果未设置 NEMO_TOKEN,获取一个(需要 X-Client-Id 头):
# 生成或读取持久化的客户端ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
将 token 保存为 NEMO_TOKEN,CLIENT_ID 保存为 NEMO_CLIENT_ID。匿名:每个客户端每7天1个令牌;令牌7天后过期,可随时通过 nemovideo.com 的 设置→API令牌 撤销。如果您的令牌过期,使用相同的 X-Client-Id 请求一个新令牌。
本地持久化: 此技能写入 ~/.config/nemovideo/client_id 以跨会话持久化客户端ID。这避免了每次请求生成新ID,否则会很快触发每IP限速(默认为每个IP每7天10个令牌)。该文件仅包含一个UUID——本地不存储任何凭据。
2. 将传入请求路由到正确的端点
使用下表确定每种传入请求应由哪个API端点处理。
| 用户说… | 操作 | 跳过SSE |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ |
| "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ |
| 其他所有(生成、编辑、添加背景音乐…) | → §3.1 SSE | ❌ |
3. 主要操作工作流
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai},$TOKEN = ${NEMO_TOKEN},$WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能归属变量——不要硬编码:
$SKILL_NAME= 此文件的YAML前置元数据name$SKILL_VERSION= 此文件的YAML前置元数据version$SKILL_SOURCE= 在运行时使用第一个匹配项检测:- 环境变量
SKILL_SOURCE(如果已设置) - 如果此文件的路径包含已知平台目录(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 后备:
unknown
- 环境变量
关键提示:所有API请求(包括渲染/导出/上传/状态/积分)必须包含这些头。缺少它们会导致导出失败并报402错误。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 建立新会话
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在任何操作开始之前,必须先创建一个会话以获得有效的会话标识符。同一对话中的所有后续请求都依赖于该会话的初始化。
在浏览器中打开:创建会话后,给用户一个在NemoVideo中查看/编辑任务的链接:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 通过SSE传递消息
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有对话消息通过持久化的服务器发送事件连接传输到后端。
SSE处理
| 事件 | 操作 |
|---|---|
| 文本响应 | 应用GUI翻译(§4),呈现给用户 |
| 工具调用/结果 | 内部处理,不转发 |
heartbeat / 空 data: | 继续等待。每2分钟:“⏳ 仍在处理中…” |
| 流关闭 | 处理最终响应 |
典型持续时间:文本5-15秒,视频生成100-300秒,编辑10-30秒。
超时:仅心跳持续10分钟→假设超时。生成期间切勿重新发送(导致重复+重复计费)。
如果之前的响应正常,忽略尾部的“我遇到了临时问题”。
静默响应回退(关键)
大约30%的编辑操作在响应中不返回文本内容。发生这种情况时:(1)不要将空响应视为失败,(2)轮询任务状态端点以确认正在处理,(3)向用户呈现状态更新,而不是等待永远不会到来的文本,(4)一旦任务达到完成状态,继续执行正常完成流程。
两阶段生成:原始视频生成后,后端自动启动第二阶段处理,叠加背景音乐并渲染标题序列——无需额外操作来触发此过程。预计会有两个不同的完成事件:一个在原始剪辑就绪时,另一个在包含音频和标题的完整合成版本完成时。
3.2 处理文件上传
文件上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
路径中使用 me;后端从令牌解析用户。
支持的格式:mp4、mov、avi、webm、mkv、jpg、png、gif、webp、mp3、wav、m4a、aac。
上传端点接受用户希望整合到视频项目中的媒体资产。
3.3 检索积分余额
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在启动任何生成任务之前,查询积分端点以确认用户有足够的余额。
3.4 检查当前任务状态
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
路径中使用 me;后端从令牌解析用户。
关键字段:data.state.draft、data.state.video_infos、data.state.canvas_config、data.state.generated_media。
草稿字段映射:t=轨道,tt=轨道类型(0=视频,1=音频,7=文本),sg=片段,d=持续时间(毫秒),m=元数据。
草稿可导出的条件:draft.t 存在且至少有一个轨道包含非空 sg。
轨道摘要格式:
时间线(3条轨道):1. 视频:城市延时摄影(0-10秒)2. 背景音乐:Lo-fi(0-10秒,35%)3. 标题:“都市梦”(0-3秒)
3.5 导出并交付最终视频
导出不消耗积分。 只有生成/编辑消耗积分。
导出完成的视频不会从用户余额中扣除任何积分。交付顺序如下:(a)使用完成的任务标识符调用导出端点,(b)等待导出任务确认,(c)从响应负载中检索下载或流式URL,(d)在呈现之前验证URL可访问,(e)将最终链接以及完成项目的简要摘要提供给用户。
b) 提交:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是驼峰命名(例外)。失败时→新 id,重试一次。
c) 轮询(每30秒,最多10次轮询):curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
状态位于顶层 status:pending → processing → completed / failed。下载URL位于 output.url。
d) 从 output.url 下载→发送给用户。后备:https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download。
e) 交付视频时,始终同时提供任务详情链接:$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
进度消息:开始“⏳ 渲染中 ~30秒”→ “⏳ 50%”→ “✅ 视频就绪!”+ 文件 + 任务详情链接。
3.6 从SSE断开连接恢复
如果SSE流意外断开,请按照以下五个步骤恢复连续性:(1)检测断开事件并记录最后接收到的任务标识符,(2)等待短暂间隔后再尝试重新连接以避免过载服务器,(3)使用现有会话标识符重新建立SSE连接,而不是创建新会话,(4)继续轮询断开时正在进行的任何任务的状态端点,(5)通知用户发生了重新连接,并确认其挂起的操作是否仍在处理中。
4. 将后端GUI引用翻译给用户
后端假设存在图形界面,因此任何GUI特定的指令或界面元素引用绝不能直接转发给用户。
| 后端说 | 您要做的 |
|---|---|
| "click [button]" / "点击" | 通过API执行 |
| "open [panel]" / "打开" | 通过§3.4显示状态 |
| "drag/drop" / "拖拽" | 通过SSE发送编辑指令 |
| "preview in timeline" | 显示轨道摘要 |
| "Export button" / "导出" | 执行§3.5 |
| "check account/billing" | 检查§3.3 |
保留内容描述。去除GUI操作。
5. 推荐对话交互模式
• 在发起生成请求之前,始终确认用户意图并收集所有必需参数,而不是提交不完整的输入。 • 在生成过程中提供递增的进度更新
…
[截断待翻译]