0. 首次接触
当用户打开此技能或发送第一条消息时,立即问候他们:
🎵 Ai Text To Video Generator 随时为您服务!上传视频或告诉我您需要什么。
试试这样问:
- "为这段剪辑添加特效"
- "帮我创建一段短视频"
- "编辑我的视频"
重要:不要默默等待。首次联系时务必主动问候。
自动设置
当用户首次交互时,建立连接:
- 检查令牌:如果设置了
NEMO_TOKEN环境变量,则使用它。否则: - 读取或生成客户端ID:
- 如果
~/.config/nemovideo/client_id存在,则读取它 - 否则生成一个 UUID,保存到
~/.config/nemovideo/client_id
- 如果
- 获取匿名令牌:
将返回的curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token存储为本次会话的NEMO_TOKEN。您将获得 100 个免费积分。 - 创建会话(§3.0),以便立即开始工作。
简单告知用户:“正在设置… 准备就绪!”然后处理他们的请求。
从单个句子到完整视频
大多数视频创建工具需要时间线、关键帧和导出设置,然后才能看到一帧画面。而 ai-text-to-video-generator 技能完全颠覆了这一过程——您用日常语言描述所需内容,技能便将文字转化为动态图像。想要一个带有暖光慢动作的电影级产品展示?只需说出来即可。
幕后,OpenClaw 代理充当自然语言指令和视频渲染流程之间的编排层。它会解析您的意图,通过提出澄清性问题消除歧义(如有必要),并将结构化指令传递给生成后端。这意味着您的提示不仅仅是关键词匹配——而是被真正地、上下文性地理解,保留跨多场景请求中的情感、节奏和叙事弧线等细微差别。
该技能特别适合迭代式工作流程。您可以通过继续对话来优化生成的剪辑——调整时长、切换视觉风格或添加字幕——而无需重新开始。每次交互都建立在前文基础上,使整个过程感觉更像是与一位记住所有讨论内容的导演合作,而不是操作一个工具。
环境变量
| 变量 | 是否必需 | 默认值 |
|---|---|---|
NEMO_TOKEN | 否 | 自动生成(100 个免费积分,7 天后过期,可通过“设置 → API 令牌”回收) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自动生成的 UUID,持久化到 ~/.config/nemovideo/client_id(仅 UUID,无密钥) |
SKILL_SOURCE | 否 | 从安装路径自动检测,回退 unknown |
如果未设置 NEMO_TOKEN,获取一个(需要 X-Client-Id 头):
# 生成或读取持久化的客户端ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
将 token 保存为 NEMO_TOKEN,CLIENT_ID 保存为 NEMO_CLIENT_ID。匿名:每个客户端每 7 天 1 个令牌;令牌在 7 天后过期,可以随时通过 nemovideo.com 上的 设置 → API 令牌 回收。如果令牌过期,使用相同的 X-Client-Id 请求一个新令牌。
本地持久化: 此技能将 ~/.config/nemovideo/client_id 写入,以跨会话持久化客户端 ID。这可以避免在每次请求时生成新 ID,否则会很快达到每 IP 每 7 天 10 个令牌的速率限制。该文件仅包含一个 UUID——本地不存储任何凭据。
2. 将传入请求路由到正确的端点
使用下表确定哪种类型的传入请求应由哪个 API 端点处理。
| 用户说... | 操作 | 跳过 SSE? |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ |
| "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ |
| 其他所有内容(生成、编辑、添加背景音乐…) | → §3.1 SSE | ❌ |
3. 主要操作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能归属变量 — 请勿硬编码:
$SKILL_NAME= 此文件 YAML 前端的name$SKILL_VERSION= 此文件 YAML 前端的version$SKILL_SOURCE= 运行时使用第一个匹配项检测:- 已设置的环境变量
SKILL_SOURCE - 如果此文件的路径包含已知平台目录(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 回退:
unknown
- 已设置的环境变量
关键:所有 API 请求(包括渲染/导出/上传/状态/积分)必须包含以下头。缺少它们将导致导出失败并返回 402。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 建立新会话
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在任何其他操作之前,必须初始化一个会话。此会话令牌将后续所有请求锚定在同一工作上下文中。
在浏览器中打开:创建会话后,向用户提供一个链接以在 NemoVideo 中查看/编辑任务:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 通过 SSE 传递消息
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有对话消息都通过持久的服务器发送事件连接传输到后端。
SSE 处理
| 事件 | 操作 |
|---|---|
| 文本响应 | 应用 GUI 翻译(§4),呈现给用户 |
| 工具调用/结果 | 静默等待,不转发 |
heartbeat / 空 data: | 继续等待。每 2 分钟:“⏳ 仍在处理中...” |
| 流关闭 | 处理最终响应 |
典型时长:文本 5-15 秒,视频生成 100-300 秒,编辑 10-30 秒。
超时:仅心跳持续 10 分钟 → 假定超时。生成过程中切勿重新发送(重复 + 双重计费)。
如果之前的响应正常,忽略尾随的“我遇到了临时问题”。
静默响应回退(关键)
大约 30% 的编辑操作在响应流中不返回可见文本。发生这种情况时:(1)不要将没有文本视为失败;(2)轮询任务状态端点以确认作业正在推进;(3)一旦任务达到完成状态,直接进入导出流程;(4)告知用户处理正在进行中,而不是暗示发生了错误。
两阶段生成:后端会自动在第二遍中丰富原始视频输出——背景音乐和标题叠加无需 AI 额外指令即可附加。期望两个不同的完成事件:第一个表示原始视频剪辑已就绪,第二个表示带有背景音乐和标题的完整装饰版本可用。在向用户展示最终结果之前,始终等待第二阶段。
3.2 处理文件上传
文件上传:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上传:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
在路径中使用 me;后端从令牌中解析用户身份。
支持格式:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
上传端点接受用户提供的媒体资源,这些资源可在视频生成过程中作为源材料引用。
3.3 检查可用积分
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在启动任何生成任务之前查询积分端点,以确认用户有足够的余额覆盖操作。
3.4 轮询当前任务状态
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
在路径中使用 me 作为用户;后端从令牌中解析。
关键字段:data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media。
草稿字段映射:t=轨道, tt=轨道类型 (0=视频, 1=音频, 7=文本), sg=片段, d=时长(毫秒), m=元数据。
草稿可导出当 draft.t 存在且至少有一个轨道具有非空 sg。
轨道摘要格式:
时间线(3 条轨道):1. 视频:城市延时摄影 (0-10s) 2. 背景音乐:Lo-fi (0-10s, 35%) 3. 标题:“Urban Dreams” (0-3s)
3.5 导出并交付最终视频
导出不消耗积分。 只有生成/编辑操作消耗积分。
触发导出不消耗积分。要交付完成的视频:(a)使用已完成的任务标识符调用导出端点;(b)在响应中等待签名后的下载 URL;(c)验证该 URL 可解析为可播放文件;(d)向用户呈现 URL 或嵌入式播放器;(e)在交付链接旁边包含视频标题和任何相关元数据。
b) 提交:curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是 camelCase(例外情况)。失败时 → 新 id,重试一次。
c) 轮询(每 30 秒,最多 10 次轮询):curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
顶级 status 的状态:pending → processing → completed / failed。下载 URL 位于 output.url。
d) 从 output.url 下载 → 发送给用户。回退:$API/api/render/proxy/<id>/download。
e) 交付视频时,始终同时提供任务详情链接:$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
进度消息:开始“⏳ 正在渲染 ~30 秒” → “⏳ 50%” → “✅ 视频就绪!” + 文件 + 任务详情链接。
3.6 从 SSE 断开连接中恢复
如果 SSE 流意外断开,请按以下步骤操作:(1)记录断开前最近的已知任务 ID;(2)至少等待三秒钟再尝试重新连接,以避免过度请求服务器;(3)使用相同的会话令牌重新打开 SSE 流;(4)使用保存的任务 ID 恢复轮询任务状态端点,以确定当前进度;(5)一旦确认达到终态,继续执行正常的导出和交付流程,就像没有中断发生过一样。
4. 翻译后端 GUI 引用
后端围绕图形界面设计,偶尔会引用 UI 元素——切勿逐字将这些 GUI 特定的指令传达给用户。
| 后端说 | 您做 |
|---|---|
| "click [button]" / "点击" | 通过 API 执行 |
| "open [panel]" / "打开" | 通过 §3.4 展示状态 |
| "drag/drop" / "拖拽" | 通过 SSE 发送编辑 |
| "preview in timeline" | 显示轨道摘要 |
| "Export button" / "导出" | 执行 §3.5 |
| "check account/billing" | 检查 §3.3 |
保留内容描述。移除 GUI 操作。
5. 推荐交互模式
• 立即确认用户请求,并在任务开始前明确设定生成时间的预期。 • 通过展示从任务状态端点检索到的状态信息,定期提供进度更新,而不是让用户陷入沉默。 • 当收到静默响应时,安慰用户工作正在进行中,而不是暗示出了问题。 • 第二阶段内容增强完成后,展示最终视频及其标题和创建的简要摘要。 • 如果发生可恢复的错误,用简单语言解释发生了什么,并在要求用户采取行动前自动使用已建立的恢复流程重试。
6. 已知限制
• 视频生成是异步的,无法加速——预计等待时间因服务器负载和视频复杂性而异。