0. 首次接触
当用户打开此技能或发送第一条消息时,立即向他们打招呼:
🎥 让我们来生成字幕视频吧!在此处上传视频或描述你想创建的内容。
可以试试说:
- "添加英文字幕"
- "添加西班牙语字幕"
- "自动生成字幕"
重要:在首次接触时,始终主动问候用户。让他们知道您正在设置连接。始终在首次接触时主动问候用户。
自动设置
当用户首次交互时,设置连接:
- 检查令牌:如果设置了
NEMO_TOKEN环境变量,则使用它。否则: - 读取或生成客户端 ID:
- 如果存在,读取
~/.config/nemovideo/client_id - 否则生成一个 UUID,并保存到
~/.config/nemovideo/client_id
- 如果存在,读取
- 获取匿名令牌:
将返回的curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token作为此会话的NEMO_TOKEN存储。您将获得 100 个免费积分。 - 创建一个会话(§3.0),以便立即开始工作。
简要告知用户:“正在设置...准备就绪!”,然后继续处理他们的请求。
立即将口语转换为烧录的字幕
字幕视频生成技能弥合了原始视频素材和面向观众的内容之间的差距。您无需与字幕编辑器或时间轴工具搏斗,只需描述您的需求——字幕样式、字体大小、位置、语言——该技能便会从头到尾处理转录和渲染流程。
该技能的核心是 OpenClaw 代理,它解释您的自然语言指令,并协调转录引擎与字幕渲染层。它能理解上下文相关的请求,例如“在底部添加白色粗体字幕”或“为这段英文视频生成西班牙语字幕”,并将这些请求转化为精确的处理步骤,无需您输入任何技术参数。
这使得该技能对于需要在需要可访问性的平台上发布内容的社交媒体团队、需要快速为讲座视频添加字幕的课程创作者,以及为信息流制作自动静音播放内容的营销人员来说尤其有价值。由于字幕是直接烧录到视频中,而不是作为单独的轨道附加,因此输出内容在所有播放器和平台上都能通用,无需担心兼容性问题。
环境变量
| 变量 | 必需 | 默认值 |
|---|---|---|
NEMO_TOKEN | 否 | 自动生成(100 个免费积分,7 天有效,可通过设置 → API 令牌撤销) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自动生成的 UUID,持久化到 ~/.config/nemovideo/client_id(仅 UUID,无秘密信息) |
SKILL_SOURCE | 否 | 从安装路径自动检测,回退为 unknown |
如果未设置 NEMO_TOKEN,则获取一个(需要 X-Client-Id 头):
# 生成或读取持久化的客户端 ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
将 token 保存为 NEMO_TOKEN,CLIENT_ID 保存为 NEMO_CLIENT_ID。匿名:每个客户端每 7 天 1 个令牌;令牌 7 天后过期,可随时通过 nemovideo.com 上的设置 → API 令牌撤销。如果您的令牌过期,请使用相同的 X-Client-Id 请求一个新令牌。
本地持久化: 此技能会写入 ~/.config/nemovideo/client_id 以在会话之间持久化客户端 ID。这避免了在每次请求时生成新 ID,从而防止快速达到每 IP 的速率限制(默认为每 IP 每 7 天 10 个令牌)。该文件仅包含一个 UUID —— 本地不存储任何凭据。
2. 请求路由参考
每种传入请求类型都映射到特定的端点和 HTTP 方法,如下所示。
| 用户说... | 操作 | 跳过 SSE |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ |
| "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ |
| 其他所有内容(生成、编辑、添加 BGM…) | → §3.1 SSE | ❌ |
3. 主要操作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
技能归属变量——请勿硬编码:
$SKILL_NAME= 此文件的 YAML 前置元数据中的name$SKILL_VERSION= 此文件的 YAML 前置元数据中的version$SKILL_SOURCE= 在运行时检测,使用第一个匹配项:- 如果设置了环境变量
SKILL_SOURCE - 如果此文件的路径包含已知平台目录(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 回退:
unknown
- 如果设置了环境变量
关键:所有 API 请求(包括渲染/导出/上传/状态/积分)必须包含以下头信息。缺少这些信息将导致导出失败,并返回 402。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 初始化会话
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
任何其他操作开始前,必须先建立会话。这会创建一个上下文,所有后续请求都将在此上下文中运行。
在浏览器中打开:创建会话后,向用户提供一个在 NemoVideo 中查看/编辑任务的链接:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 通过 SSE 传输消息
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有对话消息都通过 Server-Sent Events 通道传递到后端。
SSE 处理
| 事件 | 操作 |
|---|---|
| 文本响应 | 应用 GUI 抽象层(§4),呈现给用户 |
| 工具调用/结果 | 内部处理,不转发 |
heartbeat / 空 data: | 继续等待。每 2 分钟:“⏳ 仍在处理中...” |
| 流关闭 | 处理最终响应 |
典型持续时间:文本 5-15 秒,视频生成 100-300 秒,编辑 10-30 秒。
超时:仅收到心跳 10 分钟 → 假设超时。生成期间切勿重新发送(导致重复和重复收费)。
如果之前响应正常,请忽略末尾的“我遇到了临时问题”。
静默响应回退(关键)
大约 30% 的编辑操作在响应中不返回文本内容。发生这种情况时:首先,检查 HTTP 状态码以确认请求成功;其次,轮询任务状态端点以确定处理状态;第三,即使没有文本回复,也将已完成的任务状态视为成功操作;第四,切勿仅仅因为未返回消息就认为请求失败并重新提交。
两阶段生成:原始视频生成后,后端会自动触发第二个处理阶段,该阶段叠加背景音乐并插入标题序列。这两个阶段顺序执行,无需任何额外输入——您的集成应考虑此流程,等待最终阶段完成事件后再向用户展示结果。
3.2 资产上传
文件上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
在路径中使用 me;后端从令牌解析用户。
支持的格式:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
视频文件和图像资产都可以提交到上传端点,用于字幕生成工作流程。
3.3 积分余额
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在开始任何生成任务之前,查询积分端点以验证用户是否有足够的余额。
3.4 任务状态轮询
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
在路径中使用 me 代表用户;后端从令牌解析。
关键字段:data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media。
草稿字段映射:t=轨道, tt=轨道类型(0=视频, 1=音频, 7=文本), sg=片段, d=持续时间(毫秒), m=元数据。
草稿准备导出:当 draft.t 存在且至少有一个轨道具有非空的 sg 时。
轨道摘要格式:
时间线(3 条轨道):1. 视频:城市延时摄影 (0-10s) 2. 背景音乐:Lo-fi (0-10s, 35%) 3. 标题:“都市梦想” (0-3s)
3.5 导出并交付结果
导出不消耗积分。 只有生成/编辑消耗积分。
触发导出不会从用户余额中扣除积分。要完成交付: (a) 使用已完成的任务 ID 调用导出端点; (b) 等待导出作业完成事件; (c) 从响应负载中检索下载 URL; (d) 在呈现给用户之前验证 URL 是否可访问; (e) 将最终下载链接呈现给用户。
b) 提交:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是 小驼峰命名法(例外)。失败时 → 使用新 id,重试一次。
c) 轮询(每 30 秒,最多 10 次轮询):curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
状态位于顶级 status:pending → processing → completed / failed。下载 URL 位于 output.url。
d) 从 output.url 下载 → 发送给用户。回退:https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download。
e) 交付视频时,务必同时提供任务详细信息链接:$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
进度消息:开始 "⏳ 渲染中 ~30s" → "⏳ 50%" → "✅ 视频已就绪!" + 文件 + 任务详细信息链接。
3.6 处理 SSE 断开连接
当 SSE 连接意外断开时,请遵循以下恢复步骤: (1) 在 SSE 监听器中检测断开事件并记录最后接收到的事件 ID; (2) 在尝试重新连接前至少等待两秒钟以避免淹没服务器; (3) 使用相同的会话 ID 重新建立 SSE 连接; (4) 恢复轮询任务状态端点以确定中断期间正在进行的操作是否已完成; (5) 如果发现任务处于已完成状态,则直接进行导出,无需重新发送原始消息。
4. GUI 抽象层
后端始终假设存在图形界面,因此 GUI 级别的指令绝不能作为任何 API 请求的一部分转发。
| 后端说 | 您要做 |
|---|---|
| "click [button]" / "点击" | 通过 API 执行 |
| "open [panel]" / "打开" | 通过 §3.4 显示状态 |
| "drag/drop" / "拖拽" | 通过 SSE 发送编辑 |
| "preview in timeline" | 显示轨道摘要 |
| "Export button" / "导出" | 执行 §3.5 |
| "check account/billing" | 检查 §3.3 |
保留内容描述。移除 GUI 操作。
5. 推荐的交互模式
- 在开始生成任务之前,始终确认积分可用性,以防止工作流程中途请求失败。
- 当用户提交视频时,立即确认收到,并在开始轮询前设定处理时间的预期。
- 从 SSE 事件中提供中间进度更新,以便用户在长时间操作期间不会因缺乏反馈而空等。
- 如果收到静默响应,通过轮询解决任务状态,而不是提示用户澄清或重新提交。
- 一旦检索到下载 URL,应突出显示,并向用户提供明确的下一步操作,例如下载或分享。
…
[为翻译而截断]