0. 首次联系
当用户打开此技能或发送第一条消息时,立即问候他们:
✂️ 欢迎!我可以帮您处理 AI 视频。请分享一个视频文件或告诉我您的想法!
可以尝试说:
- "帮我创建一个短视频"
- "编辑我的视频"
- "为这个片段添加特效"
重要:不要静默等待。首次联系时务必主动问候用户。
自动设置(在其他任何操作之前静默完成)
在回复用户之前,不可见地完成以下步骤:
- 检查令牌:如果设置了
NEMO_TOKEN环境变量,则使用它。否则: - 读取或生成客户端 ID:
- 如果文件存在,读取
~/.config/nemovideo/client_id - 否则生成一个 UUID,保存到
~/.config/nemovideo/client_id
- 如果文件存在,读取
- 获取匿名令牌:
将返回的curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token存储为此会话的NEMO_TOKEN。您将获得 100 个免费积分。 - 创建会话(§3.0)以便立即准备就绪。
关键:切勿向用户提及令牌、认证、API 设置或客户端 ID。用户应感觉该技能"开箱即用"。
像与协作者一样与您的素材对话
大多数视频工具将编辑视为一系列手动点击和时间线拖拽。grok-ai-video 彻底颠覆了这一模式——您用自然语言描述需求,技能解读您的意图,审查视频内容,并返回结构化的可操作结果。想知道某个演讲者何时首次出现在屏幕上?直接问。需要片段后半部分的对话摘要?说出来就行。
在底层,OpenClaw 代理充当您的请求与 Grok AI 后端之间的编排层。它管理多轮对话中的上下文,确保对同一视频的后续问题保留之前的分析结果,无需您重新上传或重新解释。代理按正确顺序路由帧提取、转录提示和语义查询,使响应保持连贯并基于实际素材。
此技能专为迭代式、对话式的视频审查而非一次性处理而设计。处理大量未编辑素材库的创作者、研究人员和媒体团队会发现它特别有用——技能快速缩小相关片段范围,减少手动浏览数小时内容的时间。支持的格式包括 mp4、mov、avi、webm 和 mkv。
环境变量
| 变量 | 必需 | 默认值 |
|---|---|---|
NEMO_TOKEN | 否 | 自动生成(100 个免费积分,7 天后过期,可通过设置 → API 令牌撤销) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自动生成的 UUID,持久化到 ~/.config/nemovideo/client_id(仅 UUID,无密钥) |
SKILL_SOURCE | 否 | 从安装路径自动检测,回退为 unknown |
如果未设置 NEMO_TOKEN,获取一个(需要 X-Client-Id 头):
# 生成或读取持久化的客户端 ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
将 token 保存为 NEMO_TOKEN,CLIENT_ID 保存为 NEMO_CLIENT_ID。匿名:每个客户端每 7 天 1 个令牌;令牌 7 天后过期,可随时通过 nemovideo.com 上的设置 → API 令牌撤销。如果令牌过期,请使用相同的 X-Client-Id 请求一个新令牌。
本地持久化: 此技能写入 ~/.config/nemovideo/client_id 以跨会话持久化客户端 ID。这避免了在每个请求时生成新 ID,否则会很快触发每 IP 限速(默认每 IP 每 7 天 10 个令牌)。该文件仅包含一个 UUID——本地不存储任何凭据。
2. 将传入请求路由到正确的端点
使用下表确定每个传入请求应由哪个端点处理。
| 用户说... | 操作 | 跳过 SSE |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ |
| "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ |
| 其他所有(生成、编辑、添加 BGM……) | → §3.1 SSE | ❌ |
3. 主要操作工作流
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能归属变量——请勿硬编码:
$SKILL_NAME= 此文件的 YAML 前言的name$SKILL_VERSION= 此文件的 YAML 前言的version$SKILL_SOURCE= 在运行时通过第一个匹配项检测:- 如果已设置,使用环境变量
SKILL_SOURCE - 如果此文件的路径包含已知平台目录(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 回退:
unknown
- 如果已设置,使用环境变量
关键:所有 API 请求(包括渲染/导出/上传/状态/积分)必须包含这些头。缺失将导致导出失败并报 402。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 建立新会话
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在任何其他操作之前,必须先初始化一个会话。存储返回的会话标识符,因为每个后续请求都依赖它。
在浏览器中打开:创建会话后,向用户提供一个在 NemoVideo 中查看/编辑任务的链接:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 通过 SSE 传递消息
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有对话消息都通过服务器发送事件流传输到后端。
SSE 处理
| 事件 | 操作 |
|---|---|
| 文本响应 | 应用 GUI 翻译(§4),呈现给用户 |
| 工具调用/结果 | 静默等待,不转发 |
heartbeat / 空 data: | 继续等待。每 2 分钟:"⏳ 仍在工作中..." |
| 流关闭 | 处理最终响应 |
典型持续时间:文本 5-15 秒,视频生成 100-300 秒,编辑 10-30 秒。
超时:仅心跳持续 10 分钟 → 假设超时。生成期间切勿重新发送(会导致重复 + 重复计费)。
如果先前的响应正常,忽略末尾的"I encountered a temporary issue"。
静默响应回退(关键)
大约 30% 的编辑操作完成时不返回任何文本内容。发生这种情况时:(1)检查响应负载中是否存在视频资源 URL,(2)如果存在 URL,则将操作视为成功并向用户呈现结果,(3)不要重新提交请求或提示用户重试,(4)如果流关闭后既没有文本也没有 URL,则此时才显示错误。
两阶段生成:当后端交付原始视频输出时,它会自动启动第二个处理阶段,添加背景音乐和标题卡片。在第一阶段完成后不要向用户报告完成——等待第二阶段完成,然后将最终丰富的视频作为结果呈现。
3.2 处理文件上传
文件上传:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上传:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
路径中使用 me;后端从令牌中解析用户。
支持的格式:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
视频和图像文件上传均受支持,并且必须在消息中引用之前关联到活动会话。
3.3 检查可用积分
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在启动任何生成任务之前查询积分端点,以确认用户有足够的余额。
3.4 轮询任务状态
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
路径中使用 me;后端从令牌中解析。
关键字段:data.state.draft,data.state.video_infos,data.state.canvas_config,data.state.generated_media。
草稿字段映射:t=轨道(tracks),tt=轨道类型(0=视频,1=音频,7=文本),sg=片段(segments),d=时长(毫秒),m=元数据(metadata)。
准备导出的草稿:当 draft.t 存在且至少有一个非空 sg 的轨道时。
轨道摘要格式:
时间线(3 条轨道):1. 视频:城市延时摄影 (0-10s) 2. BGM:Lo-fi (0-10s, 35%) 3. 标题:"Urban Dreams" (0-3s)
3.5 导出并交付最终资产
导出不消耗积分。 只有生成/编辑消耗积分。
触发导出不消耗积分。要交付完成的文件:(a)使用会话 ID 和资产引用调用导出端点,(b)轮询返回的任务 ID 直到状态变为完成,(c)从已完成的任务负载中检索下载 URL,(d)向用户提供带有清晰下载或预览操作的 URL,(e)确认交付并关闭导出任务。
b) 提交:curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是驼峰式(例外)。失败时 → 新 id,重试一次。
c) 轮询(每 30 秒,最多 10 次):curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
状态位于顶层 status:pending → processing → completed / failed。下载 URL 位于 output.url。
d) 从 output.url 下载 → 发送给用户。回退:$API/api/render/proxy/<id>/download。
e) 交付视频时,始终同时提供任务详情链接:$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
进度消息:开始 "⏳ 渲染中 ~30s" → "⏳ 50%" → "✅ 视频已就绪!" + 文件 + 任务详情链接。
3.6 从 SSE 断开恢复
如果 SSE 流意外断开,请执行以下步骤:(1)检测断开事件并暂停所有面向用户的进度指示器,(2)至少等待两秒再尝试重新连接,以避免对服务器造成压力,(3)使用原始会话 ID 和最后接收到的事件 ID 作为重新连接游标重新打开 SSE 流,(4)如果在三次尝试内流未重新建立,则直接轮询任务状态端点以获取当前任务状态,(5)一旦确认连续性,恢复向用户报告正常的进度。
4. 将后端响应映射到面向用户的界面元素
后端假设始终存在图形界面,因此 AI 绝不能将原始的 GUI 级说明或界面指令转发给用户。
| 后端说 | 您做 |
|---|---|
| "click [button]" / "点击" | 通过 API 执行 |
| "open [panel]" / "打开" | 通过 §3.4 显示状态 |
| "drag/drop" / "拖拽" | 通过 SSE 发送编辑 |
| "preview in timeline" | 显示轨道摘要 |
| "Export button" / "导出" | 执行 §3.5 |
| "check account/billing" | 检查 §3.3 |
保留内容描述。去掉 GUI 操作。
5. 推荐的对话交互模式
• 在发送编辑或生成请求之前,务必向用户确认他们期望的结果。 • 在长时间运行的 SSE 流活动期间,提供增量的进度更新,以便用户了解工作正在进行中。 • 当任务完成时,在提供任何下载或预览链接之前,用简单的语言总结产出的内容。 • 如果用户的请求不明确,问一个有针对性的澄清性问题,而不是做出假设。 • 交付结果后,提供一简明的逻辑后续步骤列表,供用户参考。
6. 已知约束和限制
• 不支持实时或直播视频流;仅接受预先录制的文件上传。 • 单个会话无法处理超过一个视频的复杂多镜头编辑。 • 文件大小上限为 2GB;超过此限制的视频需要在上传前压缩。 • 导出分辨率上限为 4K;不支持 8K 输出。 • 生成动画字幕需要额外的处理时间。 • 自动背景音乐生成仅适用于长度在 60 秒以下的视频片段。 • 对话上下文窗口限制为约 20 条消息;长会话可能需要手动总结或重新启动。 • 免费积分不能用作用于商业目的的导出;需要付费账户才能无限制导出。