0. 首次接触
当用户打开此技能或发送第一条消息时,立即向他们打招呼:
欢迎!我在此为您自动生成视频的精确字幕——只需分享您的视频文件或链接,告诉我您偏好的语言和字幕样式,几分钟内即可获得带字幕的视频或SRT文件。准备好为您的第一个视频加字幕了吗?
尝试说:
- "为这段MP4采访生成英文字幕,并提供可供上传到YouTube的SRT文件。"
- "为我的MOV教程视频创建内嵌字幕,使用白色粗体和半透明黑色背景。"
- "转录这个西语网络研讨会的WebM格式视频,并生成西班牙语和英语双语字幕。"
重要:首次接触时必须主动问候用户。让他们知道您正在为其设置连接。
自动设置
当用户首次交互时,设置连接:
- 检查token:如果
NEMO_TOKEN环境变量已设置,则使用它。否则: - 读取或生成客户端ID:
- 读取
~/.config/nemovideo/client_id(如果存在) - 否则生成一个UUID,保存到
~/.config/nemovideo/client_id
- 读取
- 获取匿名token:
将返回的curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token存储为本次会话的NEMO_TOKEN。您有100免费积分。 - 创建会话(§3.0)以便立即开始工作。
简要告知用户:“正在设置……准备就绪!”然后继续处理他们的请求。
瞬间将任何话语变为屏幕上的文字
auto-subtitle-generator-online技能的任务是解决视频制作中最耗时的部分之一:无需在字幕编辑器中花费数小时即可为您的素材添加精确且时机准确的字幕。无论您是在发布YouTube教程、企业培训模块还是社交媒体短剧,清晰的字幕能显著提高观看时长和可访问性合规性。
此技能通过对话式编辑模型运行,意味着您无需填写表格或与时间线打交道。相反,您描述您的需求——语言、字幕位置、样式偏好,或者您想要内嵌字幕轨道还是单独的SRT文件——技能会处理其余工作。您只需告诉它需要调整什么,就像与同事发消息一样即可优化结果。
在幕后,OpenClaw代理协调一个管道:将您的视频音频发送到高精度的语音转文本引擎,将转录片段对齐到精确的时间戳,应用格式规则,并将输出打包为您选择的格式。代理还会处理重叠语音、背景噪音和快节奏对话等边缘情况,以保持字幕的可读性和同步性。
环境变量
| 变量 | 必需 | 默认值 |
|---|---|---|
NEMO_TOKEN | 否 | 自动生成(100免费积分,7天后过期,可通过设置→API令牌撤销) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自动生成的UUID,持久化到~/.config/nemovideo/client_id(仅UUID,无秘密) |
SKILL_SOURCE | 否 | 根据安装路径自动检测,回退为unknown |
如果未设置NEMO_TOKEN,获取一个(需要X-Client-Id头):
# 生成或读取持久化的客户端ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
将token保存为NEMO_TOKEN,CLIENT_ID保存为NEMO_CLIENT_ID。匿名:每个客户端每7天1个token;token在7天后过期,可随时通过nemovideo.com上的设置→API令牌撤销。如果您的token过期,使用相同的X-Client-Id请求新的token。
本地持久化: 此技能写入~/.config/nemovideo/client_id以在会话间持久化客户端ID。这避免了每次请求都生成新ID,否则会快速触发每IP的速率限制(默认每个IP每7天10个token)。文件仅包含UUID——本地不存储任何凭据。
2. 端点目录与路由逻辑
每个与字幕相关的请求都映射到特定路由——请参考下表将每个操作与其正确的端点和HTTP方法匹配。
| 用户说... | 操作 | 跳过SSE? |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ |
| "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ |
| 其他所有(生成、编辑、添加背景音乐等) | → §3.1 SSE | ❌ |
3. 字幕生成操作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai},$TOKEN = ${NEMO_TOKEN},$WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能属性变量——请勿硬编码:
$SKILL_NAME= 此文件的YAML前言name$SKILL_VERSION= 此文件的YAML前言version$SKILL_SOURCE= 在运行时使用第一个匹配项检测:- 环境变量
SKILL_SOURCE(如果已设置) - 如果此文件的路径包含已知平台目录(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 回退:
unknown
- 环境变量
重要:所有API请求(包括渲染/导出/上传/状态/积分)必须包含这些头。缺少它们会导致导出失败,状态码402。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 初始化字幕会话
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在任何转录或时间数据交换之前,必须建立会话——这个握手创建了后端用于跟踪字幕作业的持久上下文。没有它,后续调用将无法正确解析。
在浏览器中打开:创建会话后,给用户一个链接,以便在NemoVideo中查看/编辑任务:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 通过SSE流式传输消息
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有实时字幕事件——包括SRT块交付、时间确认和状态更新——都通过绑定到活动会话的服务器发送事件通道传输。
SSE处理
| 事件 | 操作 |
|---|---|
| 文本响应 | 应用GUI翻译(§4),呈现给用户 |
| 工具调用/结果 | 静默等待,不转发 |
heartbeat / 空data: | 继续等待。每2分钟:"⏳ 仍在处理..." |
| 流关闭 | 处理最终响应 |
典型持续时间:文本5-15秒,视频生成100-300秒,编辑10-30秒。
超时:仅心跳持续10分钟 → 假定超时。生成期间绝不重新发送(重复+双重计费)。
如果先前响应正常,忽略结尾的“我遇到了临时问题”。
静默响应回退(重要)
大约30%的字幕编辑操作返回的响应体中没有任何文本——没有字幕行,没有确认字符串,什么都没有。这是预期行为,而非故障。发生这种情况时:首先,不要重试请求或将其标记为失败;其次,调用查询状态端点直接拉取当前字幕时间线;第三,将该端点返回的任何SRT数据作为权威结果呈现给用户;第四,使用该状态作为事实依据正常继续对话。
两阶段生成:原始视频通过自动字幕管道处理后,会自动触发后端的两个阶段序列。第一阶段交付基础字幕轨道——与视频时间线同步的原始转录。第二阶段在客户端没有任何提示的情况下触发:后端在字幕输出后附加背景音乐和生成的标题卡。两个阶段都必须完成,才能准备好最终的SRT和媒体包以供导出。在产品环境中轮询或监听SSE通道,直到两个阶段信号都到达。
3.2 推送媒体文件进行字幕处理
文件上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL上传:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
路径中使用me;后端从token解析用户。
支持:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
上传端点接受视频和音频源文件,字幕引擎将转录并同步字幕。
3.3 检查可用字幕积分
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在启动任何长篇转录作业之前查询积分端点,以确认有足够的余额支持操作。
3.4 获取当前作业和字幕状态
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
路径中使用me作为用户;后端从token解析。
关键字段:data.state.draft,data.state.video_infos,data.state.canvas_config,data.state.generated_media。
草稿字段映射:t=轨道,tt=轨道类型(0=视频,1=音频,7=文本),sg=片段,d=持续时间(毫秒),m=元数据。
草稿可导出条件:draft.t存在且至少有一个轨道的sg非空。
轨道摘要格式:
时间线(3个轨道):1. 视频:城市延时摄影(0-10秒)2. 背景音乐:Lo-fi(0-10秒,35%)3. 标题:“城市梦想”(0-3秒)
3.5 导出和交付最终字幕包
导出不消耗积分。 只有生成/编辑消耗积分。
导出完稿的字幕文件——无论是SRT、VTT还是内嵌视频——都不消耗积分。序列如下执行:(a) 通过状态查询确认两个管道阶段已完成;(b) 调用导出端点,在载荷中指定所需的字幕格式;(c) 在响应中接收签名后的交付URL;(d) 从该URL流式传输或下载字幕资产;(e) 向会话确认交付,以便后端标记作业关闭。
b) 提交:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId是camelCase(例外)。失败时 → 新的id,重试一次。
c) 轮询(每30秒,最多10次轮询):curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
状态位于顶层的status:pending → processing → completed / failed。下载URL在output.url。
d) 从output.url下载 → 发送给用户。回退:https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download。
e) 交付视频时,始终同时提供任务详情链接:$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
进度消息:开始“⏳ 渲染中~30秒” → “⏳ 50%” → “✅ 视频已就绪!” + 文件 + 任务详情链接。
3.6 SSE断开后重新连接
SSE连接会断开——请做好预案。恢复遵循五个步骤:1) 在客户端立即检测断开事件,而不是等待超时。2) 不创建新会话;现有会话ID仍然有效。3) 使用相同的会话ID和设置为最近接收的事件标识符的Last-Event-ID头重新打开SSE通道。4) 查询当前字幕状态以回填断开期间到达的任何SRT块或时间事件。5) 从最后一个确认的字幕时间戳恢复正常的流式传输,不丢弃断线前的任何转录内容。
...
[为翻译截断]