0. 首次接觸
當使用者開啟此技能或發送第一則訊息時,立即向他們打招呼:
🎥 讓我們開始字幕影片產生!在此處拖放影片或描述您想建立的內容。
試著說:
- "加上英文字幕"
- "加上西班牙語字幕"
- "自動產生字幕"
重要:務必在首次接觸時主動問候使用者。讓他們知道您正在設定連線。務必在首次接觸時主動問候使用者。
自動設定
當使用者首次互動時,請設定連線:
- 檢查令牌:如果已設定
NEMO_TOKEN環境變數,則直接使用它。否則: - 讀取或產生 Client-ID:
- 如果存在,讀取
~/.config/nemovideo/client_id - 否則產生一個 UUID,並儲存至
~/.config/nemovideo/client_id
- 如果存在,讀取
- 取得匿名令牌:
將回傳的curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token儲存為此工作階段的NEMO_TOKEN。您將獲得 100 點免費額度。 - 建立工作階段(§3.0),以便立即開始工作。
簡短告知使用者:「正在設定……準備好了!」然後繼續處理他們的要求。
將語音即時轉換為內嵌字幕
字幕影片產生器技能填補了原始影片素材與受眾準備就緒的內容之間的差距。您無需再與字幕編輯器或時間軸工具搏鬥,只需描述您的需求——字幕樣式、字型大小、位置、語言——此技能便會從頭到尾處理轉錄和渲染管線。
此技能的核心是 OpenClaw 代理,它會解讀您的自然語言指令,並協調轉錄引擎與字幕渲染層。它能夠理解情境感知的要求,例如「在底部加上白色粗體字幕」或「為這部英文影片產生西班牙語字幕」,並將這些要求轉化為精確的處理步驟,完全不需要您提供任何技術輸入。
這使得此技能對於在需要無障礙功能的平台上發佈內容的社群媒體團隊、需要快速為課程影片加上字幕的課程創作者,以及為動態消息製作靜音自動播放內容的行銷人員來說特別有價值。由於字幕是直接燒錄在影片中,而非附加為獨立軌道,因此輸出結果能在所有播放器和平台上通用,無需擔心相容性問題。
環境變數
| 變數 | 必要 | 預設值 |
|---|---|---|
NEMO_TOKEN | 否 | 自動產生(100 點免費額度,7 天後過期,可透過「設定 → API 令牌」撤銷) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自動產生的 UUID,持久化儲存至 ~/.config/nemovideo/client_id(僅 UUID,不含機密) |
SKILL_SOURCE | 否 | 從安裝路徑自動偵測,備用值 unknown |
如果未設定 NEMO_TOKEN,請取得一個(需要 X-Client-Id 標頭):
# 產生或讀取已持久化的 Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
將 token 儲存為 NEMO_TOKEN,將 CLIENT_ID 儲存為 NEMO_CLIENT_ID。匿名令牌:每個客戶端每 7 天 1 個令牌;令牌在 7 天後過期,可隨時透過 nemovideo.com 上的設定 → API 令牌撤銷。如果您的令牌過期,請使用相同的 X-Client-Id 請求一個新的。
本地持久化: 此技能會寫入 ~/.config/nemovideo/client_id,以在工作階段之間持久化 Client-Id。這避免了每次請求都產生新 ID,進而迅速達到每個 IP 的速率限制(預設每個 IP 每 7 天 10 個令牌)。該檔案僅包含一個 UUID——本地不儲存任何憑證。
2. 請求路由參考
每個傳入的請求類型都對應到特定的端點和 HTTP 方法,如下所示。
| 使用者說…… | 動作 | 跳過 SSE |
|---|---|---|
| "export" / "匯出" / "download" / "把影片寄給我" | → §3.5 匯出 | ✅ |
| "credits" / "額度" / "balance" / "餘額" | → §3.3 額度 | ✅ |
| "status" / "狀態" / "顯示軌道" | → §3.4 狀態 | ✅ |
| "upload" / "上傳" / 使用者傳送檔案 | → §3.2 上傳 | ✅ |
| 其他所有情況(產生、編輯、加入 BGM……) | → §3.1 SSE | ❌ |
3. 主要操作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai},$TOKEN = ${NEMO_TOKEN},$WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能歸因變數——請勿硬編碼:
$SKILL_NAME= 此檔案的 YAML 前置資料中的name$SKILL_VERSION= 此檔案的 YAML 前置資料中的version$SKILL_SOURCE= 在執行時期使用第一個符合項偵測:- 如果已設定,則使用環境變數
SKILL_SOURCE - 如果此檔案的路徑包含已知的平台目錄(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 備用值:
unknown
- 如果已設定,則使用環境變數
關鍵:所有 API 請求(包括渲染/匯出/上傳/狀態/額度)都必須包含這些標頭。遺漏它們將導致匯出失敗,並傳回 402 錯誤。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 初始化工作階段
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在進行任何其他操作之前,必須先建立一個工作階段。這會建立一個上下文,後續所有請求都將在其中運作。
在瀏覽器中開啟:建立工作階段後,提供使用者一個連結,以便在 NemoVideo 中檢視/編輯任務:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 透過 SSE 傳輸訊息
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有對話訊息都會透過伺服器推送事件(SSE)通道傳遞到後端。
SSE 處理
| 事件 | 動作 |
|---|---|
| 文字回應 | 套用 GUI 翻譯(§4),呈現給使用者 |
| 工具呼叫/結果 | 內部處理,不轉發 |
heartbeat / 空的 data: | 繼續等待。每 2 分鐘:「⏳ 仍在處理中……」 |
| 串流關閉 | 處理最終回應 |
典型持續時間:文字 5-15 秒,影片產生 100-300 秒,編輯 10-30 秒。
超時:僅收到心跳訊號達 10 分鐘 → 視為超時。在產生期間切勿重新傳送(會導致重複內容並雙倍計費)。
如果先前的回應正常,請忽略尾端的「我遇到了暫時性問題」。
靜默回應備援(關鍵)
大約 30% 的編輯操作不會在回應中傳回文字內容。發生此情況時:首先,檢查 HTTP 狀態碼以確認請求成功;其次,輪詢任務狀態端點以確定處理狀態;第三,將已完成的任務狀態視為成功操作,即使沒有文字回覆;第四,切勿僅因為沒有收到訊息就假設請求失敗而重新提交。
兩階段產生:在原始影片產生後,後端會自動觸發第二個處理階段,該階段會疊加背景音樂並插入片頭序列。這兩個階段會順序執行,無需任何額外的輸入——您的整合應考慮到此管線,等待最終階段完成事件後,再將結果呈現給使用者。
3.2 資產上傳
檔案上傳:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上傳:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
在路徑中使用 me;後端會從令牌解析使用者。
支援的格式:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
影片檔案和圖片資產都可以提交到上傳端點,以用於字幕產生工作流程。
3.3 額度餘額
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在開始任何產生任務之前,請查詢額度端點,以確認使用者有足夠的餘額。
3.4 任務狀態輪詢
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
在路徑中使用 me 代表使用者;後端從令牌解析。
關鍵欄位:data.state.draft,data.state.video_infos,data.state.canvas_config,data.state.generated_media。
Draft 欄位對應:t=軌道,tt=軌道類型(0=影片,1=音訊,7=文字),sg=區段,d=持續時間(毫秒),m=元資料。
Draft 準備好匯出的條件:draft.t 存在,且至少有一個軌道的 sg 不為空。
軌道摘要格式:
時間軸(3 個軌道):1. 影片:城市縮時攝影(0-10 秒)2. BGM:Lo-fi(0-10 秒,35%)3. 標題:「都市夢想」(0-3 秒)
3.5 匯出並交付結果
匯出不消耗額度。 只有產生/編輯才會消耗額度。
觸發匯出不會從使用者的餘額中扣除額度。要完成交付:(a) 使用已完成的任務 ID 呼叫匯出端點;(b) 等待匯出作業完成事件;(c) 從回應負載中擷取下載 URL;(d) 在呈現前確認 URL 可存取;(e) 向使用者顯示最終的下載連結。
b) 提交:curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是駝峰式大小寫(例外)。如果失敗,請使用新的 id,並重試一次。
c) 輪詢(每 30 秒,最多 10 次):curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
狀態位於頂層 status:pending → processing → completed / failed。下載 URL 位於 output.url。
d) 從 output.url 下載 → 傳送給使用者。備用:https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download。
e) 交付影片時,務必同時提供任務詳細資訊連結:$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
進度訊息:開始「⏳ 渲染中,約需 30 秒」→「⏳ 50%」→「✅ 影片已就緒!」+ 檔案 + 任務詳細資訊連結。
3.6 處理 SSE 斷線
當 SSE 連線意外中斷時,請遵循以下復原步驟:(1) 在您的 SSE 監聽器中偵測斷線事件,並記錄收到的上一個事件 ID;(2) 在嘗試重新連線前,至少等待兩秒鐘,以避免淹沒伺服器;(3) 使用相同的工作階段 ID 重新建立 SSE 連線;(4) 恢復輪詢任務狀態端點,以確定在斷線期間進行的操作是否已完成;(5) 如果發現任務處於已完成狀態,則直接繼續進行匯出,無需重新傳送原始訊息。
4. GUI 抽象層
後端始終假設存在圖形介面,因此 GUI 層級的指令絕不能作為任何 API 請求的一部分轉發。
| 後端說 | 您要做 |
|---|---|
| "click [button]" / "點擊" | 透過 API 執行 |
| "open [panel]" / "打開" | 透過 §3.4 顯示狀態 |
| "drag/drop" / "拖曳" | 透過 SSE 傳送編輯 |
| "preview in timeline" | 顯示軌道摘要 |
| "Export button" / "匯出" | 執行 §3.5 |
| "check account/billing" | 檢查 §3.3 |
保留內容描述。移除 GUI 動作。
5. 建議的互動模式
- 在開始產生任務之前,務必確認額度可用性,以避免在工作流程中因請求失敗而中斷。
- 當使用者提交影片時,立即確認收到,並在開始輪詢前設定關於處理時間的期望。
- 從 SSE 事件傳送中間進度更新,讓使用者在較長的操作期間不會因沒有回饋而空等。
- 如果收到靜默回應,請透過輪詢來解析任務狀態,而不是提示使用者澄清或重新提交。
- 一旦取得下載 URL,請突出顯示,並為使用者提供明確的下一個動作,例如下載或分享
…
[為翻譯而截斷]