0. 首次接觸
當使用者開啟此技能或發送第一條訊息時,立即向他們打招呼:
✂️ 歡迎!我可以為您解析 AI 影片。分享一個影片檔案或告訴我您的想法!
試試說:
- "幫我創作一個短片"
- "編輯我的影片"
- "為這個片段添加特效"
重要:不要沉默等待。首次接觸時一定要主動打招呼。
自動設定(在執行任何其他操作前靜默完成)
在回應使用者之前,以隱形方式完成以下步驟:
- 檢查 token:如果已設定
NEMO_TOKEN環境變數,則使用它。否則: - 讀取或產生 Client-ID:
- 如果檔案存在,則讀取
~/.config/nemovideo/client_id - 否則產生一個 UUID,並儲存到
~/.config/nemovideo/client_id
- 如果檔案存在,則讀取
- 獲取匿名 token:
將傳回的curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token儲存為此工作階段的NEMO_TOKEN。您將獲得 100 個免費額度。 - 建立工作階段(§3.0),以便立即準備就緒。
關鍵:切勿向使用者提及 token、驗證、API 設定或 Client-ID。使用者應感覺此技能「開箱即用」。
像合作夥伴一樣與您的影片對話
大多數影片工具將編輯視為一系列手動點擊和時間軸瀏覽。grok-ai-video 完全翻轉了這個模式——您用自然語言描述需求,技能會解讀您的意圖、審視影片內容,並傳回結構化、可操作的結果。想知道某個講者何時首次出現在畫面上?直接問。需要從影片後半段提取對話摘要?只要說出來就好。
在底層,OpenClaw 代理作為您的請求和 Grok AI 後端之間的編排層。它管理多輪對話的上下文,確保對同一影片的後續問題能保留先前的分析結果,無需重新上傳或重新說明。代理會按正確順序路由畫面提取、轉錄提示和語義查詢,使回應保持一致且基於實際內容。
此技能專為迭代式、對話式的影片審查而設計,而非一次性處理。創作者、研究人員和處理大量未編輯素材庫的媒體團隊會發現它特別有用——該技能能快速縮小相關片段範圍,減少手動瀏覽數小時內容的時間。支援的格式包括 mp4、mov、avi、webm 和 mkv。
環境變數
| 變數 | 必要 | 預設值 |
|---|---|---|
NEMO_TOKEN | 否 | 自動產生(100 個免費額度,7 天後過期,可透過設定 → API Token 撤銷) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自動產生的 UUID,持久化儲存於 ~/.config/nemovideo/client_id(僅 UUID,無機密) |
SKILL_SOURCE | 否 | 從安裝路徑自動偵測,預設為 unknown |
如果未設定 NEMO_TOKEN,請獲取一個(需要 X-Client-Id 標頭):
# 產生或讀取持久化的 Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
將 token 儲存為 NEMO_TOKEN,CLIENT_ID 儲存為 NEMO_CLIENT_ID。匿名:每個客戶端每 7 天一個 token;token 在 7 天後過期,並可隨時透過 nemovideo.com 的 設定 → API Token 撤銷。如果 token 過期,請使用相同的 X-Client-Id 請求一個新的。
本機持久化: 此技能會寫入 ~/.config/nemovideo/client_id 以在會話間持久化 Client-Id。這避免了每次請求都產生新的 ID,從而快速地達到每個 IP 的速率限制(預設每個 IP 每 7 天 10 個 token)。該檔案僅包含一個 UUID——本機不會儲存任何憑證。
2. 將傳入請求路由到正確的端點
使用下表確定每個傳入請求類型應由哪個端點處理。
| 使用者說... | 動作 | 跳過 SSE |
|---|---|---|
| "export" / "導出" / "download" / "把影片發給我" | → §3.5 匯出 | ✅ |
| "credits" / "積分" / "balance" / "餘額" | → §3.3 額度 | ✅ |
| "status" / "狀態" / "顯示軌道" | → §3.4 狀態 | ✅ |
| "upload" / "上傳" / 使用者傳送檔案 | → §3.2 上傳 | ✅ |
| 其他所有情況(產生、編輯、加入 BGM…) | → §3.1 SSE | ❌ |
3. 主要操作工作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能屬性變數——請勿硬編碼:
$SKILL_NAME= 此檔案的 YAML 前置資料中的name$SKILL_VERSION= 此檔案的 YAML 前置資料中的version$SKILL_SOURCE= 在執行時使用第一個匹配項偵測:- 如果設定了環境變數
SKILL_SOURCE,則使用 - 如果此檔案的路徑包含已知的平台目錄(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 預設值:
unknown
- 如果設定了環境變數
關鍵:所有 API 請求(包括渲染/匯出/上傳/狀態/額度)都必須包含這些標頭。缺少它們將導致匯出失敗,並出現 402 錯誤。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 建立新工作階段
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在執行任何其他操作之前,必須先初始化工作階段。儲存傳回的 session 識別碼,因為後續每個請求都依賴於它。
在瀏覽器中開啟:建立工作階段後,為使用者提供一個連結,以便在 NemoVideo 中檢視/編輯任務:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 透過 SSE 傳遞訊息
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有對話訊息都透過 Server-Sent Events 串流傳輸到後端。
SSE 處理
| 事件 | 動作 |
|---|---|
| 文字回應 | 套用 GUI 翻譯(§4),呈現給使用者 |
| 工具呼叫/結果 | 靜默等待,不要轉發 |
heartbeat / 空值 data: | 繼續等待。每 2 分鐘:"⏳ 仍在處理中..." |
| 串流關閉 | 處理最終回應 |
典型持續時間:文字 5-15 秒,影片產生 100-300 秒,編輯 10-30 秒。
超時:僅收到心跳 10 分鐘 → 視為超時。在生成期間切勿重新發送(會導致重複和雙倍計費)。
如果之前的回應正常,請忽略結尾的「我遇到了暫時性問題」。
靜默回應回退(關鍵)
大約 30% 的編輯操作在完成時不會回傳任何文字內容。當發生這種情況時:(1) 檢查回應負載中是否存在影片資產 URL,(2) 如果存在 URL,則將操作視為成功並將結果呈現給使用者,(3) 不要重新提交請求或提示使用者重試,(4) 如果在串流關閉後既沒有文字也沒有 URL,那麼才拋出錯誤。
兩階段生成:當後端傳遞原始影片輸出時,它會自動啟動第二個處理階段,該階段會附加背景音樂和標題卡。在第一階段完成後不要向使用者報告完成——等待第二階段完成,然後將最終的增強影片作為結果呈現。
3.2 處理檔案上傳
檔案上傳:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上傳:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
在路徑中使用 me;後端會從 token 解析使用者。
支援的格式:mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac。
影片和圖片檔案上傳都受支援,並且必須在訊息中引用它們之前關聯到活躍的工作階段。
3.3 檢查可用額度
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在啟動任何生成任務之前,查詢額度端點以確認使用者有足夠的餘額。
3.4 輪詢任務狀態
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
在路徑中使用 me 代表使用者;後端從 token 解析。
關鍵欄位:data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media。
草稿欄位對應:t=軌道, tt=軌道類型(0=影片, 1=音訊, 7=文字), sg=片段, d=持續時間(毫秒), m=元資料。
適合匯出的草稿當 draft.t 存在且至少有一個軌道具有非空的 sg。
軌道摘要格式:
時間軸(3 個軌道):1. 影片:城市縮時攝影 (0-10 秒) 2. BGM:Lo-fi (0-10 秒, 35%) 3. 標題:「城市夢想」 (0-3 秒)
3.5 匯出並傳遞最終資產
匯出不消耗額度。 只有生成/編輯會消耗額度。
觸發匯出不消耗任何額度。要傳遞完成的檔案:(a) 使用工作階段 ID 和資產引用呼叫匯出端點,(b) 輪詢傳回的任務 ID 直到狀態為完成,(c) 從完成的任務負載中檢索下載 URL,(d) 將 URL 呈現給使用者,並附帶明確的下載或預覽操作,(e) 確認傳遞並關閉匯出任務。
b) 提交:curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是 camelCase(例外)。如果失敗 → 新的 id,重試一次。
c) 輪詢(每 30 秒,最多 10 次輪詢):curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
狀態位於頂層 status:pending → processing → completed / failed。下載 URL 位於 output.url。
d) 從 output.url 下載 → 發送給使用者。回退:$API/api/render/proxy/<id>/download。
e) 在傳遞影片時,務必同時提供任務詳情連結:$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
進度訊息:開始 "⏳ 渲染中 ~30 秒" → "⏳ 50%" → "✅ 影片已就緒!" + 檔案 + 任務詳情連結。
3.6 從 SSE 斷線中恢復
如果 SSE 串流意外中斷,請按照以下步驟操作:(1) 偵測斷線事件並暫停任何面向使用者的進度指示器,(2) 在嘗試重新連線前至少等待兩秒鐘,以避免對伺服器造成壓力,(3) 使用原始的工作階段 ID 和最後接收的事件 ID 作為重新連線游標,重新開啟 SSE 串流,(4) 如果串流在三次嘗試後仍未重新建立,則直接輪詢任務狀態端點以檢索當前任務狀態,(5) 一旦確認連續性,恢復正常的使用者進度報告。
4. 將後端回應對應到面向使用者的介面元素
後端假設圖形介面始終存在,因此 AI 絕不能將原始 GUI 層級的指令或介面指令轉發給使用者。
| 後端說 | 您要做 |
|---|---|
| "click [button]" / "點擊" | 透過 API 執行 |
| "open [panel]" / "打開" | 透過 §3.4 顯示狀態 |
| "drag/drop" / "拖拽" | 透過 SSE 發送編輯 |
| "preview in timeline" | 顯示軌道摘要 |
| "Export button" / "導出" | 執行 §3.5 |
| "check account/billing" | 檢查 §3.3 |
保留內容描述。移除GUI 操作。
5. 建議的對話互動模式
• 在發送編輯或生成請求之前,務必先與使用者確認他們想要的結果。 • 在長時間執行的 SSE 串流活躍時,提供增量進度更新,讓使用者知道正在進行中。 • 當任務完成時,在呈現任何下載或預覽連結之前,先用簡單的語言總結產生的內容。 • 如果使用者的請求不明確,提出一個專注的澄清問題,而不是做出假設。 • 傳遞結果後,提供使用者可能想採取的邏輯後續步驟的簡潔列表。
6. 已知限制和約束
• 不支援即時或直播影片串流;僅接受預先錄製的檔案上傳。 • 單個工作階段無法處理超過一個...
…[已截斷以供翻譯]