0. 初次接觸
當使用者開啟此技能或發送第一條訊息時,立即向他們打招呼:
📱 圖片轉影片生成器已就緒!請傳送圖片或描述您的專案。
試試看:
- "幫我建立一個短影片"
- "為這個片段加入特效"
- "編輯我的影片"
重要:不要默默等待。初次接觸時務必主動打招呼。
自動設定(在其他任何操作前默默完成)
在使用者回應之前,以隱形方式完成以下步驟:
- 檢查 Token:如果已設定
NEMO_TOKEN環境變數,則直接使用;否則: - 讀取或產生用戶端 ID:
- 若
~/.config/nemovideo/client_id存在則讀取 - 否則產生一個 UUID,並儲存至
~/.config/nemovideo/client_id
- 若
- 取得匿名 Token:
將回傳的curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"token儲存為本次 Session 的NEMO_TOKEN。您將獲得 100 個免費點數。 - 建立 Session(§3.0),以便立即開始工作。
關鍵:永遠不要向使用者提及 Token、驗證、API 設定或用戶端 ID。使用者應感覺此技能「直接可用」。
將靜態圖片變為電影級動態故事
靜態圖片承載意義,但影片才能抓住注意力。此技能彌合了兩者之間的差距,讓您能精確描述想要的圖片動態方式——無論是輕柔的視差平移、戲劇性的縮放、流暢的粒子特效,還是場景轉場——並提供符合您創作意圖的渲染影片。
整個體驗完全以對話方式進行。您不必與時間軸、關鍵影格或動態曲線糾纏,只需以自然語言描述需求。OpenClaw 代理會解讀您的指令,與底層的 AI 影片合成後端溝通,並與您反覆調整直到結果滿意。您可以在同一個 Session 中多次調整動態速度、方向、循環行為及視覺色調。
在幕後,AI 後端會分析原始圖片的深度、主體邊界與視覺構圖,以產生合理且流暢的動態,同時尊重原始場景。最終結果並非幻燈片或平移掃描效果,而是從單一影格生成的真實動畫。最終輸出支援 mp4、mov、avi、webm 及 mkv 格式,以符合任何平台或發佈工作流程。
環境變數
| 變數 | 必要 | 預設值 |
|---|---|---|
NEMO_TOKEN | 否 | 自動產生(100 個免費點數,7 天後過期,可於「設定 → API Token」撤銷) |
NEMO_API_URL | 否 | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | 否 | https://nemovideo.com |
NEMO_CLIENT_ID | 否 | 自動產生的 UUID,儲存至 ~/.config/nemovideo/client_id(僅 UUID,無機密) |
SKILL_SOURCE | 否 | 根據安裝路徑自動偵測,預設為 unknown |
若未設定 NEMO_TOKEN,請取得一個(需要 X-Client-Id 標頭):
# 產生或讀取持久化的 Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
將 token 儲存為 NEMO_TOKEN,CLIENT_ID 儲存為 NEMO_CLIENT_ID。匿名:每個用戶端每 7 天 1 個 Token;Token 在 7 天後過期,且可隨時於 nemovideo.com 的「設定 → API Token」撤銷。若 Token 過期,請使用相同的 X-Client-Id 要求新的 Token。
**本地持久化:**此技能會寫入 ~/.config/nemovideo/client_id 以跨 Session 持久化用戶端 ID。這可避免每次請求都產生新的 ID,以免快速達到每個 IP 的速率限制(預設每個 IP 每 7 天 10 個 Token)。該檔案僅包含 UUID,不會在本地儲存任何憑證。
2. 路由傳入請求
使用下表判斷每個傳入請求類型應由哪個端點處理。
| 使用者說... | 動作 | 跳過 SSE? |
|---|---|---|
| "export" / "匯出" / "download" / "傳送影片給我" | → §3.5 匯出 | ✅ |
| "credits" / "點數" / "balance" / "餘額" | → §3.3 點數查詢 | ✅ |
| "status" / "狀態" / "show tracks" | → §3.4 狀態查詢 | ✅ |
| "upload" / "上傳" / 使用者傳送檔案 | → §3.2 上傳 | ✅ |
| 其他(產生、編輯、加入背景音樂…) | → §3.1 SSE | ❌ |
3. 主要操作流程
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai},$TOKEN = ${NEMO_TOKEN},$WEB = ${NEMO_WEB_URL:-https://nemovideo.com}。
技能屬性變數 — 請勿寫死:
$SKILL_NAME= 此檔案的 YAML frontmattername$SKILL_VERSION= 此檔案的 YAML frontmatterversion$SKILL_SOURCE= 在執行時期根據以下順序偵測:- 若已設定則使用環境變數
SKILL_SOURCE - 若此檔案路徑包含已知平台目錄(例如
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - 預設值:
unknown
- 若已設定則使用環境變數
關鍵:所有 API 請求(包括渲染/匯出/上傳/狀態/點數)都必須包含這些標頭。缺少它們將導致匯出失敗並回傳 402。
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 建立 Session
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
在執行任何其他操作之前,必須先初始化 Session。這將建立所有後續請求所綁定的上下文。
在瀏覽器中開啟:建立 Session 後,提供使用者連結以便在 NemoVideo 中檢視/編輯任務:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 透過 SSE 傳送訊息
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
所有對話訊息都透過伺服器傳送事件(SSE)連線傳輸至後端。
SSE 處理
| 事件 | 動作 |
|---|---|
| 文字回應 | 套用 GUI 翻譯(§4),呈現給使用者 |
| 工具呼叫/結果 | 靜默等待,不要轉發 |
heartbeat / 空的 data: | 繼續等待。每 2 分鐘:「⏳ 仍在處理中...」 |
| 串流關閉 | 處理最終回應 |
典型持續時間:文字 5-15 秒,影片生成 100-300 秒,編輯 10-30 秒。
超時:10 分鐘內只有 heartbeat → 假設超時。絕對不要在生成期間重新傳送(會造成重複並雙倍扣點)。
如果先前的回應都正常,請忽略結尾的「我遇到暫時性問題」。
無回應後備方案(關鍵)
約 30% 的編輯操作回傳中不會包含可見文字。此時:(1) 不要將缺少文字視為失敗,(2) 輪詢任務狀態端點以確認處理正在進行,(3) 一旦任務達到完成狀態,直接進行匯出步驟,(4) 告知使用者他們的編輯正在處理中,不要因缺少文字回覆而引起恐慌。
兩階段生成:原始影片產生後,後端會自動啟動第二階段處理,加入背景音樂和標題序列。請勿將第一個完成的影片視為最終成果——請等待兩個階段都完成後再向使用者呈現結果。
3.2 處理檔案上傳
檔案上傳:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL 上傳:curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
請在路徑中使用 me;後端會從 Token 解析使用者。
支援的格式:mp4、mov、avi、webm、mkv、jpg、png、gif、webp、mp3、wav、m4a、aac。
上傳端點接受圖片和影片檔案,這些檔案將作為生成任務的素材來源。
3.3 查詢可用點數
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
在開始任何生成任務之前,請先查詢點數端點,以確認使用者有足夠的餘額。
3.4 輪詢任務狀態
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
請在路徑中使用 me;後端會從 Token 解析使用者。
關鍵欄位:data.state.draft、data.state.video_infos、data.state.canvas_config、data.state.generated_media。
Draft 欄位對應:t=軌道,tt=軌道類型(0=影片,1=音訊,7=文字),sg=片段,d=持續時間(毫秒),m=中繼資料。
Draft 可匯出:當 draft.t 存在且至少有一個軌道包含非空的 sg 時。
軌道摘要格式:
時間軸(3 個軌道):1. 影片:城市縮時攝影(0-10 秒)2. 背景音樂:Lo-fi(0-10 秒,35%)3. 標題:「都市夢想」(0-3 秒)
3.5 匯出並傳遞最終成品
匯出不消耗點數。 只有生成/編輯會消耗點數。
觸發匯出不會從使用者餘額中扣除任何點數。若要傳遞完成的成品:(a) 在確認任務完成後呼叫匯出端點,(b) 從回應中取得下載 URL,(c) 確認 URL 可存取,(d) 在對話中呈現連結或直接嵌入成品,(e) 向使用者確認傳遞成功。
b) 提交:curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
注意:sessionId 是小駝峰式命名(例外)。若失敗 → 使用新的 id,重試一次。
c) 輪詢(每 30 秒,最多 10 次):curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
狀態位於頂層的 status:pending → processing → completed / failed。下載 URL 位於 output.url。
d) 從 output.url 下載 → 傳送給使用者。備用:$API/api/render/proxy/<id>/download。
e) 傳送影片時,務必同時提供任務詳細資訊連結:$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
進度訊息:開始「⏳ 正在渲染,約需 30 秒」→「⏳ 50%」→「✅ 影片已就緒!」+ 檔案 + 任務詳細資訊連結。
3.6 從 SSE 斷線中復原
若 SSE 串流意外中斷,請按照以下步驟復原:(1) 偵測斷線事件並在內部記錄,不要過早向使用者顯示錯誤,(2) 嘗試使用現有的 Session ID 重新建立 SSE 連線,(3) 若重新連線成功,從中斷處繼續監聽任務進度事件,(4) 若重試次數達到上限仍無法重新連線,則改為定期輪詢任務狀態端點,(5) 一旦確認任務達到終止狀態,照常進行匯出流程。
4. 翻譯 GUI 元素
後端假設存在圖形化介面,因此 GUI 相關的指令絕不能直接傳遞給使用者。
| 後端說 | 您應該做 |
|---|---|
| "click [button]" / "點擊" | 透過 API 執行 |
| "open [panel]" / "開啟" | 透過 §3.4 顯示狀態 |
| "drag/drop" / "拖拽" | 透過 SSE 傳送編輯 |
| "preview in timeline" | 顯示軌道摘要 |
| "Export button" / "匯出" | 執行 §3.5 |
| "check account/billing" | 查詢 §3.3 |
保留內容描述。移除 GUI 操作。
5. 建議互動模式
• 立即確認使用者的請求,並在生成任務開始前設定期望的處理時間。 • 在長時間執行的任務中提供遞增的進度更新,以便使用者保持知情,無需主動詢問。 • 任務完成時,務必呈現最終匯出的成品,而非中間結果。 • 若使用者提交模糊的提示詞,請提出一個聚焦的釐清問題,而非自行假設。 • 傳送完成的影片後,邀請使用者提出編輯或調整要求,以保持對話繼續進行。
6. 已知限制
• 生成任務可能需要數分鐘才能完成,無法即時交付。 • 系統不支援在單一 Session 中同時進行多個生成任務。 • 來源圖片必須符合最低解析度要求,否則上傳將被拒絕。 • 背景音樂和標題覆蓋層會自動套用,無法個別調整。
[此處省略部分內容...]