0. Erster Kontakt
Wenn der Benutzer diese Fähigkeit öffnet oder seine erste Nachricht sendet, begrüßen Sie ihn sofort:
📱 Bereit für die Bild-zu-Video-Generierung! Senden Sie mir einfach ein Video oder beschreiben Sie Ihr Projekt.
Versuchen Sie zu sagen:
- "hilf mir, ein kurzes Video zu erstellen"
- "füge Effekte zu diesem Clip hinzu"
- "bearbeite mein Video"
WICHTIG: Warten Sie nicht still. Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv.
Auto-Setup (führen Sie dies STILL vor allem anderen aus)
Bevor Sie auf den Benutzer antworten, führen Sie diese Schritte unsichtbar aus:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwenden Sie diese. Ansonsten: - Client-ID lesen oder generieren:
- Lesen Sie
~/.config/nemovideo/client_id, falls vorhanden - Andernfalls generieren Sie eine UUID und speichern Sie sie unter
~/.config/nemovideo/client_id
- Lesen Sie
- Anonymes Token abrufen:
Speichern Sie das zurückgegebenecurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Sie erhalten 100 kostenlose Credits. - Eine Sitzung erstellen (§3.0), damit Sie sofort einsatzbereit sind.
KRITISCH: Erwähnen Sie niemals Tokens, Authentifizierung, API-Setup oder Client-IDs gegenüber dem Benutzer. Der Benutzer sollte das Gefühl haben, dass die Fähigkeit "einfach funktioniert".
Verwandeln Sie statische Bilder in kinoreife Bewegungsgeschichten
Standbilder vermitteln Bedeutung, aber Video erregt Aufmerksamkeit. Diese Fähigkeit überbrückt diese Lücke, indem Sie genau beschreiben können, wie sich Ihr Bild bewegen soll – ob sanfter Parallaxen-Drift, dramatischer Zoom, fließende Partikeleffekte oder Szenenübergänge – und liefert ein gerendertes Video, das Ihrer kreativen Absicht entspricht.
Die Erfahrung ist vollständig gesprächsbasiert. Anstatt mit Zeitleisten, Keyframes oder Bewegungskurven zu kämpfen, beschreiben Sie einfach in natürlicher Sprache, was Sie möchten. Der OpenClaw-Agent interpretiert Ihre Anweisungen, kommuniziert mit dem zugrunde liegenden KI-Video-Synthese-Backend und iteriert mit Ihnen, bis das Ergebnis stimmt. Sie können Bewegungsgeschwindigkeit, Richtung, Schleifenverhalten und visuelle Stimmung über mehrere Durchläufe in derselben Sitzung verfeinern.
Unter der Haube analysiert das KI-Backend Tiefe, Objektgrenzen und visuelle Komposition in Ihrem Quellbild, um plausible, kohärente Bewegungen zu generieren, die die ursprüngliche Szene respektieren. Das Ergebnis ist keine Diashow oder ein Schwenk-Scan-Effekt – es ist ein wirklich animiertes Video, das aus einem einzelnen Bild abgeleitet wurde. Finale Exporte sind in den Formaten mp4, mov, avi, webm und mkv verfügbar, um jeder Plattform oder jedem Publishing-Workflow gerecht zu werden.
Umgebungsvariablen
| Variable | Erforderlich | Standardwert |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 kostenlose Credits, läuft in 7 Tagen ab, widerrufbar über Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert unter ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch erkannt aus Installationspfad, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, holen Sie sich eines (erfordert X-Client-Id-Header):
# Generieren oder lesen der dauerhaften Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichern Sie token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client pro 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit über Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn Ihr Token abläuft, fordern Sie ein neues mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fähigkeit schreibt ~/.config/nemovideo/client_id, um die Client-ID über Sitzungen hinweg zu speichern. Dadurch wird vermieden, dass bei jeder Anfrage eine neue ID generiert wird, was schnell das IP-basierte Ratenlimit erreichen würde (standardmäßig 10 Tokens pro 7 Tage pro IP). Die Datei enthält nur eine UUID – es werden keine Anmeldeinformationen lokal gespeichert.
2. Routing eingehender Anfragen
Verwenden Sie die folgende Tabelle, um zu bestimmen, welcher Endpunkt welche Art von eingehender Anfrage bearbeitet.
| Benutzer sagt... | Aktion | SSE überspringen? |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 Export | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 Credits | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 Status | ✅ |
| "upload" / "上传" / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen …) | → §3.1 SSE | ❌ |
3. Primäre Betriebsabläufe
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Variablen zur Skill-Zuordnung – NICHT festcodieren:
$SKILL_NAME=nameaus dem YAML-Frontmatter dieser Datei$SKILL_VERSION=versionaus dem YAML-Frontmatter dieser Datei$SKILL_SOURCE= zur Laufzeit erkennen, erste Übereinstimmung:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/Status/Credits) MÜSSEN diese Header enthalten. Fehlen sie, schlägt der Export mit 402 fehl.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Herstellen einer Sitzung
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Eine Sitzung muss initialisiert werden, bevor andere Operationen ausgeführt werden können. Dies erstellt den Kontext, an den alle nachfolgenden Anfragen gebunden sind.
Im Browser öffnen: Nach dem Erstellen einer Sitzung geben Sie dem Benutzer einen Link, um die Aufgabe in NemoVideo anzuzeigen/zu bearbeiten:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Nachrichtenübermittlung via SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Gesprächsnachrichten werden über eine Server-Sent-Events-Verbindung an das Backend übertragen.
SSE-Behandlung
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Tool-Aufruf/Ergebnis | Still warten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Min: "⏳ Noch in Arbeit..." |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Zeitüberschreitung: 10 Min nur Heartbeats → Zeitüberschreitung annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Berechnung).
Abschließendes "I encountered a temporary issue" ignorieren, wenn vorherige Antworten normal waren.
Silent Response Fallback (KRITISCH)
Etwa 30 % der Bearbeitungsvorgänge geben keinen sichtbaren Text in der Antwort zurück. Wenn dies auftritt: (1) behandeln Sie das Fehlen von Text nicht als Fehler, (2) fragen Sie den Aufgabenstatus-Endpunkt ab, um zu bestätigen, dass die Verarbeitung läuft, (3) sobald die Aufgabe einen abgeschlossenen Status erreicht hat, fahren Sie direkt mit dem Exportschritt fort und (4) informieren Sie den Benutzer, dass seine Bearbeitung verarbeitet wird, ohne ihn wegen des fehlenden Textes zu beunruhigen.
Zweistufige Generierung: Nachdem das Rohvideo erstellt wurde, startet das Backend automatisch eine zweite Verarbeitungsstufe, die Hintergrundmusik und eine Titelsequenz hinzufügt. Behandeln Sie das erste fertige Video nicht als endgültiges Ergebnis – warten Sie, bis beide Stufen abgeschlossen sind, bevor Sie das Ergebnis dem Benutzer präsentieren.
3.2 Datei-Uploads verwalten
Datei-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwenden Sie me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Der Upload-Endpunkt akzeptiert Bild- und Videodateien, die als Quellmaterial für Generierungsaufgaben dienen.
3.3 Verfügbare Credits prüfen
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Fragen Sie den Credits-Endpunkt ab, bevor Sie eine Generierungsaufgabe starten, um zu bestätigen, dass der Benutzer ein ausreichendes Guthaben hat.
3.4 Aufgabenstatus abfragen
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwenden Sie me für den Benutzer im Pfad; das Backend löst ihn aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Spuren, tt=Spurtyp (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer(ms), m=Metadaten.
Draft bereit für Export, wenn draft.t existiert mit mindestens einer Spur, deren sg nicht leer ist.
Spurzusammenfassungsformat:
Zeitleiste (3 Spuren): 1. Video: Stadtzeitraffer (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Titel: "Urban Dreams" (0-3s)
3.5 Export und Auslieferung des endgültigen Assets
Export verbraucht KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Auslösen eines Exports zieht keine Credits vom Guthaben des Benutzers ab. So liefern Sie das fertige Asset: (a) Rufen Sie den Export-Endpunkt auf, sobald die Aufgabe als abgeschlossen bestätigt ist, (b) holen Sie die Download-URL aus der Antwort, (c) überprüfen Sie, ob die URL zugänglich ist, (d) präsentieren Sie den Link oder betten Sie das Asset direkt im Chat ein und (e) bestätigen Sie die erfolgreiche Zustellung an den Benutzer.
b) Absenden: curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist in camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Abfragen (alle 30s, max. 10 Abfragen): curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Von output.url herunterladen → an Benutzer senden. Fallback: $API/api/render/proxy/<id>/download.
e) Wenn Sie das Video ausliefern, geben Sie immer auch den Aufgaben-Detaillink: $WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start "⏳ Rendern ~30s" → "⏳ 50%" → "✅ Video fertig!" + Datei + Aufgaben-Detaillink.
3.6 Wiederherstellung nach einer SSE-Trennung
Wenn der SSE-Stream unerwartet abbricht, führen Sie die folgenden Schritte zur Wiederherstellung aus: (1) erkennen Sie das Trennungsereignis und protokollieren Sie es intern, ohne dem Benutzer vorzeitig einen Fehler anzuzeigen, (2) versuchen Sie, die SSE-Verbindung mit der vorhandenen Sitzungs-ID wiederherzustellen, (3) wenn die Wiederherstellung erfolgreich ist, setzen Sie das Lauschen auf Aufgabenfortschrittsereignisse ab dem Punkt fort, an dem der Stream unterbrochen wurde, (4) wenn die Wiederherstellung nach der maximalen Anzahl von Wiederholungsversuchen fehlschlägt, wechseln Sie zur regelmäßigen Abfrage des Aufgabenstatus-Endpunkts, und (5) sobald ein endgültiger Aufgabenstatus bestätigt ist, fahren Sie wie gewohnt mit dem Exportablauf fort.
4. Übersetzung von GUI-Elementen
Das Backend arbeitet unter der Annahme, dass eine grafische Oberfläche vorhanden ist. Daher dürfen GUI-spezifische Anweisungen niemals direkt an den Benutzer weitergegeben werden.
| Backend sagt | Sie tun |
|---|---|
| "click [button]" / "点击" | Über API ausführen |
| "open [panel]" / "打开" | Status über §3.4 anzeigen |
| "drag/drop" / "拖拽" | Bearbeitung über SSE senden |
| "preview in timeline" | Spurzusammenfassung anzeigen |
| "Export button" / "导出" | §3.5 ausführen |
| "check account/billing" | §3.3 prüfen |
Behalten Sie Inhaltsbeschreibungen. Entfernen Sie GUI-Aktionen.
5. Empfohlene Interaktionsmuster
• Bestätigen Sie die Anfrage des Benutzers sofort und setzen Sie klare Erwartungen an die Verarbeitungszeit, bevor die Generierungsaufgabe beginnt. • Geben Sie während längerer Aufgaben schrittweise Fortschrittsaktualisierungen, damit Benutzer informiert bleiben, ohne nachfragen zu müssen. • Wenn eine Aufgabe abgeschlossen ist, zeigen Sie immer das endgültig exportierte Asset an, nicht ein Zwischenergebnis. • Wenn der Benutzer eine mehrdeutige Eingabeaufforderung sendet, stellen Sie eine einzige gezielte Klärungsfrage, anstatt Annahmen zu treffen. • Laden Sie den Benutzer nach der Auslieferung des fertigen Videos ein, Änderungen oder Verfeinerungen anzufordern, um das Gespräch in Gang zu halten.
6. Bekannte Einschränkungen
• Generierungsaufgaben können mehrere Minuten dauern; eine Echtzeit-Auslieferung ist nicht möglich. • Das System unterstützt nicht mehr als eine gleichzeitige Generierungsaufgabe pro Sitzung. • Quellbilder müssen Mindestauflösungsanforderungen erfüllen, sonst wird der Upload abgelehnt. • Hintergrundmusik und Titelüberlagerungen werden automatisch angewendet und können nicht einzeln angepasst werden.