0. Erster Kontakt
Wenn der Benutzer diese Fähigkeit öffnet oder seine erste Nachricht sendet, begrüßen Sie ihn sofort:
⚡ Bereit für den Qwen-KI-Videogenerator! Senden Sie mir einfach ein Video oder beschreiben Sie Ihr Projekt.
Versuchen Sie zu sagen:
- "Hilf mir, ein kurzes Video zu erstellen"
- "Füge diesem Clip Effekte hinzu"
- "Bearbeite mein Video"
WICHTIG: Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv. Lassen Sie ihn wissen, dass Sie die Verbindung einrichten. Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv.
Auto-Setup
Wenn der Benutzer zum ersten Mal interagiert, richten Sie die Verbindung ein:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwenden Sie diese. Andernfalls: - Client-ID lesen oder generieren:
- Lesen Sie
~/.config/nemovideo/client_id, falls vorhanden - Andernfalls generieren Sie eine UUID und speichern Sie sie in
~/.config/nemovideo/client_id
- Lesen Sie
- Anonymes Token abrufen:
Speichern Sie das zurückgegebenecurl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Sie erhalten 100 kostenlose Credits. - Sitzung erstellen (§3.0), damit Sie sofort einsatzbereit sind.
Lassen Sie den Benutzer kurz wissen: "Einrichtung läuft … bereit!" und fahren Sie dann mit seiner Anfrage fort.
Konversationelle Videocreation mit Qwen-Intelligenz
Die qwen-ai-video-generator-Fähigkeit verbindet das OpenClaw-Agent-Framework von ClawHub mit Qwens multimodalen Modell und ermöglicht einen grundlegend anderen Ansatz zur Videocreation. Anstatt Clips auf einer Timeline zu ziehen, beschreiben Sie, was Sie wollen – Szenen, Übergänge, Tempo, Erzählton – und der Agent interpretiert Ihre Absicht und strukturiert die Ausgabe entsprechend. Das bedeutet weniger Zeit mit dem Kampf gegen Bearbeitungssoftware und mehr Zeit für die Verfeinerung Ihrer eigentlichen Botschaft.
Der OpenClaw-Agent fungiert als Orchestrierungsschicht, übersetzt Ihre Konversationseingaben in strukturierte Generierungsaufgaben, die Qwen Frame für Frame verarbeitet. Egal, ob Sie eine Produktvorführung, eine pädagogische Erklärung oder einen kurzen Social-Media-Clip erstellen, der Agent behält den Kontext während Ihrer Sitzung, sodass Folgeanweisungen wie "mach die Einleitung kürzer" oder "füge eine Textüberlagerung bei Sekunde 10 hinzu" verarbeitet werden, ohne von vorne beginnen zu müssen.
Unter der Haube kümmert sich die Fähigkeit automatisch um Kodierung und Formatverhandlung, sodass Ihre endgültige Ausgabe in dem Containerformat landet, das zu Ihrer Plattform passt – mp4 für breite Kompatibilität, mov für professionelle Workflows, webm für Webauslieferung oder avi und mkv für Archivierungs- und Bearbeitungs-Workflows. Keine manuelle Transkodierung erforderlich.
Umgebungsvariablen
| Variable | Erforderlich | Standardwert |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 kostenlose Credits, läuft in 7 Tagen ab, widerrufbar über Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert in ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch aus Installationspfad erkannt, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, holen Sie sich eines (erfordert X-Client-Id-Header):
# Generieren oder lesen Sie die persistierte Client-ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichern Sie das token als NEMO_TOKEN, die CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client pro 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit widerrufen werden über Einstellungen → API-Tokens auf nemovideo.com. Wenn Ihr Token abläuft, fordern Sie ein neues mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fähigkeit schreibt ~/.config/nemovideo/client_id, um die Client-ID über Sitzungen hinweg zu persistieren. Dadurch wird vermieden, dass bei jeder Anfrage eine neue ID generiert wird, was schnell das IP-bezogene Ratenlimit erreichen würde (standardmäßig 10 Tokens pro 7 Tage pro IP). Die Datei enthält nur eine UUID – keine Anmeldeinformationen werden lokal gespeichert.
2. Weiterleitung eingehender Anfragen an den richtigen Endpunkt
Verwenden Sie die folgende Tabelle, um zu bestimmen, welcher API-Endpunkt jede Art von Benutzeranfrage bearbeiten soll.
| Benutzer sagt... | Aktion | SSE überspringen |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 Export | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 Credits | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 Status | ✅ |
| "upload" / "上传" / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Primäre Workflow-Sequenzen
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Attributionsvariablen der Fähigkeit – NICHT fest codieren:
$SKILL_NAME= YAML-Frontmatternamedieser Datei$SKILL_VERSION= YAML-Frontmatterversiondieser Datei$SKILL_SOURCE= zur Laufzeit erkennen, erster Treffer:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/Status/Credits) MÜSSEN diese Header enthalten. Fehlen sie, schlägt der Export mit 402 fehl.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Initialisieren einer neuen Sitzung
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Bevor eine Interaktion beginnen kann, muss eine Sitzung mit dem Backend hergestellt werden. Speichern Sie die zurückgegebene Sitzungskennung, da jede nachfolgende Anfrage innerhalb dieses Gesprächs davon abhängt.
Im Browser öffnen: Nach dem Erstellen einer Sitzung geben Sie dem Benutzer einen Link, um die Aufgabe in NemoVideo anzuzeigen/zu bearbeiten:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Übermitteln von Nachrichten über eine SSE-Verbindung
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Konversationsnachrichten werden an das Backend gesendet und Antworten über einen persistenten Server-Sent-Events-Stream empfangen.
SSE-Handling
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Tool-Aufruf/-Ergebnis | Still warten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Min.: "⏳ Arbeite noch..." |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Timeout: 10 Minuten nur Heartbeats → Timeout annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Abrechnung).
Ignorieren Sie nachfolgende "Ich bin auf ein vorübergehendes Problem gestoßen"-Meldungen, wenn vorherige Antworten normal waren.
Stiller Antwort-Fallback (KRITISCH)
Ungefähr 30% der Bearbeitungsvorgänge geben ein abgeschlossenes Ergebnis ohne Begleittext im SSE-Stream zurück. Wenn kein Textinhalt in der Antwort erkannt wird, behandeln Sie dies nicht als Fehler und fordern Sie den Benutzer nicht zur Wiederholung auf. Stattdessen: (1) Überprüfen Sie den Aufgabenstatus-Endpunkt, um den Abschluss zu bestätigen, (2) rufen Sie das Ausgabe-Asset direkt ab und (3) präsentieren Sie dem Benutzer das fertige Ergebnis wie gewohnt.
Zweistufige Generierung: Wenn ein Rohvideo produziert wird, startet das Backend automatisch eine zweite Verarbeitungsstufe, die Hintergrundmusik und eine Titelüberlagerung hinzufügt. Ihre Integration muss beide Stufen berücksichtigen: Zeigen Sie dem Benutzer zuerst das Rohvideo, dann warten Sie auf das Abschlussereignis der zweiten Stufe und aktualisieren das angezeigte Ergebnis, sobald die verbesserte Version bereit ist.
3.2 Handhabung von Datei-Uploads
Datei-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwenden Sie me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Die API akzeptiert vom Benutzer bereitgestellte Mediendateien, die über den dafür vorgesehenen Upload-Endpunkt hochgeladen werden müssen, bevor sie in einer Generierungs- oder Bearbeitungsanfrage referenziert werden können.
3.3 Prüfen der verfügbaren Credits
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Fragen Sie den Credits-Endpunkt ab, bevor Sie eine Generierungsaufgabe starten, um zu bestätigen, dass der Benutzer ein ausreichendes Guthaben für den Vorgang hat.
3.4 Abfragen des Aufgabenstatus
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwenden Sie me für den Benutzer im Pfad; das Backend löst den Benutzer aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Tracks, tt=Track-Typ (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer(ms), m=Metadaten.
Draft exportbereit, wenn draft.t existiert mit mindestens einem Track, der ein nicht leeres sg hat.
Track-Zusammenfassungsformat:
Timeline (3 Tracks): 1. Video: Stadtsunset (0-10s) 2. BGM: Lo-Fi (0-10s, 35%) 3. Titel: "Urban Dreams" (0-3s)
3.5 Exportieren und Ausliefern des endgültigen Assets
Export kostet KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Auslösen eines Exports zieht keine Credits vom Guthaben des Benutzers ab. Die Exportsequenz läuft wie folgt ab: (a) den Export-Endpunkt mit der Ziel-Asset-Kennung aufrufen, (b) die Export-Job-ID in der Antwort erhalten, (c) den Job-Status abfragen, bis der Status "abgeschlossen" erreicht, (d) die Download-URL aus der abgeschlossenen Job-Nutzlast extrahieren und (e) die URL präsentieren oder die Datei für den Benutzer herunterladen.
b) Einreichen: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Abfragen (alle 30s, max. 10 Abfragen): curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Herunterladen von output.url → an Benutzer senden. Fallback: https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download.
e) Beim Ausliefern des Videos immer auch den Aufgaben-Detaillink angeben: $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start "⏳ Rendering ~30s" → "⏳ 50%" → "✅ Video bereit!" + Datei + Aufgaben-Detaillink.
3.6 Wiederherstellen nach einem SSE-Abbruch
Wenn die SSE-Verbindung unerwartet abbricht, führen Sie die folgenden fünf Schritte aus, um sich ordnungsgemäß zu erholen: (1) Warten Sie mindestens zwei Sekunden, bevor Sie eine erneute Verbindung herstellen, um den Server nicht zu überlasten. (2) Öffnen Sie den SSE-Stream mit der ursprünglichen Sitzungskennung erneut – erstellen Sie keine neue Sitzung. (3) Sobald die Verbindung wiederhergestellt ist, fragen Sie sofort den Aufgabenstatus-Endpunkt ab, um festzustellen, ob die Verarbeitung während der Unterbrechung abgeschlossen wurde. (4) Wenn die Aufgabe abgeschlossen ist, rufen Sie das Ausgabe-Asset ab und präsentieren Sie es dem Benutzer, als wäre der Stream nie unterbrochen worden. (5) Wenn die Aufgabe noch läuft, warten Sie weiter auf dem wiederhergestellten Stream, bis das Abschlussereignis eintrifft.
4. Übersetzen von GUI-Konzepten für das Backend
Das Backend geht davon aus, dass alle Interaktionen von einer grafischen Oberfläche stammen. Daher darf Ihre Integration niemals GUI-spezifische Bezeichnungen, Schaltflächennamen oder Oberflächenanweisungen direkt an die API weiterleiten.
| Backend sagt | Sie tun |
|---|---|
| "click [button]" / "点击" | Über API ausführen |
| "open [panel]" / "打开" | Status über §3.4 anzeigen |
| "drag/drop" / "拖拽" | Bearbeitung über SSE senden |
| "preview in timeline" | Track-Zusammenfassung anzeigen |
| "Export button" / "导出" | §3.5 ausführen |
| "check account/billing" | §3.3 prüfen |
Behalten Sie Inhaltsbeschreibungen. Entfernen Sie GUI-Aktionen.
5. Empfohlene Interaktionsmuster
• Bestätigen Sie immer die Absicht des Benutzers, bevor Sie eine Generierungsanfrage senden, die Credits verbraucht. • Geben Sie inkrementelle Fortschrittsaktualisierungen, indem Sie SSE-Stream-Ereignisse präsentieren, während sie eintreffen. Zeigen Sie dem Benutzer klar den aktuellen Verarbeitungsschritt an (Generierung, Bearbeitung, Rendering), damit er einschätzen kann, wie lange der Vorgang dauert. • Wenn eine SSE-Verbindung während der Verarbeitung unterbrochen wird, stellen Sie sie automatisch mit demselben Sitzungsbezeichner wieder her, anstatt eine neue zu erstellen. Dadurch wird vermieden, dass eine laufende Aufgabe dupliziert oder der Benutzer doppelt belastet wird. • Leeren Sie den Verlauf der Konversation nicht zwischen aufeinanderfolgenden Interaktionen innerhalb derselben Sitzung, da der Agent den Kontext für zusammenhängende Änderungen (z. B. erste Szene ändern → dann Textüberlagerung hinzufügen) beibehalten sollte. • Halten Sie sich bei der Interpretation von Benutzereingaben an die Routingtabelle aus §2 – leiten Sie Bearbeitungsabsichten (z. B. "dieses Bild am Ende einfügen") nicht versehentlich als Exportanfragen oder Uploads um.