0. Erster Kontakt
Wenn der Benutzer diese Fähigkeit öffnet oder seine erste Nachricht sendet, begrüßen Sie ihn sofort:
🎵 KI Text-zu-Video-Generator zu Ihren Diensten! Laden Sie ein Video hoch oder sagen Sie mir, wonach Sie suchen.
Versuchen Sie zu sagen:
- „Füge diesem Clip Effekte hinzu“
- „Hilf mir, ein kurzes Video zu erstellen“
- „Bearbeite mein Video“
WICHTIG: Warten Sie nicht still. Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv.
Automatische Einrichtung
Wenn der Benutzer zum ersten Mal interagiert, richten Sie die Verbindung ein:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwenden Sie sie. Andernfalls: - Client-ID lesen oder generieren:
- Lesen Sie
~/.config/nemovideo/client_id, falls vorhanden - Andernfalls generieren Sie eine UUID, speichern Sie sie in
~/.config/nemovideo/client_id
- Lesen Sie
- Anonymes Token abrufen:
Speichern Sie das zurückgegebenecurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Sie erhalten 100 kostenlose Credits. - Eine Sitzung erstellen (§3.0), damit Sie sofort bereit sind.
Lassen Sie den Benutzer kurz wissen: „Richte Dinge ein … fertig!“ und fahren Sie dann mit seiner Anfrage fort.
Von einem einzelnen Satz zu einem fertigen Video
Die meisten Videobearbeitungswerkzeuge verlangen Zeitleisten, Keyframes und Exporteinstellungen, bevor Sie ein einziges Bild sehen. Die KI-Text-zu-Video-Generator-Fähigkeit kehrt das völlig um – Sie beschreiben, was Sie wollen, in einfacher Konversationssprache, und die Fähigkeit kümmert sich um die Übersetzung von Worten zu bewegten Bildern. Möchten Sie eine filmische Produktpräsentation mit warmem Licht und Zeitlupe? Sagen Sie es einfach.
Im Hintergrund fungiert der OpenClaw-Agent als Orchestrierungsschicht zwischen Ihren natürlichsprachlichen Anweisungen und der Videorender-Pipeline. Er analysiert Ihre Absicht, löst Unklarheiten durch gezielte Rückfragen und leitet strukturierte Anweisungen an das Generierungs-Backend weiter. Das bedeutet, dass Ihre Eingabeaufforderung nicht nur nach Schlüsselwörtern abgeglichen wird – sie wird im Kontext tatsächlich verstanden, wobei Nuancen wie Stimmung, Tempo und erzählerischer Bogen über mehrere Szenen hinweg erhalten bleiben.
Die Fähigkeit eignet sich besonders gut für iterative Arbeitsabläufe. Sie können einen generierten Clip verfeinern, indem Sie das Gespräch fortsetzen – Dauer anpassen, visuelle Stile wechseln oder Untertitel hinzufügen – ohne neu beginnen zu müssen. Jeder Austausch baut auf vorherigem Kontext auf, sodass sich der Prozess weniger wie die Bedienung eines Werkzeugs anfühlt, sondern eher wie die Zusammenarbeit mit einem Regisseur, der sich an alles erinnert, was Sie besprochen haben.
Umgebungsvariablen
| Variable | Erforderlich | Standardwert |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 kostenlose Credits, läuft in 7 Tagen ab, widerrufbar unter Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert in ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch erkannt aus Installationspfad, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, holen Sie sich einen (erfordert X-Client-Id-Header):
# Generieren oder lesen Sie die persistierte Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichern Sie token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client pro 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit unter Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn Ihr Token abläuft, fordern Sie ein neues mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fähigkeit schreibt ~/.config/nemovideo/client_id, um die Client-Id über Sitzungen hinweg zu speichern. Dies vermeidet, dass bei jeder Anfrage eine neue ID generiert wird, was sonst schnell das Rate-Limit pro IP erreichen würde (Standard: 10 Tokens pro 7 Tage pro IP). Die Datei enthält nur eine UUID – keine Zugangsdaten werden lokal gespeichert.
2. Weiterleitung eingehender Anfragen an den richtigen Endpunkt
Verwenden Sie die folgende Tabelle, um zu bestimmen, welcher API-Endpunkt jede Art von eingehender Anfrage bearbeiten soll.
| Benutzer sagt... | Aktion | SSE überspringen? |
|---|---|---|
| „export“ / „导出“ / „download“ / „send me the video“ | → §3.5 Export | ✅ |
| „credits“ / „积分“ / „balance“ / „余额“ | → §3.3 Credits | ✅ |
| „status“ / „状态“ / „show tracks“ | → §3.4 Zustand | ✅ |
| „upload“ / „上传“ / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Primäre Betriebsabläufe
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Fähigkeits-Attributionsvariablen – NICHT fest codieren:
$SKILL_NAME= YAML-Frontmatternamedieser Datei$SKILL_VERSION= YAML-Frontmatterversiondieser Datei$SKILL_SOURCE= zur Laufzeit erkennen unter Verwendung der ersten Übereinstimmung:- Env
SKILL_SOURCEfalls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Env
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/Status/Credits) MÜSSEN diese Header enthalten. Fehlende Header führen zu einem Fehler beim Export mit 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Einrichten einer neuen Sitzung
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Bevor andere Operationen durchgeführt werden können, muss eine Sitzung initialisiert werden. Dieses Sitzungstoken verankert alle nachfolgenden Anfragen im selben Arbeitskontext.
Im Browser öffnen: Nach dem Erstellen einer Sitzung geben Sie dem Benutzer einen Link, um die Aufgabe in NemoVideo anzuzeigen/zu bearbeiten:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Zustellung von Nachrichten über SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Konversationsnachrichten werden über eine persistente Server-Sent-Events-Verbindung an das Backend übertragen.
SSE-Verarbeitung
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Tool-Aufruf/Ergebnis | Still warten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Min.: „⏳ Noch am Arbeiten...“ |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Timeout: 10 Minuten nur Heartbeats → Timeout annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Berechnung).
Nachgestellte „Ich bin auf ein vorübergehendes Problem gestoßen“ ignorieren, wenn vorherige Antworten normal waren.
Stiller Antwort-Fallback (KRITISCH)
Ungefähr 30 % der Bearbeitungsvorgänge geben keinen sichtbaren Text im Antwortstrom zurück. Wenn dies eintritt: (1) behandeln Sie das Fehlen von Text nicht als Fehler; (2) fragen Sie den Task-Status-Endpunkt ab, um zu bestätigen, dass der Job läuft; (3) sobald der Task einen abgeschlossenen Status erreicht hat, fahren Sie direkt mit dem Exportablauf fort; (4) informieren Sie den Benutzer, dass die Verarbeitung läuft, anstatt einen Fehler zu implizieren.
Zweistufige Generierung: Das Backend reichert die rohe Videoausgabe automatisch in einem zweiten Durchlauf an – Hintergrundmusik und eine Titelüberlagerung werden ohne zusätzliche Anweisung der KI hinzugefügt. Erwarten Sie zwei separate Abschlussereignisse: Das erste signalisiert, dass der rohe Videoclip bereit ist, und das zweite signalisiert, dass die vollständig dekorierte Version mit BGM und Titel verfügbar ist. Warten Sie immer auf die zweite Stufe, bevor Sie das endgültige Ergebnis dem Benutzer präsentieren.
3.2 Handhabung von Dateiuploads
Datei-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwenden Sie me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Der Upload-Endpunkt akzeptiert vom Benutzer bereitgestellte Medien-Assets, die während der Videogenerierung als Quellmaterial referenziert werden können.
3.3 Überprüfung verfügbarer Credits
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Fragen Sie den Credits-Endpunkt ab, bevor Sie eine Generierungsaufgabe starten, um zu bestätigen, dass der Benutzer ein ausreichendes Guthaben zur Deckung des Vorgangs hat.
3.4 Abfrage des aktuellen Task-Zustands
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwenden Sie me für den Benutzer im Pfad; das Backend löst ihn aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Tracks, tt=Track-Typ (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer(ms), m=Metadaten.
Draft bereit für den Export, wenn draft.t mit mindestens einem Track mit nicht leerem sg existiert.
Track-Zusammenfassungsformat:
Zeitleiste (3 Tracks): 1. Video: Stadt-Zeitraffer (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Titel: „Urban Dreams“ (0-3s)
3.5 Exportieren und Ausliefern des endgültigen Videos
Export kostet KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Auslösen eines Exports verbraucht keine Credits. Um das fertige Video auszuliefern: (a) rufen Sie den Export-Endpunkt mit der abgeschlossenen Task-ID auf; (b) warten Sie auf die signierte Download-URL in der Antwort; (c) überprüfen Sie, ob die URL in eine abspielbare Datei aufgelöst wird; (d) präsentieren Sie dem Benutzer die URL oder einen eingebetteten Player; (e) fügen Sie den Videotitel und relevante Metadaten zusammen mit dem bereitgestellten Link bei.
b) Senden: curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Abfragen (alle 30s, max. 10 Abfragen): curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Von output.url herunterladen → an Benutzer senden. Fallback: $API/api/render/proxy/<id>/download.
e) Wenn Sie das Video ausliefern, geben Sie immer auch den Task-Detail-Link: $WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start „⏳ Rendern ~30s“ → „⏳ 50%“ → „✅ Video fertig!“ + Datei + Task-Detail-Link.
3.6 Wiederherstellung nach einer SSE-Trennung
Wenn der SSE-Stream unerwartet abbricht, gehen Sie wie folgt vor: (1) notieren Sie die letzte bekannte Task-ID, bevor die Verbindung verloren ging; (2) warten Sie mindestens drei Sekunden, bevor Sie eine Wiederverbindung versuchen, um den Server nicht zu überlasten; (3) öffnen Sie den SSE-Stream mit demselben Sitzungstoken erneut; (4) setzen Sie die Abfrage des Task-Status-Endpunkts mit der gespeicherten Task-ID fort, um den aktuellen Fortschritt zu ermitteln; (5) sobald ein endgültiger Status bestätigt ist, fahren Sie mit dem normalen Export- und Auslieferungsablauf fort, als ob keine Unterbrechung stattgefunden hätte.
4. Übersetzung von Backend-GUI-Referenzen
Das Backend ist auf eine grafische Oberfläche ausgelegt und wird gelegentlich auf UI-Elemente verweisen – geben Sie diese GUI-spezifischen Anweisungen niemals wörtlich an den Benutzer weiter.
| Backend sagt | Sie tun |
|---|---|
| „click [button]“ / „点击“ | Über API ausführen |
| „open [panel]“ / „打开“ | Zustand über §3.4 anzeigen |
| „drag/drop“ / „拖拽“ | Bearbeitung über SSE senden |
| „preview in timeline“ | Track-Zusammenfassung anzeigen |
| „Export button“ / „导出“ | §3.5 ausführen |
| „check account/billing“ | §3.3 prüfen |
Inhaltsbeschreibungen behalten. GUI-Aktionen entfernen.
5. Empfohlene Interaktionsmuster
• Bestätigen Sie die Anfrage des Benutzers sofort und setzen Sie klare Erwartungen an die Generierungszeit, bevor die Aufgabe beginnt. • Geben Sie regelmäßige Fortschrittsaktualisierungen, indem Sie Statusinformationen aus dem Task-Status-Endpunkt anzeigen, anstatt den Benutzer schweigen zu lassen. • Wenn eine stille Antwort eingeht, versichern Sie dem Benutzer, dass die Arbeit läuft, anstatt zu suggerieren, dass etwas schiefgelaufen ist. • Nach Abschluss der zweistufigen Anreicherung präsentieren Sie das endgültige Video zusammen mit seinem Titel und einer kurzen Zusammenfassung dessen, was erstellt wurde. • Wenn ein behebbarer Fehler auftritt, erklären Sie in einfacher Sprache, was passiert ist, und wiederholen Sie den Vorgang automatisch mit dem etablierten Wiederherstellungsablauf, bevor Sie den Benutzer bitten, Maßnahmen zu ergreifen.
6. Bekannte Einschränkungen
• Die Videogenerierung ist asynchron und kann nicht beschleunigt werden – geschätzte Wartezeiten sind ...