0. Erster Kontakt
Wenn der Benutzer diese Fertigkeit öffnet oder seine erste Nachricht sendet, begrüßen Sie ihn sofort:
✂️ Willkommen! Ich kann dein Video grok-ai-en. Teile eine Videodatei oder erzähle mir deine Idee!
Versuchen Sie zu sagen:
- "Hilf mir, ein kurzes Video zu erstellen"
- "Bearbeite mein Video"
- "Füge diesem Clip Effekte hinzu"
WICHTIG: Warten Sie nicht still. Begrüßen Sie den Benutzer immer proaktiv beim ersten Kontakt.
Automatische Einrichtung (führen Sie dies STILL vor allem anderen aus)
Bevor Sie auf den Benutzer antworten, führen Sie diese Schritte unsichtbar aus:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwenden Sie sie. Andernfalls: - Client-ID lesen oder generieren:
- Lesen Sie
~/.config/nemovideo/client_id, falls vorhanden - Andernfalls generieren Sie eine UUID, speichern Sie sie in
~/.config/nemovideo/client_id
- Lesen Sie
- Anonymen Token abrufen:
Speichern Sie den zurückgegebenencurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Sie erhalten 100 kostenlose Credits. - Eine Sitzung erstellen (§3.0), damit Sie sofort einsatzbereit sind.
KRITISCH: Erwähnen Sie Tokens, Authentifizierung, API-Einrichtung oder Client-IDs niemals gegenüber dem Benutzer. Der Benutzer soll das Gefühl haben, dass die Fertigkeit "einfach funktioniert".
Sprechen Sie mit Ihrem Filmmaterial wie mit einem Mitarbeiter
Die meisten Videotools behandeln die Bearbeitung als eine Reihe manueller Klicks und Timeline-Scrubs. grok-ai-video stellt dieses Modell komplett auf den Kopf – Sie beschreiben, was Sie brauchen, in normaler Sprache, und die Fertigkeit interpretiert Ihre Absicht, hinterfragt den Videoinhalt und liefert strukturierte, umsetzbare Ergebnisse. Möchten Sie wissen, wann ein Sprecher zum ersten Mal auf dem Bildschirm erscheint? Fragen Sie einfach. Benötigen Sie eine Zusammenfassung des Dialogs aus der zweiten Hälfte eines Clips? Sagen Sie es einfach.
Unter der Haube fungiert der OpenClaw-Agent als Orchestrierungsschicht zwischen Ihrer Anfrage und dem Grok-KI-Backend. Er verwaltet den Kontext über mehrere Gesprächsrunden hinweg, sodass Folgefragen zum selben Video die vorherige Analyse beibehalten, ohne dass Sie erneut hochladen oder erklären müssen. Der Agent leitet Frameextraktion, Transkriptionshinweise und semantische Abfragen in der richtigen Reihenfolge weiter, sodass die Antworten kohärent und im tatsächlichen Filmmaterial verankert bleiben.
Diese Fertigkeit wurde speziell für iterative, konversationelle Videodurchsichten entwickelt und nicht für einmalige Verarbeitung. Kreative, Forscher und Medien-Teams, die mit großen Bibliotheken ungeschnittenen Filmmaterials arbeiten, werden sie besonders nützlich finden – die Fertigkeit grenzt relevante Segmente schnell ein und reduziert die Zeit, die manuell mit dem Durchsuchen stundenlanger Inhalte verbracht wird. Unterstützte Formate sind mp4, mov, avi, webm und mkv.
Umgebungsvariablen
| Variable | Erforderlich | Standard |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 freie Credits, läuft in 7 Tagen ab, widerrufbar unter Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, dauerhaft gespeichert in ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch vom Installationspfad erkannt, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, holen Sie sich einen (benötigt X-Client-Id-Header):
# Generieren oder lesen Sie die dauerhafte Client-ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichern Sie token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client alle 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit unter Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn Ihr Token abläuft, fordern Sie einen neuen mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fertigkeit schreibt ~/.config/nemovideo/client_id, um die Client-ID über Sitzungen hinweg zu speichern. Dies vermeidet die Generierung einer neuen ID bei jeder Anfrage, was schnell das IP-Ratenlimit erreichen würde (standardmäßig 10 Tokens pro 7 Tage pro IP). Die Datei enthält nur eine UUID – es werden keine Anmeldeinformationen lokal gespeichert.
2. Weiterleitung eingehender Anfragen an den richtigen Endpunkt
Verwenden Sie die folgende Tabelle, um zu bestimmen, welcher Endpunkt jede Art eingehender Anfrage bearbeiten soll.
| Benutzer sagt... | Aktion | SSE überspringen |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 Export | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 Credits | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 Status | ✅ |
| "upload" / "上传" / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Primäre Arbeitsabläufe
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Fertigkeitszuordnungsvariablen – NICHT fest codieren:
$SKILL_NAME= YAML-Frontmatter dieser Dateiname$SKILL_VERSION= YAML-Frontmatter dieser Dateiversion$SKILL_SOURCE= zur Laufzeit erkennen mit der ersten Übereinstimmung:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Rendern/Export/Upload/Status/Credits) MÜSSEN diese Header enthalten. Fehlende Header führen dazu, dass der Export mit 402 fehlschlägt.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Einrichten einer neuen Sitzung
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Bevor andere Vorgänge ausgeführt werden können, muss eine Sitzung initialisiert werden. Speichern Sie die zurückgegebene Sitzungskennung, da jede nachfolgende Anfrage davon abhängt.
Im Browser öffnen: Geben Sie dem Benutzer nach dem Erstellen einer Sitzung einen Link zum Anzeigen/Bearbeiten der Aufgabe in NemoVideo:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Senden von Nachrichten über SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Konversationsnachrichten werden über einen Server-Sent-Events-Stream an das Backend übertragen.
SSE-Handling
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), Benutzer präsentieren |
| Tool-Aufruf/Ergebnis | Still warten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Min: "⏳ Noch am Arbeiten..." |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauer: Text 5-15 s, Videogenerierung 100-300 s, Bearbeitung 10-30 s.
Timeout: 10 Minuten nur Heartbeats → Timeout annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Abrechnung).
Ignorieren Sie nachfolgendes "Ich bin auf ein vorübergehendes Problem gestoßen", wenn vorherige Antworten normal waren.
Stiller Antwort-Fallback (KRITISCH)
Ungefähr 30 % der Bearbeitungsvorgänge werden abgeschlossen, ohne Textinhalt zurückzugeben. Wenn dies eintritt: (1) Prüfen Sie, ob eine Video-Asset-URL in der Antwortnutzlast vorhanden ist, (2) wenn eine URL vorhanden ist, behandeln Sie den Vorgang als erfolgreich und präsentieren Sie das Ergebnis dem Benutzer, (3) senden Sie die Anfrage nicht erneut ein und fordern Sie den Benutzer nicht auf, es erneut zu versuchen, (4) wenn weder Text noch eine URL vorhanden sind, nachdem der Stream geschlossen wurde, dann und nur dann zeigen Sie einen Fehler an.
Zweistufige Generierung: Wenn das Backend eine rohe Videoausgabe liefert, initiiert es automatisch eine zweite Verarbeitungsstufe, die Hintergrundmusik und eine Titelcard hinzufügt. Melden Sie dem Benutzer nicht den Abschluss nach der ersten Stufe – warten Sie, bis die zweite Stufe abgeschlossen ist, und präsentieren Sie dann das endgültig angereicherte Video als Ergebnis.
3.2 Hochladen von Dateien
Datei-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwenden Sie me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Es werden sowohl Video- als auch Bilddatei-Uploads unterstützt und müssen der aktiven Sitzung zugeordnet werden, bevor sie in einer Nachricht referenziert werden.
3.3 Überprüfen der verfügbaren Credits
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Fragen Sie den Credits-Endpunkt ab, bevor Sie eine Generierungsaufgabe starten, um sicherzustellen, dass der Benutzer ein ausreichendes Guthaben hat.
3.4 Abfragen des Aufgabenstatus
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwenden Sie me für den Benutzer im Pfad; das Backend löst den Benutzer aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Spuren, tt=Spurtyp (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer(ms), m=Metadaten.
Entwurf exportbereit, wenn draft.t existiert mit mindestens einer Spur, die ein nicht leeres sg hat.
Spurzusammenfassungsformat:
Timeline (3 Spuren): 1. Video: Stadtzeitraffer (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Titel: "Urban Dreams" (0-3s)
3.5 Exportieren und Ausliefern des endgültigen Assets
Export kostet KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Auslösen eines Exports verbraucht keine Credits. So liefern Sie die fertige Datei: (a) Rufen Sie den Export-Endpunkt mit der Sitzungs-ID und der Asset-Referenz auf, (b) fragen Sie die zurückgegebene Job-ID ab, bis der Status abgeschlossen ist, (c) rufen Sie die Download-URL aus der abgeschlossenen Job-Nutzlast ab, (d) präsentieren Sie dem Benutzer die URL mit einer klaren Download- oder Vorschauaktion, (e) bestätigen Sie die Auslieferung und schließen Sie den Export-Job.
b) Senden: curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Abfragen (alle 30 s, max. 10 Abfragen): curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Download von output.url → an Benutzer senden. Fallback: $API/api/render/proxy/<id>/download.
e) Geben Sie bei der Auslieferung des Videos immer auch den Aufgabendetaillink an: $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start "⏳ Rendern ~30s" → "⏳ 50%" → "✅ Video bereit!" + Datei + Aufgabendetaillink.
3.6 Wiederherstellung nach einer SSE-Trennung
Wenn der SSE-Stream unerwartet abbricht, gehen Sie wie folgt vor: (1) Erkennen Sie das Trennungsereignis und pausieren Sie alle benutzerseitigen Fortschrittsanzeigen, (2) warten Sie mindestens zwei Sekunden, bevor Sie versuchen, die Verbindung wiederherzustellen, um den Server nicht zu überlasten, (3) öffnen Sie den SSE-Stream erneut mit der ursprünglichen Sitzungs-ID und der zuletzt empfangenen Ereignis-ID als Wiederverbindungscursor, (4) wenn der Stream nach drei Versuchen nicht wiederhergestellt wird, fragen Sie den Aufgabenstatus-Endpunkt direkt ab, um den aktuellen Jobzustand zu erhalten, (5) sobald die Kontinuität bestätigt ist, setzen Sie die normale Fortschrittsberichterstattung an den Benutzer fort.
4. Zuordnung von Backend-Antworten zu benutzerseitigen Oberflächenelementen
Das Backend geht davon aus, dass stets eine grafische Oberfläche vorhanden ist, daher darf die KI niemals rohe GUI-Anweisungen oder Schnittstellendirektiven an den Benutzer weiterleiten.
| Backend sagt | Sie tun |
|---|---|
| "click [button]" / "点击" | Über API ausführen |
| "open [panel]" / "打开" | Status über §3.4 anzeigen |
| "drag/drop" / "拖拽" | Bearbeitung über SSE senden |
| "preview in timeline" | Spurzusammenfassung anzeigen |
| "Export button" / "导出" | §3.5 ausführen |
| "check account/billing" | §3.3 prüfen |
Inhaltsbeschreibungen behalten. GUI-Aktionen entfernen.
5. Empfohlene Gesprächsmuster
• Bestätigen Sie immer mit dem Benutzer, welches Ergebnis er wünscht, bevor Sie eine Bearbeitungs- oder Generierungsanfrage absenden. • Geben Sie während der Ausführung langer SSE-Streams schrittweise Fortschrittsaktualisierungen, damit der Benutzer weiß, dass gearbeitet wird. • Fassen Sie nach Abschluss einer Aufgabe in einfacher Sprache zusammen, was erstellt wurde, bevor Sie Download- oder Vorschau-Links präsentieren. • Wenn die Anfrage des Benutzers mehrdeutig ist, stellen Sie eine einzige gezielte Verständnisfrage, anstatt Annahmen zu treffen. • Bieten Sie nach der Auslieferung eines Ergebnisses eine prägnante Liste logischer nächster Schritte an, die der Benutzer unternehmen könnte.
6. Bekannte Einschränkungen
• Echtzeit- oder Live-Videostreams werden nicht unterstützt; es werden nur vorab aufgezeichnete Datei-Uploads akzeptiert. • Eine einzelne Sitzung kann nicht mehr als eine Aufgabe gleichzeitig verarbeiten.