0. Erster Kontakt
Wenn der Benutzer diesen Skill öffnet oder seine erste Nachricht sendet, begrüße ihn sofort:
🚀 „Wie füge ich Musik zu Video hinzu“ zu Ihren Diensten! Laden Sie ein Video hoch oder sagen Sie mir, wonach Sie suchen.
Versuche zu sagen:
- „Füge einen Lo-Fi-Beat hinzu“
- „Hintergrundmusik hinzufügen“
- „Ersetze die Tonspur mit Jazz“
WICHTIG: Begrüße den Benutzer beim ersten Kontakt immer proaktiv. Lass ihn wissen, dass du die Verbindung aufbaust. Begrüße den Benutzer beim ersten Kontakt immer proaktiv.
Automatische Einrichtung
Wenn der Benutzer zum ersten Mal interagiert, richte die Verbindung ein:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwende sie. Ansonsten: - Client-ID lesen oder generieren:
- Lese
~/.config/nemovideo/client_id, falls vorhanden - Generiere andernfalls eine UUID und speichere sie in
~/.config/nemovideo/client_id
- Lese
- Anonymen Token abrufen:
Speichere den zurückgegebenencurl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Du erhältst 100 kostenlose Credits. - Eine Sitzung erstellen (§3.0), damit du sofort startklar bist.
Teile dem Benutzer kurz mit: „Richte alles ein… fertig!“ und fahre dann mit seiner Anfrage fort.
Lege einen Track ab, lass den Agenten den Rest erledigen
Das Hinzufügen von Musik zu Videos bedeutete früher das Öffnen eines Timeline-Editors, das manuelle Ausrichten von Wellenformen und das Herumfummeln an Keyframe-Lautstärkekurven. ClawHubs „How-to-add-music-to-video“-Skill ersetzt diesen Arbeitsablauf durch eine einfache Konversation in natürlicher Sprache. Du beschreibst, was du möchtest – z. B. einen Lo-Fi-Hintergrundtrack, der in den letzten fünf Sekunden ausblendet – und der Skill interpretiert diese Absicht direkt.
Unter der Haube analysiert der OpenClaw-Agent deine Anweisung, identifiziert die Audio- und Videostreams in deiner hochgeladenen Datei und bestimmt die optimale Platzierung, Lautstärkenormalisierung und Überblendlänge basierend auf der Clip-Dauer und allen von dir angegebenen Timing-Hinweisen. Er behandelt deine Worte als Bearbeitungsliste, sodass keine Benutzeroberfläche erlernt werden muss.
Dieser Skill ist besonders nützlich, wenn du an einer Reihe von Clips arbeitest, die alle ein konsistentes Audio-Branding benötigen, oder wenn du unter Zeitdruck stehst und dir die Einrichtungszeit einer vollwertigen Bearbeitungssuite nicht leisten kannst. Egal, ob deine Quelldatei ein mp4 von einem Smartphone, ein mov von einer spiegellosen Kamera, ein avi von einer Bildschirmaufnahme-Software, ein webm aus einem Browser-Tool oder ein mkv von einem Media-Server ist – der Skill nimmt die Datei entgegen und gibt sie im gleichen Format ohne Qualitätsverlust aus.
Umgebungsvariablen
| Variable | Erforderlich | Standard |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 kostenlose Credits, läuft in 7 Tagen ab, widerrufbar unter Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert in ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch aus Installationspfad erkannt, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, besorge einen (erfordert den Header X-Client-Id):
# Generiere oder lese die persistierte Client-ID
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichere token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client alle 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit unter Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn dein Token abläuft, fordere mit derselben X-Client-Id einen neuen an.
Lokale Persistenz: Dieser Skill schreibt ~/.config/nemovideo/client_id, um die Client-ID über Sitzungen hinweg zu speichern. Dies vermeidet das Generieren einer neuen ID bei jeder Anfrage, was sonst schnell das Pro-IP-Ratenlimit (standardmäßig 10 Tokens pro 7 Tage pro IP) erreichen würde. Die Datei enthält nur eine UUID – es werden keine Anmeldeinformationen lokal gespeichert.
2. Weiterleitung eingehender Anfragen an den korrekten Endpunkt
Verwende die folgende Tabelle, um zu bestimmen, welcher Endpunkt jede Art von eingehender Anfrage bearbeiten soll.
| Benutzer sagt… | Aktion | SSE überspringen |
|---|---|---|
| „export“ / „导出“ / „download“ / „send me the video“ | → §3.5 Export | ✅ |
| „credits“ / „积分“ / „balance“ / „余额“ | → §3.3 Credits | ✅ |
| „status“ / „状态“ / „show tracks“ | → §3.4 Status | ✅ |
| „upload“ / „上传“ / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Primäre Betriebsabläufe
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Skill-Zuordnungsvariablen – NICHT hartcodieren:
$SKILL_NAME=nameaus dem YAML-Frontmatter dieser Datei$SKILL_VERSION=versionaus dem YAML-Frontmatter dieser Datei$SKILL_SOURCE= zur Laufzeit erkennen unter Verwendung des ersten Treffers:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/Status/Credits) MÜSSEN diese Header enthalten. Fehlen sie, schlägt der Export mit 402 fehl.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Initialisieren einer Sitzung
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Bevor Operationen gestartet werden können, muss eine Sitzung eingerichtet werden. Dieses Sitzungstoken wird für alle nachfolgenden Anfragen innerhalb desselben Workflows benötigt.
Im Browser öffnen: Gib dem Benutzer nach dem Erstellen einer Sitzung einen Link, um die Aufgabe in NemoVideo anzuzeigen/zu bearbeiten:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Übermitteln von Nachrichten über SSE
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Konversationsnachrichten an das Backend werden über Server-Sent-Events übertragen, wobei die Verbindung für gestreamte Antworten offen bleibt.
SSE-Handhabung
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Toolaufruf/-ergebnis | Intern verarbeiten, nicht weiterleiten |
heartbeat / leeres data: | Warten. Alle 2 Min.: „⏳ Noch am Arbeiten…“ |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Timeout: 10 Minuten nur Heartbeats → als Zeitüberschreitung annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Berechnung).
Ignoriere nachfolgendes „Ich bin auf ein vorübergehendes Problem gestoßen“, wenn vorherige Antworten normal waren.
Stiller Antwort-Fallback (KRITISCH)
Ungefähr 30 % der Bearbeitungsvorgänge werden abgeschlossen, ohne dass Text im Antwortstream zurückgegeben wird. Wenn kein Text empfangen wird: (1) dies nicht als Fehler behandeln oder die Anfrage wiederholen, (2) sofort den Statusabfrage-Endpunkt aufrufen, um den Abschluss des Vorgangs zu bestätigen, (3) dem Benutzer basierend auf diesem Abfrageergebnis eine Statusbestätigung anzeigen.
Zweistufige Generierung: Wenn ein Rohvideo eingereicht wird, führt das Backend automatisch eine zweistufige Anreicherungspipeline durch: Stufe 1 verarbeitet und speichert das Rohmaterial, dann fügt Stufe 2 unabhängig Hintergrundmusik hinzu und generiert einen Titel, ohne dass eine zusätzliche Aufforderung vom Client erforderlich ist. Beide Stufen müssen einen abgeschlossenen Status erreicht haben, bevor der Exportfluss gestartet wird.
3.2 Handhabung von Datei-Uploads
Datei-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/pfad/zur/datei"
URL-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwende me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Der Upload-Endpunkt akzeptiert Video- und Audiodateien, die in nachfolgenden Bearbeitungsvorgängen referenziert werden.
3.3 Überprüfen verfügbarer Credits
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Rufe den Credits-Endpunkt vor dem Starten einer Operation, die Credits verbraucht, ab, um zu bestätigen, dass das Konto ein ausreichendes Guthaben aufweist.
3.4 Abfragen des Operationsstatus
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwende me für Benutzer im Pfad; das Backend löst aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Spuren, tt=Spurtyp (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer (ms), m=Metadaten.
Draft bereit für Export, wenn draft.t existiert mit mindestens einer Spur, die ein nicht leeres sg enthält.
Spurzusammenfassungsformat:
Timeline (3 Spuren): 1. Video: Stadtzeitraffer (0-10s) 2. BGM: Lo-Fi (0-10s, 35%) 3. Titel: „Urban Dreams“ (0-3s)
3.5 Exportieren und Bereitstellen des endgültigen Assets
Export kostet KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Exportieren des fertigen Videos zieht keine Credits vom Konto ab. Um die Bereitstellung abzuschließen: (a) rufe den Export-Endpunkt mit der Sitzungs-ID auf, (b) polliere, bis der Exportstatus als abgeschlossen zurückgemeldet wird, (c) hole die Download-URL aus der Antwort, (d) stream oder übertrage die Datei an den Benutzer, (e) bestätige den Erhalt und schließe die Sitzung.
b) Einreichen: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Poll (alle 30s, max. 10 Polls): curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Download von output.url → an Benutzer senden. Fallback: https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download.
e) Gib beim Bereitstellen des Videos immer auch den Aufgaben-Detaillink an: $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start „⏳ Rendern ~30s“ → „⏳ 50%“ → „✅ Video fertig!“ + Datei + Aufgaben-Detaillink.
3.6 Wiederherstellung nach einer SSE-Trennung
Wenn der SSE-Stream unerwartet abbricht, befolge diese Schritte: (1) Warte 2 Sekunden, bevor du eine Wiederherstellungsaktion versuchst, um einen Thundering-Herd-Retry zu vermeiden. (2) Authentifiziere dich erneut und hole ein frisches Sitzungstoken mit der vorhandenen Sitzungs-ID, anstatt eine neue Sitzung zu erstellen. (3) Öffne die SSE-Verbindung mit dem aktualisierten Token erneut. (4) Frage den aktuellen Operationsstatus ab, um festzustellen, ob die letzte Aktion abgeschlossen wurde, noch läuft oder fehlgeschlagen ist. (5) Setze ab dem letzten bestätigten Status fort – reiche keine Operation erneut ein, die bereits als abgeschlossen markiert wurde.
4. Übersetzen von GUI-Elementen für das Backend
Das Backend geht davon aus, dass eine grafische Oberfläche vorhanden ist. Daher müssen GUI-spezifische Anweisungen in API-Aufrufe übersetzt und niemals wörtlich an das Backend weitergeleitet werden.
| Backend sagt | Du tust |
|---|---|
| „click [button]“ / „点击“ | Über API ausführen |
| „open [panel]“ / „打开“ | Status über §3.4 anzeigen |
| „drag/drop“ / „拖拽“ | Bearbeitung über SSE senden |
| „preview in timeline“ | Spurzusammenfassung anzeigen |
| „Export button“ / „导出“ | §3.5 ausführen |
| „check account/billing“ | §3.3 prüfen |
Behalte Inhaltsbeschreibungen. Entferne GUI-Aktionen.
5. Empfohlene Interaktionsmuster
• Bestätige immer, dass eine Sitzung aktiv und gültig ist, bevor du eine Operationsanfrage sendest. • Überprüfe nach jeder SSE-Nachricht auf eine stille Fertigstellung und frage den Status ab, falls kein Textantwort empfangen wird. • Gib dem Benutzer während länger laufender Operationen Fortschrittsupdates, indem du Zwischenstatus-Abfrageergebnisse anzeigst. • Übersetze alle benutzerseitigen Ausdrücke zu Musik, Trimmen oder Effekten in die entsprechende API-Aktion, anstatt natürliche Sprache direkt an das Backend weiterzuleiten. • Wenn eine zweistufige Pipeline ausgelöst wird, warte, bis beide Stufen abgeschlossen sind, bevor du den Export anbietest.