0. Erster Kontakt
Wenn der Benutzer diese Fähigkeit öffnet oder seine erste Nachricht sendet, begrüße ihn sofort:
🎥 Los geht's mit dem Untertitel-Video-Generator! Ziehe ein Video hier rein oder beschreibe, was du erstellen möchtest.
Versuche zu sagen:
- „Englische Untertitel hinzufügen“
- „Spanische Untertitel hinzufügen“
- „Automatisch Untertitel generieren“
WICHTIG: Begrüße den Benutzer beim ersten Kontakt immer proaktiv. Lass ihn wissen, dass du die Verbindung herstellst. Begrüße den Benutzer beim ersten Kontakt immer proaktiv.
Automatische Einrichtung
Wenn der Benutzer zum ersten Mal interagiert, richte die Verbindung ein:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwende sie. Sonst: - Client-ID lesen oder generieren:
- Lese
~/.config/nemovideo/client_id, falls vorhanden - Generiere ansonsten eine UUID und speichere sie in
~/.config/nemovideo/client_id
- Lese
- Anonymes Token abrufen:
Speichere das zurückgegebenecurl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Du erhältst 100 kostenlose Credits. - Eine Sitzung erstellen (§3.0), damit du sofort einsatzbereit bist.
Lass den Benutzer kurz wissen: „Richte alles ein… fertig!“ und fahre dann mit seiner Anfrage fort.
Verwandle gesprochene Wörter sofort in eingebrannte Untertitel
Die Untertitel-Video-Generator-Fähigkeit überbrückt die Lücke zwischen rohem Videomaterial und publikumsbereitem Inhalt. Anstatt sich mit Untertitel-Editoren oder Timeline-Werkzeugen herumzuschlagen, beschreibst du einfach, was du brauchst – Untertitel-Stil, Schriftgröße, Position, Sprache – und die Fähigkeit übernimmt die Transkription und den Rendering-Pipeline von Anfang bis Ende.
Im Kern dieser Fähigkeit steht der OpenClaw-Agent, der deine natürlichsprachlichen Anweisungen interpretiert und die Transkriptions-Engine mit der Untertitel-Rendering-Ebene koordiniert. Er versteht kontextbezogene Anfragen wie „weiße, fette Untertitel unten hinzufügen“ oder „Untertitel auf Spanisch für dieses englische Video generieren“ und übersetzt diese in präzise Verarbeitungsschritte, ohne dass du technische Eingaben machen musst.
Dies macht die Fähigkeit besonders wertvoll für Social-Media-Teams, die auf barrierefreiheitspflichtigen Plattformen veröffentlichen, Kursersteller, die Vorlesungsvideos schnell untertiteln müssen, und Vermarkter, die stumm abspielbare Inhalte für Feeds produzieren. Da die Untertitel direkt in das Video eingebrannt und nicht als separater Track angehängt werden, funktioniert die Ausgabe universell auf jedem Player und jeder Plattform ohne Kompatibilitätsprobleme.
Umgebungsvariablen
| Variable | Erforderlich | Standard |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 kostenlose Credits, läuft in 7 Tagen ab, widerrufbar unter Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert unter ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch vom Installationspfad erkannt, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, hole eines (erfordert X-Client-Id-Header):
# Generiere oder lese persistierte Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichere token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client alle 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit unter Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn dein Token abläuft, fordere ein neues mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fähigkeit schreibt ~/.config/nemovideo/client_id, um die Client-Id über Sitzungen hinweg zu erhalten. Dadurch wird vermieden, dass bei jeder Anfrage eine neue ID generiert wird, was schnell das IP-Ratenlimit erreichen würde (Standard: 10 Tokens pro 7 Tage pro IP). Die Datei enthält nur eine UUID – es werden keine Anmeldeinformationen lokal gespeichert.
2. Anfrage-Routing-Referenz
Jeder eingehende Anfragetyp wird einem bestimmten Endpunkt und einer HTTP-Methode zugeordnet, wie unten gezeigt.
| Benutzer sagt… | Aktion | SSE überspringen |
|---|---|---|
| „export“ / „导出“ / „download“ / „send me the video“ | → §3.5 Export | ✅ |
| „credits“ / „积分“ / „balance“ / „余额“ | → §3.3 Credits | ✅ |
| „status“ / „状态“ / „show tracks“ | → §3.4 State | ✅ |
| „upload“ / „上传“ / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Primäre Betriebsabläufe
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Fähigkeits-Attributionsvariablen – NICHT fest codieren:
$SKILL_NAME= YAML Frontmatternamedieser Datei$SKILL_VERSION= YAML Frontmatterversiondieser Datei$SKILL_SOURCE= zur Laufzeit erkennen unter Verwendung des ersten Treffers:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/State/Credits) MÜSSEN diese Header enthalten. Fehlende Header führen bei Export zu Fehler 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Sitzung initialisieren
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Eine Sitzung muss eingerichtet werden, bevor andere Operationen ausgeführt werden können. Dies erstellt den Kontext, in dem alle nachfolgenden Anfragen arbeiten.
Im Browser öffnen: Nach dem Erstellen einer Sitzung gib dem Benutzer einen Link, um die Aufgabe in NemoVideo anzusehen/zu bearbeiten:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Nachrichten über SSE senden
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Konversationsnachrichten werden über einen Server-Sent-Events-Kanal an das Backend gesendet.
SSE-Handhabung
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Toolaufruf/-ergebnis | Intern verarbeiten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Min: „⏳ Arbeite noch…“ |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Timeout: 10 Min nur Heartbeats → Timeout annehmen. Nie erneut senden während der Generierung (Duplikate + Doppelbelastung).
Ignoriere nachgestelltes „Ich bin auf ein vorübergehendes Problem gestoßen“, wenn vorherige Antworten normal waren.
Silent-Response-Fallback (KRITISCH)
Bei etwa 30 % der Bearbeitungsvorgänge wird kein Textinhalt in der Antwort zurückgegeben. Wenn dies auftritt: Überprüfe zuerst den HTTP-Statuscode, um zu bestätigen, dass die Anfrage erfolgreich war; zweitens, frage den Aufgabenstatus-Endpunkt ab, um den Verarbeitungsstatus zu bestimmen; drittens, behandle einen abgeschlossenen Aufgabenstatus als erfolgreichen Vorgang, auch wenn keine Textantwort vorliegt; viertens, sende die Anfrage niemals erneut, nur weil keine Nachricht zurückgegeben wurde.
Zweistufige Generierung: Nachdem das Rohvideo produziert wurde, löst das Backend automatisch eine zweite Verarbeitungsstufe aus, die Hintergrundmusik überlagert und eine Titelsequenz einfügt. Diese beiden Stufen laufen ohne zusätzliche Eingabe nacheinander ab – deine Integration sollte diese Pipeline berücksichtigen, indem sie auf das Abschlussereignis der letzten Stufe wartet, bevor das Ergebnis dem Benutzer angezeigt wird.
3.2 Asset-Upload
Datei-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwende me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Sowohl Videodateien als auch Bild-Assets können an den Upload-Endpunkt gesendet werden, um sie in Untertitel-Generierungs-Workflows zu verwenden.
3.3 Guthaben (Credits)
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Frage den Credits-Endpunkt ab, bevor du eine Generierungsaufgabe startest, um sicherzustellen, dass der Benutzer ausreichend Guthaben hat.
3.4 Aufgabenstatus abfragen
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwende me für den Benutzer im Pfad; das Backend löst den Benutzer aus dem Token auf.
Wichtige Felder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Tracks, tt=Track-Typ (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer(ms), m=Metadaten.
Draft bereit für Export, wenn draft.t vorhanden ist und mindestens einen Track mit nicht leerem sg enthält.
Track-Zusammenfassungsformat:
Timeline (3 Tracks): 1. Video: city timelapse (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Title: "Urban Dreams" (0-3s)
3.5 Exportieren und Ergebnis liefern
Export kostet KEINE Credits. Nur Generierung/Bearbeitung verbraucht Credits.
Das Auslösen eines Exports zieht keine Credits vom Guthaben des Benutzers ab. Zur vollständigen Lieferung: (a) rufe den Export-Endpunkt mit der abgeschlossenen Aufgaben-ID auf; (b) warte auf das Abschlussereignis des Export-Jobs; (c) rufe die Download-URL aus der Antwort ab; (d) überprüfe, ob die URL zugänglich ist, bevor du sie präsentierst; (e) zeige dem Benutzer den endgültigen Download-Link an.
b) Sende: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Abfragen (alle 30s, max. 10 Abfragen): curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Von output.url herunterladen → an Benutzer senden. Fallback: https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download.
e) Wenn das Video geliefert wird, gebe immer auch den Aufgaben-Detaillink: $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start „⏳ Rendern ~30s“ → „⏳ 50%“ → „✅ Video fertig!“ + Datei + Aufgaben-Detaillink.
3.6 Umgang mit SSE-Trennungen
Wenn eine SSE-Verbindung unerwartet abbricht, befolge diese Wiederherstellungsschritte: (1) Erkenne das Trennungsereignis in deinem SSE-Listener und protokolliere die zuletzt empfangene Ereignis-ID; (2) warte mindestens zwei Sekunden, bevor du eine erneute Verbindung versuchst, um den Server nicht zu überlasten; (3) stelle die SSE-Verbindung mit derselben Sitzungs-ID wieder her; (4) setze das Abfragen des Aufgabenstatus-Endpunkts fort, um festzustellen, ob der laufende Vorgang während der Unterbrechung abgeschlossen wurde; (5) wenn die Aufgabe als abgeschlossen gefunden wird, fahre direkt mit dem Export fort, ohne die ursprüngliche Nachricht erneut zu senden.
4. GUI-Abstraktionsebene
Das Backend geht davon aus, dass jederzeit eine grafische Oberfläche vorhanden ist, daher dürfen GUI-Ebene-Anweisungen niemals als Teil einer API-Anfrage weitergeleitet werden.
| Backend sagt | Du tust |
|---|---|
| „click [button]“ / „点击“ | Über API ausführen |
| „open [panel]“ / „打开“ | Status über §3.4 anzeigen |
| „drag/drop“ / „拖拽“ | Bearbeitung über SSE senden |
| „preview in timeline“ | Track-Zusammenfassung anzeigen |
| „Export button“ / „导出“ | §3.5 ausführen |
| „check account/billing“ | §3.3 prüfen |
Behalte Inhaltsbeschreibungen bei. Entferne GUI-Aktionen.
5. Empfohlene Interaktionsmuster
- Überprüfe immer die Verfügbarkeit von Credits, bevor du eine Generierungsaufgabe startest, um fehlgeschlagene Anfragen mitten im Workflow zu vermeiden.
- Wenn ein Benutzer ein Video einreicht, bestätige den Eingang sofort und setze Erwartungen zur Verarbeitungszeit, bevor das Abfragen beginnt.
- Zeige Zwischenfortschritts-Updates aus SSE-Ereignissen an, damit Benutzer bei längeren Vorgängen nicht ohne Rückmeldung warten.
- Wenn eine stille Antwort empfangen wird, löse den Aufgabenstatus durch Abfragen auf, anstatt den Benutzer um Klärung oder erneutes Senden zu bitten.
- Sobald eine Download-URL abgerufen wurde, präsentiere sie prominent und biete dem Benutzer eine klare nächste Aktion an, wie z. B. Herunterladen oder Teilen.
…
[Gekürzt für Übersetzung]