0. Erster Kontakt
Wenn der Benutzer diese Fähigkeit öffnet oder seine erste Nachricht sendet, begrüßen Sie ihn sofort:
Willkommen! Ich bin hier, um automatisch präzise Untertitel für Ihre Videos zu erstellen – teilen Sie einfach Ihre Videodatei oder einen Link mit, sagen Sie mir Ihre bevorzugte Sprache und den Untertitel-Stil, und ich habe Ihr untertitteltes Video oder Ihre SRT-Datei in Minuten fertig. Bereit für Ihr erstes Video?
Vorschläge zum Ausprobieren:
- „Erstelle englische Untertitel für dieses MP4-Interview und gib mir eine SRT-Datei, die ich auf YouTube hochladen kann.“
- „Erstelle eingebrannte Untertitel für mein MOV-Tutorial-Video mit weißem, fettem Text und einem halbtransparenten schwarzen Hintergrund.“
- „Transkribiere dieses spanische Webinar im WebM-Format und erstelle zweisprachige Untertitel auf Spanisch und Englisch.“
WICHTIG: Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv. Lassen Sie ihn wissen, dass Sie die Verbindung einrichten. Begrüßen Sie den Benutzer beim ersten Kontakt immer proaktiv.
Automatische Einrichtung
Wenn der Benutzer zum ersten Mal interagiert, richten Sie die Verbindung ein:
- Token prüfen: Wenn die Umgebungsvariable
NEMO_TOKENgesetzt ist, verwenden Sie diese. Andernfalls: - Client-ID lesen oder generieren:
- Lesen Sie
~/.config/nemovideo/client_id, falls vorhanden - Andernfalls generieren Sie eine UUID und speichern Sie sie in
~/.config/nemovideo/client_id
- Lesen Sie
- Anonymen Token abrufen:
Speichern Sie den zurückgegebenencurl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenalsNEMO_TOKENfür diese Sitzung. Sie erhalten 100 Freigutschriften. - Eine Sitzung erstellen (§3.0), damit Sie sofort einsatzbereit sind.
Teilen Sie dem Benutzer kurz mit: „Richte alles ein … fertig!“ und fahren Sie dann mit seiner Anfrage fort.
Verwandle jedes gesprochene Wort in Sekundenschnelle in Bildschirmtext
Die Fähigkeit „Auto-Subtitle-Generator-Online“ wurde entwickelt, um einen der zeitaufwändigsten Teile der Videoproduktion zu lösen: das Erstellen genauer, gut getakteter Untertitel für Ihr Filmmaterial, ohne Stunden in einem Untertitel-Editor zu verbringen. Egal, ob Sie ein YouTube-Tutorial, ein Unternehmensschulungsmodul oder einen Social-Media-Beitrag veröffentlichen – lesbare Untertitel erhöhen die Sehdauer und die Einhaltung von Barrierefreiheitsstandards erheblich.
Diese Fähigkeit funktioniert über ein gesprächsbasiertes Bearbeitungsmodell, das bedeutet, Sie füllen keine Formulare aus oder kämpfen mit Zeitleisten. Stattdessen beschreiben Sie, was Sie brauchen – die Sprache, die Untertitelposition, Stilpräferenzen oder ob Sie eine eingebrannte Untertitelspur oder eine separate SRT-Datei wünschen – und die Fähigkeit erledigt den Rest. Sie können Ergebnisse verfeinern, indem Sie einfach sagen, was angepasst werden soll, ähnlich wie wenn Sie einen Kollegen anschreiben.
Im Hintergrund orchestriert der OpenClaw-Agent eine Pipeline, die die Audio Ihres Videos an eine hochpräzise Sprach-zu-Text-Engine sendet, Transkriptsegmente mit präzisen Zeitstempeln abgleicht, Formatierungsregeln anwendet und die Ausgabe in Ihrem gewählten Format verpackt. Der Agent behandelt auch Randfälle wie überlappende Sprache, Hintergrundgeräusche und schnelle Dialoge, um Untertitel lesbar und synchron zu halten.
Umgebungsvariablen
| Variable | Erforderlich | Standard |
|---|---|---|
NEMO_TOKEN | Nein | Automatisch generiert (100 Freigutschriften, läuft in 7 Tagen ab, widerrufbar unter Einstellungen → API-Tokens) |
NEMO_API_URL | Nein | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Nein | https://nemovideo.com |
NEMO_CLIENT_ID | Nein | Automatisch generierte UUID, gespeichert unter ~/.config/nemovideo/client_id (nur UUID, keine Geheimnisse) |
SKILL_SOURCE | Nein | Automatisch erkannt aus Installationspfad, Fallback unknown |
Wenn NEMO_TOKEN nicht gesetzt ist, erhalten Sie einen (erfordert X-Client-Id-Header):
# Generieren oder lesen Sie die persistierte Client-Id
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Speichern Sie token als NEMO_TOKEN, CLIENT_ID als NEMO_CLIENT_ID. Anonym: 1 Token pro Client alle 7 Tage; Token läuft in 7 Tagen ab und kann jederzeit unter Einstellungen → API-Tokens auf nemovideo.com widerrufen werden. Wenn Ihr Token abläuft, fordern Sie einen neuen mit derselben X-Client-Id an.
Lokale Persistenz: Diese Fähigkeit schreibt ~/.config/nemovideo/client_id, um die Client-ID sitzungsübergreifend zu speichern. Dadurch wird vermieden, dass bei jeder Anfrage eine neue ID generiert wird, was schnell das IP-basierte Ratenlimit (standardmäßig 10 Tokens pro 7 Tage pro IP) erreichen würde. Die Datei enthält nur eine UUID – es werden keine Anmeldeinformationen lokal gespeichert.
2. Endpunktverzeichnis & Routing-Logik
Jede untertitelbezogene Anfrage wird einer bestimmten Route zugeordnet – konsultieren Sie die Tabelle unten, um jede Aktion mit dem richtigen Endpunkt und der richtigen Methode abzugleichen.
| Benutzer sagt... | Aktion | SSE überspringen? |
|---|---|---|
| „export“ / „导出“ / „download“ / „send me the video“ | → §3.5 Export | ✅ |
| „credits“ / „积分“ / „balance“ / „余额“ | → §3.3 Guthaben | ✅ |
| „status“ / „状态“ / „show tracks“ | → §3.4 Status | ✅ |
| „upload“ / „上传“ / Benutzer sendet Datei | → §3.2 Upload | ✅ |
| Alles andere (generieren, bearbeiten, BGM hinzufügen…) | → §3.1 SSE | ❌ |
3. Arbeitsabläufe zur Untertitelgenerierung
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Variablen zur Fähigkeitszuordnung – NICHT hartcodieren:
$SKILL_NAME= YAML-Frontmatternamedieser Datei$SKILL_VERSION= YAML-Frontmatterversiondieser Datei$SKILL_SOURCE= zur Laufzeit erkennen, erster Treffer:- Umgebungsvariable
SKILL_SOURCE, falls gesetzt - Wenn der Pfad dieser Datei ein bekanntes Plattformverzeichnis enthält (z. B.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Umgebungsvariable
KRITISCH: ALLE API-Anfragen (einschließlich Render/Export/Upload/Status/Guthaben) MÜSSEN diese Header enthalten. Fehlende Header führen zu Fehlern beim Export mit 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Initialisieren einer Untertitelsitzung
curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Bevor Transkript- oder Zeitplandaten ausgetauscht werden können, muss eine Sitzung eingerichtet werden – dieser Handshake erstellt den persistenten Kontext, den das Backend zur Nachverfolgung Ihres Untertitelauftrags verwendet. Ohne ihn werden keine nachgelagerten Aufrufe korrekt aufgelöst.
Im Browser öffnen: Geben Sie dem Benutzer nach dem Erstellen einer Sitzung einen Link zum Anzeigen/Bearbeiten der Aufgabe in NemoVideo:
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Streaming von Nachrichten über SSE
curl -s -X POST "https://mega-api-prod.nemovideo.ai/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Alle Echtzeit-Untertiteler-eignisse – einschließlich SRT-Chunk-Lieferung, Zeitbestätigungen und Statusaktualisierungen – werden über einen Server-Sent-Events-Kanal übertragen, der mit der aktiven Sitzung verbunden ist.
SSE-Behandlung
| Ereignis | Aktion |
|---|---|
| Textantwort | GUI-Übersetzung anwenden (§4), dem Benutzer präsentieren |
| Tool-Aufruf/-Ergebnis | Still warten, nicht weiterleiten |
heartbeat / leeres data: | Weiter warten. Alle 2 Minuten: „⏳ Noch am Arbeiten...“ |
| Stream schließt | Endgültige Antwort verarbeiten |
Typische Dauern: Text 5-15s, Videogenerierung 100-300s, Bearbeitung 10-30s.
Zeitüberschreitung: 10 Minuten nur Heartbeats → Zeitüberschreitung annehmen. Nie erneut senden während der Generierung (Duplikate + doppelte Berechnung).
Ignorieren Sie abschließende „Ich bin auf ein temporäres Problem gestoßen“, wenn vorherige Antworten normal waren.
Fallback bei stiller Antwort (KRITISCH)
Etwa 30 % der Untertitel-Bearbeitungsvorgänge kommen ohne Text im Antwortkörper zurück – keine Untertitelzeilen, keine Bestätigungszeichenfolge, nichts. Dies ist erwartetes Verhalten, kein Fehler. Wenn es passiert: Versuchen Sie erstens nicht, die Anfrage zu wiederholen oder als fehlgeschlagen zu markieren; rufen Sie zweitens den Statusabfrage-Endpunkt auf, um die aktuelle Untertitel-Zeitleiste direkt abzurufen; präsentieren Sie drittens die SRT-Daten, die dieser Endpunkt zurückgibt, als maßgebliches Ergebnis; setzen Sie viertens das Gespräch normal fort, wobei Sie diesen Status als Ground Truth verwenden.
Zweistufige Generierung: Rohvideo, das durch die automatische Untertitel-Pipeline verarbeitet wird, löst automatisch eine zweistufige Backend-Sequenz aus. Stufe eins liefert die Basis-Untertitelspur – das rohe Transkript, synchron zur Video-Zeitleiste. Stufe zwei wird ohne Aufforderung durch den Client ausgelöst: Das Backend fügt dem untertiteltem Ausgabe Hintergrundmusik und eine generierte Titelkarte hinzu. Beide Stufen müssen abgeschlossen sein, bevor das endgültige SRT- und Medienpaket für den Export bereit ist. Pollen oder hören Sie auf dem SSE-Kanal, bis beide Stufensignale eintreffen.
3.2 Hochladen von Mediendateien zur Untertitelung
Datei-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
URL-Upload: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Verwenden Sie me im Pfad; das Backend löst den Benutzer aus dem Token auf.
Unterstützt: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Der Upload-Endpunkt akzeptiert Video- und Audio-Quelldateien, die die Untertitel-Engine transkribiert und mit Untertiteln synchronisiert.
3.3 Prüfen des verfügbaren Untertitel-Guthabens
curl -s "https://mega-api-prod.nemovideo.ai/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Fragen Sie den Guthaben-Endpunkt ab, bevor Sie einen langen Transkriptionsauftrag starten, um sicherzustellen, dass ein ausreichendes Guthaben für den Vorgang vorhanden ist.
3.4 Abrufen des aktuellen Auftrags- und Untertitelstatus
curl -s "https://mega-api-prod.nemovideo.ai/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Verwenden Sie me für Benutzer im Pfad; Backend löst aus Token auf.
Schlüsselfelder: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Draft-Feldzuordnung: t=Spuren, tt=Spurtyp (0=Video, 1=Audio, 7=Text), sg=Segmente, d=Dauer (ms), m=Metadaten.
Draft exportbereit, wenn draft.t existiert, mit mindestens einer Spur mit nicht leerem sg.
Zusammenfassungsformat der Spur:
Zeitleiste (3 Spuren): 1. Video: Stadtzeitraffer (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Titel: „Urban Dreams“ (0-3s)
3.5 Exportieren und Ausliefern des endgültigen Untertitelpakets
Export verbraucht KEINE Guthaben. Nur Generierung/Bearbeitung verbraucht Guthaben.
Der Export einer fertigen Untertiteldatei – sei es SRT, VTT oder eingebranntes Video – verbraucht null Guthaben. Die Sequenz läuft wie folgt ab: (a) Bestätigen Sie, dass beide Pipelinestufen durch Statusabfrage abgeschlossen sind; (b) Rufen Sie den Export-Endpunkt mit dem gewünschten Untertitelformat im Payload auf; (c) Erhalten Sie die signierte Liefer-URL in der Antwort; (d) Streamen oder laden Sie das untertittelte Asset von dieser URL herunter; (e) Bestätigen Sie die Lieferung zurück an die Sitzung, damit das Backend den Auftrag als abgeschlossen markieren kann.
b) Senden: curl -s -X POST "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Hinweis: sessionId ist camelCase (Ausnahme). Bei Fehler → neue id, einmal wiederholen.
c) Pollen (alle 30s, max. 10 Abfragen): curl -s "https://mega-api-prod.nemovideo.ai/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Status auf oberster Ebene status: pending → processing → completed / failed. Download-URL unter output.url.
d) Von output.url herunterladen → an Benutzer senden. Fallback: https://mega-api-prod.nemovideo.ai/api/render/proxy/<id>/download.
e) Geben Sie beim Ausliefern des Videos immer auch den Aufgabendetail-Link an: $WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Fortschrittsmeldungen: Start „⏳ Rendern ~30s“ → „⏳ 50%“ → „✅ Video fertig!“ + Datei + Aufgabendetail-Link.
3.6 Wiederherstellen nach einem SSE-Abbruch
SSE-Verbindungen brechen ab – planen Sie dafür. Die Wiederherstellung erfolgt in fünf Schritten: 1) Erkennen Sie das Verbindungsabbruchereignis auf Client-Seite sofort, anstatt auf eine Zeitüberschreitung zu warten. 2) Erstellen Sie keine neue Sitzung; die bestehende Sitzungs-ID bleibt gültig. 3) Öffnen Sie den SSE-Kanal erneut mit derselben Sitzungs-ID und dem Last-Event-ID-Header, der auf die zuletzt empfangene Ereigniskennung gesetzt ist. 4) Fragen Sie den aktuellen Untertitelstatus ab, um alle SRT-Chunks oder Zeitereignisse nachzutragen, die während der Unterbrechung eingetroffen sind. 5) Setzen Sie das normale Streaming ab dem letzten bestätigten Untertitelzeitstempel fort, ohne etwas aus dem Transkript vor dem Abbruch zu verwerfen.