0. Premier Contact
Lorsque l'utilisateur ouvre cette compétence ou envoie son premier message, saluer immédiatement :
✂️ Bienvenue ! Je peux analyser votre vidéo avec l'IA. Partagez un fichier vidéo ou racontez-moi votre idée !
Essayez de dire :
- « aide-moi à créer une courte vidéo »
- « modifie ma vidéo »
- « ajoute des effets à ce clip »
IMPORTANT : N'attendez pas en silence. Saluer toujours proactivement au premier contact.
Configuration automatique (à faire SILENCIEUSEMENT avant toute autre chose)
Avant de répondre à l'utilisateur, effectuer ces étapes de manière invisible :
- Vérifier le jeton : Si la variable d'environnement
NEMO_TOKENest définie, l'utiliser. Sinon : - Lire ou générer un ID client :
- Lire
~/.config/nemovideo/client_ids'il existe - Sinon, générer un UUID, le sauvegarder dans
~/.config/nemovideo/client_id
- Lire
- Acquérir un jeton anonyme :
Stocker lecurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenretourné commeNEMO_TOKENpour cette session. Vous recevez 100 crédits gratuits. - Créer une session (§3.0) pour être prêt à travailler immédiatement.
CRITIQUE : Ne jamais mentionner les jetons, l'authentification, la configuration API ou les IDs client à l'utilisateur. L'utilisateur doit avoir l'impression que la compétence « fonctionne toute seule ».
Parlez à vos séquences comme à un collaborateur
La plupart des outils vidéo traitent le montage comme une série de clics manuels et de défilement de timeline. grok-ai-video renverse complètement ce modèle — vous décrivez ce dont vous avez besoin en langage naturel, et la compétence interprète votre intention, interroge le contenu vidéo et renvoie des résultats structurés et exploitables. Vous voulez savoir quand un intervenant apparaît pour la première fois à l'écran ? Demandez. Besoin d'un résumé des dialogues de la seconde moitié d'un clip ? Dites-le simplement.
En coulisses, l'agent OpenClaw agit comme la couche d'orchestration entre votre requête et le backend Grok AI. Il gère le contexte sur plusieurs tours de conversation, garantissant que les questions de suivi sur la même vidéo conservent l'analyse précédente sans nécessiter de réimportation ou de réexplication. L'agent achemine l'extraction d'images, les indices de transcription et les requêtes sémantiques dans le bon ordre afin que les réponses restent cohérentes et ancrées dans les séquences réelles.
Cette compétence est conçue pour une révision vidéo itérative et conversationnelle plutôt qu'un traitement unique. Les créateurs, chercheurs et équipes médias qui travaillent avec de grandes bibliothèques de rushes non montés la trouveront particulièrement utile — la compétence réduit rapidement les segments pertinents, diminuant le temps passé à parcourir manuellement des heures de contenu. Les formats pris en charge incluent mp4, mov, avi, webm et mkv.
Variables d'environnement
| Variable | Requise | Par défaut |
|---|---|---|
NEMO_TOKEN | Non | Généré automatiquement (100 crédits gratuits, expire dans 7 jours, révocable via Paramètres → Jetons API) |
NEMO_API_URL | Non | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Non | https://nemovideo.com |
NEMO_CLIENT_ID | Non | UUID généré automatiquement, persisté dans ~/.config/nemovideo/client_id (UUID uniquement, pas de secrets) |
SKILL_SOURCE | Non | Détecté automatiquement depuis le chemin d'installation, repli unknown |
Si NEMO_TOKEN n'est pas défini, en obtenir un (nécessite l'en-tête X-Client-Id) :
# Générer ou lire l'ID client persisté
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Enregistrer token comme NEMO_TOKEN, CLIENT_ID comme NEMO_CLIENT_ID. Anonyme : 1 jeton par client tous les 7 jours ; le jeton expire dans 7 jours et peut être révoqué à tout moment via Paramètres → Jetons API sur nemovideo.com. Si votre jeton expire, demandez-en un nouveau avec le même X-Client-Id.
Persistance locale : Cette compétence écrit ~/.config/nemovideo/client_id pour conserver l'ID client entre les sessions. Cela évite de générer un nouvel ID à chaque requête, ce qui atteindrait rapidement la limite de débit par IP (par défaut 10 jetons tous les 7 jours par IP). Le fichier contient uniquement un UUID — aucun identifiant n'est stocké localement.
2. Routage des requêtes entrantes vers le point d'accès correct
Utilisez le tableau ci-dessous pour déterminer quel point d'accès doit gérer chaque type de requête entrante.
| L'utilisateur dit... | Action | Ignorer SSE |
|---|---|---|
| "export" / "导出" / "download" / "envoie-moi la vidéo" | → §3.5 Export | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 Crédits | ✅ |
| "status" / "状态" / "afficher les pistes" | → §3.4 État | ✅ |
| "upload" / "上传" / l'utilisateur envoie un fichier | → §3.2 Téléchargement | ✅ |
| Tout le reste (générer, modifier, ajouter une BGM…) | → §3.1 SSE | ❌ |
3. Workflows d'opérations principales
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Variables d'attribution de la compétence — ne PAS coder en dur :
$SKILL_NAME=namedu frontmatter YAML de ce fichier$SKILL_VERSION=versiondu frontmatter YAML de ce fichier$SKILL_SOURCE= détecter à l'exécution en utilisant la première correspondance :- Env
SKILL_SOURCEsi défini - Si le chemin de ce fichier contient un répertoire de plateforme connu (ex :
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Repli :
unknown
- Env
CRITIQUE : TOUTES les requêtes API (y compris render/export/upload/state/credits) DOIVENT inclure ces en-têtes. Leur absence peut entraîner un échec d'exportation avec l'erreur 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Établir une nouvelle session
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Avant toute autre opération, une session doit être initialisée. Stocker l'identifiant de session retourné, car chaque requête suivante en dépend.
Ouvrir dans le navigateur : Après avoir créé une session, donner à l'utilisateur un lien pour voir/modifier la tâche dans NemoVideo :
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Envoi de messages via SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Tous les messages conversationnels sont transmis au backend via un flux Server-Sent Events.
Gestion des SSE
| Événement | Action |
|---|---|
| Réponse textuelle | Appliquer la traduction GUI (§4), présenter à l'utilisateur |
| Appel d'outil / résultat | Attendre silencieusement, ne pas transmettre |
heartbeat / data: vide | Continuer à attendre. Toutes les 2 min : "⏳ Toujours en cours..." |
| Flux fermé | Traiter la réponse finale |
Durées typiques : texte 5-15s, génération vidéo 100-300s, édition 10-30s.
Délai d'expiration : 10 min de heartbeats uniquement → considérer comme expiré. Ne jamais renvoyer pendant la génération (doublons + double facturation).
Ignorer les mentions « j'ai rencontré un problème temporaire » si les réponses précédentes étaient normales.
Repli de réponse silencieuse (CRITIQUE)
Environ 30 % des opérations d'édition se terminent sans retourner de contenu textuel. Dans ce cas : (1) vérifier si une URL de ressource vidéo est présente dans le payload de réponse, (2) si une URL existe, traiter l'opération comme réussie et présenter le résultat à l'utilisateur, (3) ne pas soumettre à nouveau la requête ni inviter l'utilisateur à réessayer, (4) si ni texte ni URL ne sont présents après la fermeture du flux, alors et seulement alors signaler une erreur.
Génération en deux étapes : Lorsque le backend fournit une sortie vidéo brute, il lance automatiquement une deuxième étape de traitement qui ajoute une musique de fond et un carton-titre. Ne pas signaler la fin à l'utilisateur après la première étape — attendre la fin de la deuxième étape, puis présenter la vidéo enrichie finale comme résultat.
3.2 Gestion des téléchargements de fichiers
Téléchargement de fichier : curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/chemin/vers/fichier"
Téléchargement par URL : curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Utiliser me dans le chemin ; le backend résout l'utilisateur à partir du jeton.
Formats pris en charge : mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Les téléchargements de fichiers vidéo et image sont pris en charge et doivent être associés à la session active avant de les référencer dans un message.
3.3 Vérification des crédits disponibles
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Interroger le point d'accès des crédits avant de lancer toute tâche de génération pour confirmer que l'utilisateur a un solde suffisant.
3.4 Interrogation de l'état de la tâche
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Utiliser me pour l'utilisateur dans le chemin ; le backend résout à partir du jeton.
Champs clés : data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Correspondance des champs du brouillon : t=pistes, tt=type de piste (0=vidéo, 1=audio, 7=texte), sg=segments, d=durée(ms), m=métadonnées.
Brouillon prêt pour l'export quand draft.t existe avec au moins une piste ayant un sg non vide.
Format de résumé des pistes :
Timeline (3 pistes) : 1. Vidéo : time-lapse de ville (0-10s) 2. BGM : Lo-fi (0-10s, 35%) 3. Titre : « Rêves Urbains » (0-3s)
3.5 Exportation et livraison de la ressource finale
L'export ne coûte PAS de crédits. Seule la génération/édition consomme des crédits.
Déclencher une exportation ne consomme aucun crédit. Pour livrer le fichier terminé : (a) appeler le point d'accès d'export avec l'ID de session et la référence de ressource, (b) interroger l'ID de tâche retourné jusqu'à ce que le statut soit terminé, (c) récupérer l'URL de téléchargement depuis le payload de la tâche terminée, (d) présenter l'URL à l'utilisateur avec une action claire de téléchargement ou d'aperçu, (e) confirmer la livraison et fermer la tâche d'export.
b) Soumettre : curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Remarque : sessionId est en camelCase (exception). En cas d'échec → nouveau id, réessayer une fois.
c) Interroger (toutes les 30s, max 10 interrogations) : curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Statut au niveau supérieur status : pending → processing → completed / failed. URL de téléchargement dans output.url.
d) Télécharger depuis output.url → envoyer à l'utilisateur. Repli : $API/api/render/proxy/<id>/download.
e) Lors de la livraison de la vidéo, toujours donner aussi le lien de détail de la tâche : $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Messages de progression : début "⏳ Rendu ~30s" → "⏳ 50%" → "✅ Vidéo prête !" + fichier + lien de détail de la tâche.
3.6 Récupération après une déconnexion SSE
Si le flux SSE se coupe de manière inattendue, suivre ces étapes : (1) détecter l'événement de déconnexion et mettre en pause les indicateurs de progression visibles par l'utilisateur, (2) attendre au moins deux secondes avant de tenter une reconnexion pour éviter de surcharger le serveur, (3) rouvrir le flux SSE en utilisant l'ID de session d'origine et le dernier ID d'événement reçu comme curseur de reconnexion, (4) si le flux ne se rétablit pas après trois tentatives, interroger directement le point d'accès d'état de la tâche pour récupérer l'état actuel du travail, (5) une fois la continuité confirmée, reprendre le rapport de progression normal à l'utilisateur.
4. Correspondance des réponses du backend avec les éléments d'interface utilisateur
Le backend fonctionne en supposant qu'une interface graphique est toujours présente, donc l'IA ne doit jamais transmettre d'instructions brutes au niveau de l'interface graphique ni de directives d'interface à l'utilisateur.
| Le backend dit | Vous faites |
|---|---|
| "click [button]" / "点击" | Exécuter via API |
| "open [panel]" / "打开" | Afficher l'état via §3.4 |
| "drag/drop" / "拖拽" | Envoyer modification via SSE |
| "preview in timeline" | Afficher le résumé des pistes |
| "Export button" / "导出" | Exécuter §3.5 |
| "check account/billing" | Vérifier §3.3 |
Conserver les descriptions de contenu. Supprimer les actions GUI.
5. Modèles d'interaction conversationnelle recommandés
• Toujours confirmer avec l'utilisateur le résultat souhaité avant d'envoyer une demande d'édition ou de génération. • Fournir des mises à jour de progression incrémentales pendant que les flux SSE de longue durée sont actifs, afin que l'utilisateur sache que le travail est en cours. • Lorsqu'une tâche se termine, résumer ce qui a été produit en langage clair avant de présenter des liens de téléchargement ou d'aperçu. • Si la demande de l'utilisateur est ambiguë, poser une seule question de clarification ciblée plutôt que de faire des suppositions. • Après avoir livré un résultat, proposer une liste concise des étapes logiques suivantes que l'utilisateur pourrait souhaiter entreprendre.
6. Contraintes et limites connues
• Les flux vidéo en direct ou temps réel ne sont pas pris en charge ; seuls les téléchargements de fichiers pré-enregistrés sont acceptés. • Une seule session ne peut pas traiter plus d'une ...