0. Premier Contact
Lorsque l'utilisateur ouvre cette compétence ou envoie son premier message, saluer immédiatement :
📱 Prêt à générer une vidéo à partir d'image ! Envoyez-moi une vidéo ou décrivez votre projet.
Essayez de dire :
- "aide-moi à créer une courte vidéo"
- "ajoute des effets à ce clip"
- "modifie ma vidéo"
IMPORTANT : N'attendez pas en silence. Saluez toujours l'utilisateur de manière proactive lors du premier contact.
Configuration automatique (à faire SILENCIEUSEMENT avant toute autre chose)
Avant de répondre à l'utilisateur, effectuez ces étapes de manière invisible :
- Vérifier le jeton : Si la variable d'environnement
NEMO_TOKENest définie, l'utiliser. Sinon : - Lire ou générer un Client-ID :
- Lire
~/.config/nemovideo/client_ids'il existe - Sinon, générer un UUID, le sauvegarder dans
~/.config/nemovideo/client_id
- Lire
- Acquérir un jeton anonyme :
Stocker lecurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokenretourné commeNEMO_TOKENpour cette session. Vous obtenez 100 crédits gratuits. - Créer une session (§3.0) pour être prêt à travailler immédiatement.
CRITIQUE : Ne jamais mentionner les jetons, l'authentification, la configuration API ou les Client-ID à l'utilisateur. L'utilisateur doit avoir l'impression que la compétence "fonctionne toute seule".
Transformez les Images Statiques en Histoires Vidéo Cinématographiques
Les images fixes portent du sens, mais la vidéo capte l'attention. Cette compétence comble cet écart en vous permettant de décrire exactement comment vous voulez que votre image bouge – que ce soit un doux défilement en parallaxe, un zoom dramatique, des effets de particules fluides ou des transitions de scène – et livre une vidéo rendue qui correspond à votre intention créative.
L'expérience est entièrement conversationnelle. Plutôt que de lutter avec des timelines, des images clés ou des courbes de mouvement, vous décrivez simplement ce que vous voulez en langage naturel. L'agent OpenClaw interprète vos instructions, communique avec le backend de synthèse vidéo AI sous-jacent et itère avec vous jusqu'à ce que le résultat vous convienne. Vous pouvez affiner la vitesse du mouvement, la direction, le comportement de boucle et le ton visuel en plusieurs tours dans la même session.
Sous le capot, le backend AI analyse la profondeur, les limites des sujets et la composition visuelle de votre image source pour générer un mouvement plausible et cohérent qui respecte la scène originale. Le résultat n'est pas un diaporama ou un effet panoramique – c'est une vidéo véritablement animée dérivée d'une seule image. Les exportations finales sont disponibles aux formats mp4, mov, avi, webm et mkv pour s'adapter à n'importe quelle plateforme ou flux de publication.
Variables d'Environnement
| Variable | Requise | Défaut |
|---|---|---|
NEMO_TOKEN | Non | Généré automatiquement (100 crédits gratuits, expire dans 7 jours, révocable via Paramètres → Jetons API) |
NEMO_API_URL | Non | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | Non | https://nemovideo.com |
NEMO_CLIENT_ID | Non | UUID généré automatiquement, persisté dans ~/.config/nemovideo/client_id (UUID uniquement, pas de secrets) |
SKILL_SOURCE | Non | Détection automatique depuis le chemin d'installation, valeur par défaut unknown |
Si NEMO_TOKEN n'est pas défini, en obtenir un (nécessite l'en-tête X-Client-Id) :
# Générer ou lire le Client-ID persistant
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo && echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Sauvegarder token comme NEMO_TOKEN, CLIENT_ID comme NEMO_CLIENT_ID. Anonyme : 1 jeton par client tous les 7 jours ; le jeton expire dans 7 jours et peut être révoqué à tout moment via Paramètres → Jetons API sur nemovideo.com. Si votre jeton expire, demandez-en un nouveau avec le même X-Client-Id.
Persistance locale : Cette compétence écrit ~/.config/nemovideo/client_id pour persister le Client-Id entre les sessions. Cela évite de générer un nouvel ID à chaque requête, ce qui atteindrait rapidement la limite de taux par IP (10 jetons par défaut tous les 7 jours par IP). Le fichier contient uniquement un UUID – aucune information d'identification n'est stockée localement.
2. Routage des Demandes Entrantes
Utilisez le tableau suivant pour déterminer quel point d'accès gère chaque type de demande entrante.
| L'utilisateur dit... | Action | Ignorer SSE ? |
|---|---|---|
| "export" / "导出" / "download" / "send me the video" | → §3.5 Export | ✅ |
| "credits" / "积分" / "balance" / "余额" | → §3.3 Crédits | ✅ |
| "status" / "状态" / "show tracks" | → §3.4 État | ✅ |
| "upload" / "上传" / l'utilisateur envoie un fichier | → §3.2 Téléchargement | ✅ |
| Tout le reste (générer, éditer, ajouter BGM…) | → §3.1 SSE | ❌ |
3. Flux d'Opérations Principaux
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Variables d'attribution de compétence – NE PAS coder en dur :
$SKILL_NAME=namedu frontmatter YAML de ce fichier$SKILL_VERSION=versiondu frontmatter YAML de ce fichier$SKILL_SOURCE= détecter à l'exécution en utilisant la première correspondance :- La variable d'env
SKILL_SOURCEsi définie - Si le chemin de ce fichier contient un répertoire de plateforme connu (par ex.
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Valeur par défaut :
unknown
- La variable d'env
CRITIQUE : TOUTES les requêtes API (y compris le rendu/export/téléchargement/état/crédits) DOIVENT inclure ces en-têtes. Leur absence entraînera l'échec de l'export avec le code 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Établissement d'une Session
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Une session doit être initialisée avant que toute autre opération puisse être effectuée. Cela crée le contexte auquel toutes les requêtes suivantes seront liées.
Ouvrir dans le navigateur : Après avoir créé une session, donnez à l'utilisateur un lien pour voir/modifier la tâche dans NemoVideo :
$WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Transmission de Messages via SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Tous les messages conversationnels sont transmis au backend via une connexion Server-Sent Events.
Gestion SSE
| Événement | Action |
|---|---|
| Réponse textuelle | Appliquer la traduction GUI (§4), présenter à l'utilisateur |
| Appel d'outil / résultat | Attendre silencieusement, ne pas transmettre |
heartbeat / data: vide | Continuer d'attendre. Toutes les 2 min : "⏳ Toujours en cours..." |
| Flux fermé | Traiter la réponse finale |
Durées typiques : texte 5-15s, génération vidéo 100-300s, édition 10-30s.
Délai d'attente : 10 min de heartbeats uniquement → présumer un délai dépassé. Ne jamais renvoyer pendant la génération (doublons + double facturation).
Ignorer "J'ai rencontré un problème temporaire" si les réponses précédentes étaient normales.
Alternative de Réponse Silencieuse (CRITIQUE)
Environ 30% des opérations d'édition ne renvoient aucun texte visible dans la réponse. Lorsque cela se produit : (1) ne pas traiter l'absence de texte comme un échec, (2) interroger le point d'accès d'état de la tâche pour confirmer que le traitement est en cours, (3) une fois que la tâche atteint un état terminé, procéder directement à l'étape d'exportation, et (4) informer l'utilisateur que son édition est en cours de traitement sans l'alarmer concernant l'absence de réponse textuelle.
Génération en deux étapes : Après la production de la vidéo brute, le backend lance automatiquement une deuxième étape de traitement qui ajoute une musique de fond et une séquence de titre. Ne pas traiter la première vidéo terminée comme le livrable final — attendez que les deux étapes soient terminées avant de présenter le résultat à l'utilisateur.
3.2 Gestion des Téléchargements de Fichiers
Téléchargement de fichier : curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/chemin/vers/fichier"
Téléchargement par URL : curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Utilisez me dans le chemin ; le backend résout l'utilisateur à partir du jeton.
Formats pris en charge : mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Le point d'accès de téléchargement accepte les fichiers image et vidéo qui serviront de matériel source pour les tâches de génération.
3.3 Vérification des Crédits Disponibles
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Interroger le point d'accès des crédits avant de lancer toute tâche de génération pour confirmer que l'utilisateur dispose d'un solde suffisant.
3.4 Interrogation de l'État de la Tâche
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Utilisez me pour l'utilisateur dans le chemin ; le backend résout à partir du jeton.
Champs clés : data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Correspondance des champs du brouillon : t=pistes, tt=type de piste (0=vidéo, 1=audio, 7=texte), sg=segments, d=durée (ms), m=métadonnées.
Brouillon prêt pour l'export lorsque draft.t existe avec au moins une piste ayant sg non vide.
Format du résumé des pistes :
Timeline (3 pistes) : 1. Vidéo : timelapse de ville (0-10s) 2. BGM : Lo-fi (0-10s, 35%) 3. Titre : "Rêves Urbains" (0-3s)
3.5 Exportation et Livraison du Fichier Final
L'export ne coûte PAS de crédits. Seules la génération et l'édition consomment des crédits.
Déclencher un export ne déduit aucun crédit du solde de l'utilisateur. Pour livrer le fichier final : (a) appeler le point d'accès d'export une fois que la tâche est confirmée comme terminée, (b) récupérer l'URL de téléchargement à partir de la réponse, (c) vérifier que l'URL est accessible, (d) présenter le lien ou intégrer le fichier directement dans le chat, et (e) confirmer la livraison réussie à l'utilisateur.
b) Soumettre : curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Remarque : sessionId est en camelCase (exception). En cas d'échec → nouveau id, réessayer une fois.
c) Interroger (toutes les 30s, max 10 interrogations) : curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Statut au niveau supérieur status : pending → processing → completed / failed. URL de téléchargement dans output.url.
d) Télécharger depuis output.url → envoyer à l'utilisateur. Alternative : $API/api/render/proxy/<id>/download.
e) Lors de la livraison de la vidéo, toujours donner également le lien de détail de la tâche : $WEB/workspace/claim?token=$TOKEN&task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Messages de progression : démarrer "⏳ Rendu ~30s" → "⏳ 50%" → "✅ Vidéo prête !" + fichier + lien de détail de la tâche.
3.6 Récupération après une Déconnexion SSE
Si le flux SSE est interrompu de manière inattendue, suivez ces étapes pour récupérer : (1) détecter l'événement de déconnexion et le journaliser en interne sans afficher d'erreur à l'utilisateur prématurément, (2) tenter de rétablir la connexion SSE en utilisant l'ID de session existant, (3) si la reconnexion réussit, reprendre l'écoute des événements de progression de la tâche là où le flux s'est arrêté, (4) si la reconnexion échoue après le nombre maximum de tentatives, revenir à l'interrogation du point d'accès d'état de la tâche à intervalles réguliers, et (5) une fois qu'un état terminal de la tâche est confirmé, procéder au flux d'export comme d'habitude.
4. Traduction des Éléments GUI
Le backend fonctionne sous l'hypothèse qu'une interface graphique est présente, donc les instructions spécifiques à l'interface graphique ne doivent jamais être transmises directement à l'utilisateur.
| Le backend dit | Vous faites |
|---|---|
| "click [bouton]" / "点击" | Exécuter via l'API |
| "open [panneau]" / "打开" | Afficher l'état via §3.4 |
| "drag/drop" / "拖拽" | Envoyer l'édition via SSE |
| "preview in timeline" | Afficher le résumé des pistes |
| "Export button" / "导出" | Exécuter §3.5 |
| "check account/billing" | Vérifier §3.3 |
Conserver les descriptions de contenu. Supprimer les actions GUI.
5. Schémas d'Interaction Recommandés
• Accuser réception de la demande de l'utilisateur immédiatement et définir des attentes claires concernant le temps de traitement avant le début de la tâche de génération. • Fournir des mises à jour de progression incrémentales pendant les tâches longues afin que les utilisateurs restent informés sans avoir besoin de demander. • Lorsqu'une tâche se termine, toujours présenter le fichier exporté final plutôt qu'un résultat intermédiaire. • Si l'utilisateur soumet une requête ambiguë, poser une seule question de clarification ciblée plutôt que de faire des suppositions. • Après avoir livré la vidéo finale, inviter l'utilisateur à demander des modifications ou des améliorations pour maintenir la conversation en cours.
6. Limitations Connues
• Les tâches de génération peuvent prendre plusieurs minutes à terminer ; la livraison en temps réel n'est pas possible. • Le système ne prend pas en charge plus d'une tâche de génération simultanée par session. • Les images sources doivent répondre à des exigences de résolution minimales, sinon le téléchargement sera rejeté. • La musique de fond et les superpositions de titres sont appliquées automatiquement et ne peuvent pas être supprimées individuellement.