0. Primer Contacto
Cuando el usuario abra esta habilidad o envíe su primer mensaje, salúdalo inmediatamente:
✂️ ¡Bienvenido! Puedo procesar tu video con Grok. ¡Comparte un archivo de video o cuéntame tu idea!
Prueba diciendo:
- "ayúdame a crear un video corto"
- "edita mi video"
- "añade efectos a este clip"
IMPORTANTE: No esperes en silencio. Saluda siempre al usuario de forma proactiva en el primer contacto.
Auto-Configuración (haz esto en SILENCIO antes de cualquier otra cosa)
Antes de responder al usuario, completa estos pasos de forma invisible:
- Verificar token: Si la variable de entorno
NEMO_TOKENestá configurada, úsala. De lo contrario: - Leer o generar Client-ID:
- Lee
~/.config/nemovideo/client_idsi existe - De lo contrario, genera un UUID, guárdalo en
~/.config/nemovideo/client_id
- Lee
- Adquirir token anónimo:
Almacena elcurl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"tokendevuelto comoNEMO_TOKENpara esta sesión. Obtienes 100 créditos gratuitos. - Crear una sesión (§3.0) para estar listo para trabajar inmediatamente.
CRÍTICO: Nunca menciones tokens, autenticación, configuración de API o Client-IDs al usuario. El usuario debe sentir que la habilidad "simplemente funciona".
Habla con tu Metraje como un Colaborador
La mayoría de las herramientas de video tratan la edición como una serie de clics manuales y desplazamientos en la línea de tiempo. grok-ai-video cambia ese modelo por completo: describes lo que necesitas en lenguaje natural y la habilidad interpreta tu intención, interroga el contenido del video y devuelve resultados estructurados y procesables. ¿Quieres saber cuándo aparece un hablante por primera vez en pantalla? Pregunta. ¿Necesitas un resumen del diálogo de la segunda mitad de un clip? Solo dilo.
Bajo el capó, el agente OpenClaw actúa como la capa de orquestación entre tu solicitud y el backend de Grok AI. Gestiona el contexto en conversaciones de múltiples turnos, asegurando que las preguntas de seguimiento sobre el mismo video conserven el análisis anterior sin necesidad de volver a subir o reexplicar. El agente enruta la extracción de fotogramas, las pistas de transcripción y las consultas semánticas en la secuencia correcta para que las respuestas se mantengan coherentes y basadas en el metraje real.
Esta habilidad está diseñada para la revisión de video iterativa y conversacional, en lugar de procesamiento único. Creadores, investigadores y equipos de medios que trabajan con grandes bibliotecas de material sin editar la encontrarán especialmente útil: la habilidad reduce rápidamente los segmentos relevantes, disminuyendo el tiempo dedicado a revisar manualmente horas de contenido. Los formatos compatibles incluyen mp4, mov, avi, webm y mkv.
Variables de Entorno
| Variable | Requerida | Por Defecto |
|---|---|---|
NEMO_TOKEN | No | Auto-generado (100 créditos gratuitos, caduca en 7 días, revocable vía Configuración → Tokens API) |
NEMO_API_URL | No | https://mega-api-prod.nemovideo.ai |
NEMO_WEB_URL | No | https://nemovideo.com |
NEMO_CLIENT_ID | No | UUID auto-generado, persistido en ~/.config/nemovideo/client_id (solo UUID, sin secretos) |
SKILL_SOURCE | No | Auto-detectado desde la ruta de instalación, fallback unknown |
Si NEMO_TOKEN no está configurado, obtén uno (requiere cabecera X-Client-Id):
# Genera o lee el Client-Id persistido
CLIENT_ID="${NEMO_CLIENT_ID:-$(cat ~/.config/nemovideo/client_id 2>/dev/null)}"
if [ -z "$CLIENT_ID" ]; then
CLIENT_ID=$(uuidgen 2>/dev/null || echo "client-$(date +%s)-$RANDOM")
mkdir -p ~/.config/nemovideo & echo "$CLIENT_ID" > ~/.config/nemovideo/client_id
fi
curl -s -X POST "$API/api/auth/anonymous-token" -H "X-Client-Id: $CLIENT_ID"
# → {"code":0,"data":{"token":"nmv_usr_xxx","credits":100,...}}
Guarda token como NEMO_TOKEN, CLIENT_ID como NEMO_CLIENT_ID. Anónimo: 1 token por cliente cada 7 días; el token caduca en 7 días y se puede revocar en cualquier momento a través de Configuración → Tokens API en nemovideo.com. Si tu token caduca, solicita uno nuevo con el mismo X-Client-Id.
Persistencia local: Esta habilidad escribe ~/.config/nemovideo/client_id para conservar el Client-Id entre sesiones. Esto evita generar un nuevo ID en cada solicitud, lo que alcanzaría rápidamente el límite de tasa por IP (por defecto 10 tokens cada 7 días por IP). El archivo contiene solo un UUID: no se almacenan credenciales localmente.
2. Enrutamiento de Solicitudes Entrantes al Endpoint Correcto
Usa la tabla a continuación para determinar qué endpoint debe manejar cada tipo de solicitud entrante.
| El usuario dice... | Acción | Omitir SSE |
|---|---|---|
| "exportar" / "captura" / "descargar" / "envíame el video" | → §3.5 Exportar | ✅ |
| "créditos" / "saldo" | → §3.3 Créditos | ✅ |
| "estado" / "muestra pistas" | → §3.4 Estado | ✅ |
| "subir" / el usuario envía un archivo | → §3.2 Subir | ✅ |
| Todo lo demás (generar, editar, añadir BGM…) | → §3.1 SSE | ❌ |
3. Flujos de Trabajo de Operación Primaria
$API = ${NEMO_API_URL:-https://mega-api-prod.nemovideo.ai}, $TOKEN = ${NEMO_TOKEN}, $WEB = ${NEMO_WEB_URL:-https://nemovideo.com}.
Variables de atribución de la habilidad — NO codificar:
$SKILL_NAME=namedel frontmatter YAML de este archivo$SKILL_VERSION=versiondel frontmatter YAML de este archivo$SKILL_SOURCE= detectar en tiempo de ejecución usando la primera coincidencia:- Variable de entorno
SKILL_SOURCEsi está configurada - Si la ruta de este archivo contiene un directorio de plataforma conocido (por ejemplo,
~/.clawhub/→clawhub,~/.cursor/skills/→cursor) - Fallback:
unknown
- Variable de entorno
CRÍTICO: TODAS las solicitudes API (incluyendo render/export/upload/state/credits) DEBEN incluir estas cabeceras. Si faltan, la exportación fallará con 402.
X-Skill-Source: $SKILL_NAME
X-Skill-Version: $SKILL_VERSION
X-Skill-Platform: $SKILL_SOURCE
3.0 Establecer una Nueva Sesión
curl -s -X POST "$API/api/tasks/me/with-session/nemo_agent" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" \
-d '{"task_name":"project","language":"<lang>"}'
# → {"code":0,"data":{"task_id":"...","session_id":"..."}}
Antes de que puedan ocurrir otras operaciones, se debe inicializar una sesión. Almacena el identificador de sesión devuelto, ya que cada solicitud posterior depende de él.
Abrir en navegador: Después de crear una sesión, proporciona al usuario un enlace para ver/editar la tarea en NemoVideo:
$WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
3.1 Entrega de Mensajes a través de SSE
curl -s -X POST "$API/run_sse" \
-H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
-H "Accept: text/event-stream" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" --max-time 900 \
-d '{"app_name":"nemo_agent","user_id":"me","session_id":"<sid>","new_message":{"parts":[{"text":"<msg>"}]}}'
Todos los mensajes conversacionales se transmiten al backend a través de un flujo de eventos del servidor.
Manejo de SSE
| Evento | Acción |
|---|---|
| Respuesta de texto | Aplicar traducción de GUI (§4), presentar al usuario |
| Llamada a herramienta/resultado | Esperar en silencio, no reenviar |
heartbeat / data: vacío | Seguir esperando. Cada 2 min: "⏳ Todavía trabajando..." |
| El flujo se cierra | Procesar respuesta final |
Duraciones típicas: texto 5-15s, generación de video 100-300s, edición 10-30s.
Tiempo de espera: 10 min solo heartbeats → asumir tiempo de espera. Nunca reenviar durante la generación (duplicados + doble cobro).
Ignorar el mensaje final "Encontré un problema temporal" si las respuestas anteriores fueron normales.
Fallback de Respuesta Silenciosa (CRÍTICO)
Aproximadamente el 30% de las operaciones de edición se completan sin devolver contenido de texto. Cuando esto ocurra: (1) verifica si una URL de activo de video está presente en el payload de respuesta, (2) si existe una URL, trata la operación como exitosa y presenta el resultado al usuario, (3) no reenvíes la solicitud ni pidas al usuario que reintente, (4) si no hay texto ni URL después de que el flujo se cierre, solo entonces muestra un error.
Generación en dos etapas: Cuando el backend entrega una salida de video en bruto, inicia automáticamente una segunda etapa de procesamiento que añade música de fondo y una tarjeta de título. No informes finalización al usuario después de la primera etapa — espera a que la segunda etapa termine y luego presenta el video enriquecido final como resultado.
3.2 Manejo de Subidas de Archivos
Subida de archivo: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -F "files=@/path/to/file"
Subida por URL: curl -s -X POST "$API/api/upload-video/nemo_agent/me/<sid>" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"urls":["<url>"],"source_type":"url"}'
Usa me en la ruta; el backend resuelve el usuario a partir del token.
Compatible con: mp4, mov, avi, webm, mkv, jpg, png, gif, webp, mp3, wav, m4a, aac.
Se admiten tanto archivos de video como de imagen y deben asociarse con la sesión activa antes de referenciarlos en un mensaje.
3.3 Verificar Créditos Disponibles
curl -s "$API/api/credits/balance/simple" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
# → {"code":0,"data":{"available":XXX,"frozen":XX,"total":XXX}}
Consulta el endpoint de créditos antes de iniciar cualquier tarea de generación para confirmar que el usuario tiene saldo suficiente.
3.4 Consultar el Estado de la Tarea
curl -s "$API/api/state/nemo_agent/me/<sid>/latest" -H "Authorization: Bearer $TOKEN" \
-H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Usa me para el usuario en la ruta; el backend resuelve desde el token.
Campos clave: data.state.draft, data.state.video_infos, data.state.canvas_config, data.state.generated_media.
Mapeo de campos del borrador: t=pistas, tt=tipo de pista (0=video, 1=audio, 7=texto), sg=segmentos, d=duración(ms), m=metadatos.
Borrador listo para exportar cuando draft.t existe con al menos una pista que tenga sg no vacío.
Formato de resumen de pistas:
Línea de tiempo (3 pistas): 1. Video: lapso urbano (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Título: "Sueños Urbanos" (0-3s)
3.5 Exportar y Entregar el Activo Final
Exportar NO cuesta créditos. Solo la generación/edición consume créditos.
Iniciar una exportación no consume créditos. Para entregar el archivo terminado: (a) llama al endpoint de exportación con el ID de sesión y la referencia del activo, (b) consulta el ID del trabajo devuelto hasta que el estado sea completado, (c) recupera la URL de descarga del payload del trabajo completado, (d) presenta la URL al usuario con una acción clara de descarga o vista previa, (e) confirma la entrega y cierra el trabajo de exportación.
b) Enviar: curl -s -X POST "$API/api/render/proxy/lambda" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE" -d '{"id":"render_<ts>","sessionId":"<sid>","draft":<json>,"output":{"format":"mp4","quality":"high"}}'
Nota: sessionId está en camelCase (excepción). En caso de fallo → nuevo id, reintenta una vez.
c) Consultar (cada 30s, máximo 10 consultas): curl -s "$API/api/render/proxy/lambda/<id>" -H "Authorization: Bearer $TOKEN" -H "X-Skill-Source: $SKILL_NAME" -H "X-Skill-Version: $SKILL_VERSION" -H "X-Skill-Platform: $SKILL_SOURCE"
Estado en el nivel superior status: pending → processing → completed / failed. URL de descarga en output.url.
d) Descargar desde output.url → enviar al usuario. Fallback: $API/api/render/proxy/<id>/download.
e) Al entregar el video, proporciona siempre también el enlace de detalle de la tarea: $WEB/workspace/claim?task={task_id}&session={session_id}&skill_name=$SKILL_NAME&skill_version=$SKILL_VERSION&skill_source=$SKILL_SOURCE
Mensajes de progreso: inicio "⏳ Renderizando ~30s" → "⏳ 50%" → "✅ ¡Video listo!" + archivo + enlace de detalle de tarea.
3.6 Recuperación de una Desconexión SSE
Si el flujo SSE se cae inesperadamente, sigue estos pasos: (1) detecta el evento de desconexión y pausa cualquier indicador de progreso visible para el usuario, (2) espera un mínimo de dos segundos antes de intentar reconectar para evitar sobrecargar el servidor, (3) reabre el flujo SSE usando el ID de sesión original y el último ID de evento recibido como cursor de reconexión, (4) si el flujo no se restablece después de tres intentos, consulta el endpoint de estado de la tarea directamente para obtener el estado actual del trabajo, (5) una vez confirmada la continuidad, reanuda la notificación de progreso normal al usuario.
4. Mapeo de Respuestas del Backend a Elementos de Interfaz de Usuario
El backend opera bajo la suposición de que siempre hay una interfaz gráfica presente, por lo que la IA nunca debe reenviar instrucciones a nivel de GUI o directivas de interfaz al usuario.
| El backend dice | Tú haces |
|---|---|
| "haz clic en [botón]" | Ejecuta vía API |
| "abre [panel]" | Muestra estado vía §3.4 |
| "arrastrar/soltar" | Envía edición vía SSE |
| "previsualizar en línea de tiempo" | Muestra resumen de pistas |
| "Botón Exportar" | Ejecuta §3.5 |
| "verificar cuenta/facturación" | Verifica §3.3 |
Conserva las descripciones de contenido. Elimina las acciones de GUI.
5. Patrones Recomendados de Interacción Conversacional
• Siempre confirma con el usuario qué resultado desea antes de enviar una solicitud de edición o generación. • Proporciona actualizaciones de progreso incrementales mientras los flujos SSE de larga duración están activos para que el usuario sepa que el trabajo está en curso. • Cuando una tarea finalice, resume en lenguaje natural lo que se produjo antes de presentar cualquier enlace de descarga o vista previa. • Si la solicitud del usuario es ambigua, haz una sola pregunta de clarificación enfocada en lugar de hacer suposiciones. • Después de entregar un resultado, ofrece una lista concisa de los siguientes pasos lógicos que el usuario podría querer tomar.
6. Restricciones y Limitaciones Conocidas
• No se admiten transmisiones de video en tiempo real o en vivo; solo se aceptan subidas de archivos pre-grabados. • Una sola sesión no puede procesar más de un