Communitygithub.com

sediman-agent/OpenSkynet

Edita cualquier vídeo mediante conversación. Transcribe, corta, etalonaje, genera animaciones superpuestas, quema subtítulos: para cabezas parlantes, montajes, tutoriales, viajes, entrevistas. Sin ajustes preestablecidos ni menús. Haz preguntas, confirma el plan, ejecuta, itera, persiste. Las reglas de corrección de producción son estrictas; todo lo demás es libertad artística.

¿Qué es OpenSkynet?

OpenSkynet es una habilidad de agente de IA (para plataformas como Claude Code, Codex y Cursor) que permite editar cualquier vídeo mediante conversación en lenguaje natural, utilizando el transcript como guía principal y FFmpeg/PIL como herramientas subyacentes. La habilidad prioriza el audio sobre lo visual: los cortes candidatos provienen de límites de palabras y silencios, y los componentes visuales solo se analizan al tomar decisiones. Incluye reglas estrictas de corrección de producción (como aplicar subtítulos al final de la cadena, fundidos de audio de 30 ms en cada corte y relleno en los bordes de los cortes) para garantizar resultados correctos. OpenSkynet admite transcripción, cortes, etalonaje, animaciones superpuestas, generación de subtítulos y mucho más, y fomenta la libertad artística: cada técnica documentada es solo un ejemplo trabajado, no un mandato. El flujo de trabajo sigue el patrón preguntar → confirmar → ejecutar → iterar → persistir, y nunca se toca el corte hasta que el usuario haya aprobado la estrategia.

Compatible con✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Uso de Video

Principio

  1. El LLM razona a partir del transcript en bruto y de imágenes bajo demanda. El único artefacto derivado que vale la pena es un transcript empaquetado a nivel de frase (takes_packed.md). Todo lo demás (etiquetado de muletillas, detección de retomas, clasificación de planos, puntuación de énfasis) lo obtienes en el momento de la decisión.
  2. El audio es primordial, lo visual sigue. Los candidatos a corte provienen de los límites del habla y los silencios. Profundiza en lo visual solo en los puntos de decisión.
  3. Preguntar → confirmar → ejecutar → iterar → persistir. Nunca toques el corte hasta que el usuario haya confirmado la estrategia en lenguaje natural.
  4. Generaliza. No asumas qué tipo de vídeo es este. Mira el material, pregunta al usuario y luego edita.
  5. La libertad artística es la opción predeterminada. Cada valor específico, ajuste preestablecido, fuente, color, duración, estructura de tono y técnica en este documento es un ejemplo trabajado de un vídeo real probado, no una imposición. Léelos para entender qué es posible y por qué funcionó cada uno. Luego toma tus propias decisiones de gusto según lo que el material realmente es y lo que el usuario realmente quiere. Las únicas cosas que DEBES hacer están en la sección de Reglas Estrictas a continuación. Todo lo demás es tuyo.
  6. Inventa libremente. Si el material requiere una técnica no descrita aquí (pantalla dividida, imagen en imagen, tarjetas de identidad en tercio inferior, cortes de reacción, aceleraciones, congelados, encadenados, cortes de coincidencia, cortes en L, cortes en J, aceleraciones sobre la respiración, lo que sea), constrúyela. Los ayudantes son ffmpeg y PIL. Pueden hacer cualquier cosa que el formato admita. No esperes permiso.
  7. Verifica tu propia salida antes de mostrarla al usuario. Si no la enviarías, no la presentes.

Reglas Estrictas (corrección de producción — no negociables)

Estas son las cosas en las que la desviación produce fallos silenciosos o salida defectuosa. No son cuestión de gusto, son corrección. Memorízalas.

  1. Los subtítulos se aplican ÚLTIMOS en la cadena de filtros, después de cada superposición. De lo contrario, las superposiciones ocultan los subtítulos. Falla silencioso.
  2. Extracción por segmento → concatenación sin pérdida -c copy, no un solo filtrograph. De lo contrario, se codifica dos veces cada segmento cuando se añaden superposiciones.
  3. Fundidos de audio de 30ms en cada límite de segmento (afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). De lo contrario, se producen chasquidos audibles en cada corte.
  4. Las superposiciones usan setpts=PTS-STARTPTS+T/TB para desplazar el fotograma 0 de la superposición al inicio de su ventana. De lo contrario, ves el centro de la animación durante la ventana de superposición.
  5. El SRT maestro usa desplazamientos de la línea de tiempo de salida: output_time = word.start - segment_start + segment_offset. De lo contrario, los subtítulos se desalinean después de la concatenación de segmentos.
  6. Nunca cortes dentro de una palabra. Ajusta cada borde de corte a un límite de palabra del transcript de Scribe.
  7. Rellena cada borde de corte. Ventana de trabajo: 30–200ms. Las marcas de tiempo de Scribe se desvían 50–100ms; el relleno absorbe la desviación. Más ajustado para ritmo rápido, más holgado para cine.
  8. Solo ASR palabra por palabra y textual. Nunca el modo SRT/frase (pierde datos de espacios submicrosegundo). Nunca muletillas normalizadas (pierde la señal editorial).
  9. Almacena en caché los transcripts por fuente. Nunca vuelvas a transcribir a menos que el archivo fuente en sí haya cambiado.
  10. Subagentes paralelos para múltiples animaciones. Nunca secuencial. Genera N a la vez mediante la herramienta Agent; el tiempo total de pared ≈ el más lento.
  11. Confirmación de la estrategia antes de la ejecución. Nunca toques el corte hasta que el usuario haya aprobado el plan en lenguaje natural.
  12. Todas las salidas de la sesión en <videos_dir>/edit/. Nunca escribas dentro del directorio del proyecto video-use/.

Todo lo demás en este documento es un ejemplo trabajado. Desvía cuando el material lo requiera.

Diseño de directorios

La habilidad vive en video-use/. El metraje del usuario vive donde sea que lo ponga. Todas las salidas de la sesión van a <videos_dir>/edit/.

<videos_dir>/
├── <archivos fuente, intactos>
└── edit/
    ├── project.md              ← memoria; se añade en cada sesión
    ├── takes_packed.md         ← transcripts a nivel de frase, la vista de lectura principal del LLM
    ├── edl.json                ← decisiones de corte
    ├── transcripts/<name>.json ← JSON de Scribe en bruto en caché
    ├── animations/slot_<id>/   ← por animación: fuente + render + razonamiento
    ├── clips_graded/           ← extracciones por segmento con etalonaje + fundidos
    ├── master.srt              ← subtítulos en la línea de tiempo de salida
    ├── downloads/              ← salidas de yt-dlp
    ├── verify/                 ← fotogramas de depuración / PNGs de línea de tiempo
    ├── preview.mp4
    └── final.mp4

Configuración

La instalación inicial está en install.md (clonar, dependencias, ffmpeg, registro de habilidad, clave API). No la vuelvas a ejecutar en cada sesión; en arranque en frío solo verifica:

  • ELEVENLABS_API_KEY se resuelve, ya sea en el entorno o en .env en la raíz del repositorio de video-use. Si falta, pide al usuario que pegue una y escríbela a .env (nunca al <videos_dir> del usuario).
  • ffmpeg + ffprobe en PATH.
  • Dependencias de Python instaladas (uv sync o pip install -e . dentro del repositorio).
  • Node.js + npm disponibles si la sesión necesita HyperFrames o slots de Remotion. HyperFrames actualmente requiere Node.js 22+.
  • yt-dlp, HyperFrames, Remotion, Manim instalados solo en el primer uso.
  • La configuración de animación en el primer uso ocurre dentro del directorio del slot, nunca en la raíz del repositorio de video-use. HyperFrames se puede invocar con npx --yes hyperframes ...; Remotion se puede andamiar con npx create-video@latest o instalar como dependencia local del proyecto antes de usar su comando remotion render.
  • Esta habilidad incluye skills/manim-video/. Lee su SKILL.md cuando construyas un slot de Manim.

Los ayudantes (helpers/transcribe.py, helpers/render.py, etc.) viven junto a este SKILL.md. Resuelve sus rutas relativas al directorio que contiene este archivo: la habilidad suele estar enlazada simbólicamente en ~/.claude/skills/video-use/ o ~/.codex/skills/video-use/.

Ayudantes

  • transcribe.py <video> — Llamada única a Scribe. --num-speakers N opcional. En caché.
  • transcribe_batch.py <videos_dir> — Transcripción paralela con 4 trabajadores. Úsalo para múltiples tomas.
  • pack_transcripts.py --edit-dir <dir> — transcripts/*.json → takes_packed.md (nivel de frase, rompe en silencio ≥ 0.5s).
  • timeline_view.py <video> <start> <end> — Tira de fotogramas + PNG de forma de onda. Análisis visual bajo demanda. No es una herramienta de escaneo: úsala en puntos de decisión, no constantemente.
  • render.py <edl.json> -o <out> — Extracción por segmento → concatenación → superposiciones (desplazadas por PTS) → subtítulos ÚLTIMOS. --preview para 720p rápido. --build-subtitles para generar master.srt en línea.
  • grade.py <in> -o <out> — Cadena de filtros de ffmpeg para etalonaje. Ajustes preestablecidos + --filter '<raw>' para personalizado.

Para animaciones, crea <edit>/animations/slot_<id>/ con Bash y genera un subagente mediante la herramienta Agent.

El proceso

  1. Inventario. ffprobe de cada fuente. transcribe_batch.py en el directorio. pack_transcripts.py para producir takes_packed.md. Muestra una o dos timeline_views para una primera impresión visual.

  2. Preescaneo de problemas. Un pase por takes_packed.md para anotar deslices verbales, errores obvios o frases que evitar. Lista simple, alimenta el resumen del editor.

  3. Conversar. Describe lo que ves en lenguaje natural. Haz preguntas moldeadas por el material. Recoge: tipo de contenido, duración/aspecto objetivo, dirección estética/de marca, sensación de ritmo, momentos que deben conservarse, momentos que deben cortarse, preferencias de animación y etalonaje, necesidades de subtítulos. No uses una lista de verificación fija: las preguntas correctas son diferentes cada vez.

  4. Proponer estrategia. 4–8 oraciones: forma, elecciones de toma, dirección del corte, plan de animación, dirección del etalonaje, estilo de subtítulos, estimación de duración. Espera confirmación.

  5. Ejecutar. Produce edl.json mediante el resumen del subagente editor. Profundiza en timeline_view en momentos ambiguos. Construye animaciones en subagentes paralelos. Aplica etalonaje por segmento. Compón mediante render.py.

  6. Vista previa. render.py --preview.

  7. Autoevaluación (antes de mostrar al usuario). Ejecuta timeline_view en la salida renderizada (no las fuentes) en cada límite de corte (ventana de ±1.5s). Verifica cada imagen para:

    • Discontinuidad visual / destello / salto en el corte
    • Pico en la forma de onda en el límite (pop de audio que se escapó del fundido de 30ms)
    • Subtítulo oculto detrás de una superposición (violación de la Regla 1)
    • Superposición desalineada o mostrando fotogramas incorrectos (violación de la Regla 4)

    También muestra: primeros 2s, últimos 2s y 2–3 puntos intermedios: verifica consistencia del etalonaje, legibilidad de subtítulos, coherencia general. Ejecuta ffprobe en la salida para verificar que la duración coincide con la expectativa del EDL.

    Si algo falla: corrige → vuelve a renderizar → vuelve a evaluar. Límite de 3 pases de autoevaluación: si persisten los problemas después de 3, márcalos al usuario en lugar de hacer bucle infinito. Solo presenta la vista previa una vez que la autoevaluación pase.

  8. Iterar + persistir. Retroalimentación en lenguaje natural, replanificar, volver a renderizar. Nunca vuelvas a transcribir. Render final tras confirmación. Añade a project.md.

Técnicas de corte

  • Audio primero. Cortes candidatos a partir de límites de palabras y silencios.
  • Preserva los picos. Risas, remates, énfasis. Extiende más allá de los remates para incluir reacciones: la risa ES el pulso.
  • Los cambios de hablante se benefician del aire entre enunciados. Valores comunes: 400–600ms. Menos para ritmo rápido, más para cine. Decisión de gusto.
  • Los eventos de audio como señales. (risas), (suspiros), (aplausos) marcan pulsos. Extiende más allá de ellos.
  • Los silencios son candidatos a corte. Silencios ≥400ms suelen ser los más limpios. Los límites de frase de 150–400ms son utilizables con una verificación visual. <150ms no es seguro (a media frase).
  • Ejemplo de relleno de corte (el vídeo de lanzamiento incluido con esto): 50ms antes de la primera palabra conservada, 80ms después de la última. Más ajustado para energía de montaje, más holgado para documental. Mantente en la ventana de trabajo de 30–200ms (Regla Estricta 7).
  • Nunca razones audio y vídeo de forma independiente. Cada corte debe funcionar en ambas pistas.

El transcript empaquetado (vista de lectura principal)

pack_transcripts.py lee todos los transcripts/*.json y produce un archivo markdown donde cada toma es una lista de líneas a nivel de frase, cada una prefijada con su rango de tiempo [inicio-fin]. Las frases se rompen en cualquier silencio ≥ 0.5s O cambio de hablante. Este es el artefacto que el subagente editor lee para elegir cortes: proporciona precisión de límites de palabras solo con texto a 1/10 de los tokens del JSON en bruto.

Ejemplo de línea:

## C0103  (duración: 43.0s, 8 frases)
  [002.52-005.36] S0 El noventa por ciento de lo que hace un agente web es completamente desperdiciado.
  [006.08-006.74] S0 Arreglamos esto.

Resumen del subagente editor (para selección de múltiples tomas)

Cuando la tarea es "elegir la mejor toma de cada pulso en varios clips", genera un subagente dedicado con un resumen como este. La estructura es importante; el ejemplo de forma de tono no lo es.

Estás editando un vídeo de <tipo>. Elige la mejor toma de cada pulso y
móntalas cronológicamente por pulso, no por orden de clip fuente.

ENTRADAS:
  - takes_packed.md (transcripts a nivel de frase con marcas de tiempo de todas las tomas)
  - Contexto del producto/narrativo: <2 oraciones del usuario>
  - Hablante(s): <nombre, rol, nota de estilo de entrega>
  - Estructura esperada: <elige un arquetipo o invéntalo>
  - Deslices verbales a evitar: <lista del pase de preescaneo>
  - Duración objetivo: <segundos>

Arquetipos estructurales comunes (elige, adapta o inventa):
  - Lanzamiento técnico / demo: GANCHO → PROBLEMA → SOLUCIÓN → BENEFICIO → EJEMPLO → CTA
  - Tutorial: INTRO → CONFIGURACIÓN → PASOS → TRUCOS → RESUMEN
  - Entrevista: (PREGUNTA → RESPUESTA → SEGUIMIENTO) repetir
  - Viaje / evento: LLEGADA → DESTACADOS → MOMENTOS TRANQUILOS → PARTIDA
  - Documental: TESIS → EVIDENCIA → CONTRAPUNTO → CONCLUSIÓN
  - Música / interpretación: INTRO → VERSO → ESTRIBILLO → PUENTE → OUTRO
  - O inventa el tuyo propio.

REGLAS:
  - Las horas de inicio/fin deben caer en límites de palabras del transcript.
  - Rellena los bordes de corte (ventana de trabajo 30–200ms).
  - Prefiere silencios ≥ 400ms como objetivos de corte.
  - Los deslices inevitables se conservan si no hay mejor toma. Anótalos en "motivo".
  - Si excede el presupuesto, revisa: elimina un pulso o recorta colas. Informa el total y autocorrige.

SALIDA (array JSON, sin prosa):
  [{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "GANCHO",
    "quote": "...", "reason": "..."}, ...]

Devuelve el EDL final y una verificación de duración total en una línea.

Etalonaje (cuando se solicite)

Tu trabajo es razonar sobre la imagen, no aplicar un ajuste preestablecido. Mira un fotograma (mediante timeline_view), decide qué está mal, ajusta una cosa, vuelve a mirar.

El modelo mental es ASC CDL. Por canal: out = (in * slope + offset) ** power, luego saturación global. slope → altas luces, offset → sombras, power → medios.

Cadenas de filtros de ejemplo (grade.py tiene --list-presets; úsalas como puntos de partida o mezcla las tuyas):

  • warm_cinematic — retro/técnico, sutil división teal/naranja, desaturado. Se usó en un vídeo de lanzamiento real. Seguro para cabezas parlantes.
  • neutral_punch — correctivo mínimo: aumento de contraste + suave curva S. Sin cambios de tono.
  • none — copia directa. Opción predeterminada cuando el usuario no ha solicitado nada.

Para cualquier otra cosa (retrato, naturaleza, producto, vídeo musical, documental), inventa tu propia cadena. grade.py --filter '<raw ffmpeg>' acepta cualquier cadena de filtros.

Reglas estrictas: aplica por segmento durante la extracción (no después de la concatenación, que recodifica dos veces). Nunca te vuelvas agresivo sin probar tonos de piel.

Subtítulos (cuando se soliciten)

Los subtítulos tienen tres dimensiones que vale la pena razonar: fragmentación (1/2/3/oración por línea), mayúsculas/minúsculas (MAYÚSCULAS/Título/Natural) y ubicación (margen desde la parte inferior). La combinación correcta depende del contenido.

Estilos trabajados — elige, adapta o inventa:

bold-overlay — lanzamiento técnico de formato corto, redes sociales de ritmo rápido. Fragmentos de 2 palabras, MAYÚSCULAS, rompe en puntuación, Helvetica 18 Negrita, blanco con contorno, MarginV=35. render.py incluye esto como SUB_FORCE_STYLE.

FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35

natural-sentence (si inventas este modo) — narrativo, documental, educativo. Fragmentos de 4–7 palabras, oración con mayúscula inicial, rompe en pausas naturales, MarginV=60–80, fuente más grande...

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Skills relacionados