Communitygithub.com

The-AIOS/aios

Observa o escucha una fuente de video/audio y la retiene en contexto para responder preguntas, resumirla, extraer citas o actuar sobre su contenido. Una acción de COMPRENSIÓN RÁPIDA, no un pipeline de archivado.

¿Qué es aios?

Esta skill habilita a un agente de IA a 'mirar' o 'escuchar' contenido multimedia (videos, grabaciones, screencasts, eventos de YouTube) proporcionado por el usuario, manteniendo la comprensión en la sesión actual. Está diseñada para casos donde el usuario pide acciones como 'mira esto', '¿qué dice este video?' o 'resume esta charla' y el agente necesita acceder a contenido que Claude no puede descubrir por sí mismo a través de sus hooks nativos. La skill se apoya en dos scripts principales: `hooks/transcribe.py` para transcripción de audio larga (usando mlx-whisper en el dispositivo, Apple Silicon) y `hooks/video-watch.py` para el canal visual (diapositivas, código, diagramas, texto en pantalla que se pierde en una transcripción). Es compatible con macOS/Apple Silicon; en otras plataformas, se recurre a MarkItDown para subtítulos de YouTube o audio corto. La skill enfatiza la comprensión sobre el archivado: su salida es entendimiento en contexto, no un artefacto de bóveda. Si el usuario desea guardar el contenido, se debe delegar explícitamente a `/aios:ingest`.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/The-AIOS/aios/tree/HEAD/skills/aios/watch-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Ver un video — comprensión, no ingesta

Alguien comparte un video y te pregunta sobre él. Dos hooks hacen esto posible, y ninguno es descubrible por sí solo — los hooks no tienen coincidencia semántica, por lo que una sesión a la que se le pide "mira esto" no encuentra nada e improvisa. Esa brecha es la razón completa de la existencia de esta skill.

El límite — lee esto primero

Esta skill MIRA. No ARCHIVA. Su salida es comprensión mantenida en la sesión, no un artefacto de la bóveda. Sin nota, sin frontmatter, sin enlaces cruzados, sin actualización de _index, sin enrutamiento de elementos de acción. Los archivos de trabajo van a una ruta temporal (/tmp), nunca a vault/.

/aios:ingest es el pipeline de archivado — existe precisamente para que convertir una fuente en una nota de bóveda permanente y conectada sea un acto deliberado con convenciones. Si el operador quiere eso, transfiere ("¿quieres que ejecute /aios:ingest para que esto termine en reflections/ingests/ con los enlaces cruzados?") — no lo implementes a medias aquí. Dos caminos, un límite, sin superposición.

Así que la forma de una ejecución es: ponlo en contexto → haz lo que se pidió → ofrece, no asumas. Si la solicitud fue abierta ("mira esto" sin pregunta), míralo, luego di lo que es en dos o tres líneas y pregunta qué quieren de él. No fabriques un entregable que nadie solicitó.

Qué herramienta — la decisión real

La fuenteUsaPor qué
Documento (PDF, docx, presentación, hoja de cálculo)MarkItDown o las document-skillsNo es trabajo de esta skill; esos ya coinciden semánticamente
Audio/video largo, el audio es suficientehooks/transcribe.pyMarkItDown procesa audio en un solo disparo con Google Web Speech — bien para una frase, inútil para una entrevista de 49 minutos
YouTube, el audio es suficienteSubtítulos de MarkItDown primeroMucho más rápido que transcribir; recurre a transcribe.py cuando los subtítulos están ausentes o son basura
La PANTALLA lleva la señalhooks/video-watch.py además de la transcripciónUna transcripción descarta cada fotograma: diapositivas, código, diagramas, terminal, gráficos, texto en pantalla

La pantalla lleva la señal cuando la fuente es una charla con diapositivas, un screencast, un recorrido de código, una demo de herramienta, una conferencia con diagramas, o cualquier cosa donde "como puedes ver aquí" te dejaría ciego. En caso de duda, pregunta: el pase visual cuesta tiempo real.

Los comandos

# columna vertebral de la transcripción (en el dispositivo: ffmpeg → mlx-whisper large-v3-turbo, duración arbitraria)
python3 ~/aios/hooks/transcribe.py <archivo-o-URL> /tmp/watch-transcript.txt

# canal visual, superpuesto a la transcripción — NUNCA en lugar de ella
python3 ~/aios/hooks/video-watch.py <archivo-o-URL> \
  --transcript /tmp/watch-transcript.txt --reader ocr --code

La elección del lector es la única decisión real de bandera:

  • --reader ocr — texto en pantalla textual mediante Apple Vision. Predeterminado para diapositivas, código, terminales, cualquier cosa que necesites citar exactamente. Añade --code cuando los fotogramas contengan código.
  • --reader vlm — La visión de Claude describe cada fotograma. Para diagramas, gráficos, arquitectura, UI — estructura sobre texto literal.
  • --reader both — Cuando necesitas las palabras exactas y lo que significa la imagen. Duplica aproximadamente el coste por fotograma.

Todo lo demás (--scene-threshold, --max-frames, --sample-every, --max-width, --phash-threshold) tiene un valor predeterminado sensato. Tócalos solo cuando el primer pase sea visiblemente demasiado escaso o ruidoso; --help los enumera.

Realidad de la plataforma — indícalo, no lo golpees

Ambos hooks son para macOS / Apple Silicon (mlx-whisper, Apple Vision mediante hooks/ocr-image.swift). En Linux o Windows, dilo y recurre a MarkItDown, que maneja subtítulos de YouTube y audio corto multiplataforma. No dejes que un operador vea fallar un comando para aprender esto.

Establece expectativas antes de quemar el tiempo

Transcribir una grabación larga y leer sus fotogramas lleva minutos, no segundos — una charla de 45 minutos con un pase visual es lo más pesado de esta skill. Indica la estimación de antemano y confirma, especialmente para el pase visual. Dos movimientos baratos que suelen vencer a la fuerza bruta:

  • Transcripción primero, siempre. Es la columna vertebral semántica, es más rápida y a menudo responde la pregunta directamente — en cuyo caso el pase visual es innecesario.
  • Si la solicitud es específica ("¿menciona los precios?"), busca en la transcripción en lugar de leerla entera.

Modos de fallo que vale la pena conocer

  • Una transcripción no es el video. Si el operador pregunta sobre algo mostrado, una transcripción limpia que nunca lo menciona no es evidencia de ausencia — es el instrumento equivocado. Ejecuta el pase visual o di que aún no puedes responder.
  • Los subtítulos de YouTube pueden ser generados automáticamente y estar equivocados (nombres, jerga, números). Si una cita importa, verifícala con transcribe.py antes de atribuirla.
  • No cites lo que no leíste. Los fotogramas se muestrean mediante detección de cambio de escena y se deduplican, por lo que el pase visual es una muestra, no un registro completo. Si una afirmación se basa en un fotograma, di de qué marca de tiempo proviene.
  • Los archivos temporales son temporales. Limpia /tmp/watch-* cuando termines, o di dónde los dejaste. Nunca los escribas en vault/.

Transferencia

Cuando el material resulta valioso para conservar:

  • Archívalo correctamente → /aios:ingest (termina en reflections/ingests/, nombre {fuente}-{slug}, frontmatter, enlaces cruzados, elementos de acción enrutados a los pendientes del proyecto).
  • Cambió el estado de un proyecto → dilo y ofrece actualizar esa nota del proyecto.
  • Produjo una visión duradera → eso pertenece a la bóveda a través de la ruta normal de cierre de sesión, no como efecto secundario de mirar algo.

Mirar es barato y repetible. Archivar es una decisión. Mantenlos separados.

Skills relacionados