Communitygithub.com

FilippTrigub/abra

Auto-descripción y subtitulado de imágenes usando un modelo local de visión y lenguaje. Escribe un archivo JSON complementario por imagen con una descripción de una oración, un sugerido para Instagram con hashtags y etiquetas de contenido detectadas.

¿Qué es abra?

Este skill ejecuta un modelo de visión y lenguaje (VLM) local sobre cada imagen en un directorio de entrada y genera un archivo JSON complementario en el directorio de salida. Es útil para generar automáticamente descripciones y subtítulos (especialmente para Instagram), comprender el contenido de un lote de imágenes sin revisarlas manualmente, o alimentar descripciones a otras herramientas de un pipeline de contenido. Soporta los modelos moondream2 (rápido, funciona en CPU) y phi4 (mayor calidad, requiere GPU), con configuración de dispositivo automática o forzada a CPU. Incluye estándares de calidad para subtítulos, como la regla de una sola idea central, un gancho inicial efectivo y estructura específica para cada plataforma (Instagram vs LinkedIn). También ofrece inferencia remota opcional a través de HuggingFace o Replicate, manteniendo el mismo formato de salida JSON con descripción, subtítulo y etiquetas.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/image-captioner

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

alt — Auto-Caption

Ejecuta un VLM local sobre cada imagen en input_dir y escribe un archivo JSON complementario en output_dir. Útil para generar subtítulos automáticamente, comprender contenido por lotes o alimentar descripciones a otras herramientas.

El directorio del skill (donde reside este SKILL.md) se denomina $SKILL_DIR a continuación.


Cuándo usarlo

Usa este skill cuando el usuario quiera:

  • Generar subtítulos automáticos para Instagram a partir de fotos
  • Entender qué hay en un lote de imágenes sin revisarlas manualmente
  • Alimentar descripciones de imágenes a un pipeline de contenido o herramienta de programación

Configuración (solo la primera vez)

cd "$SKILL_DIR" && uv sync

Los pesos de moondream2 se descargan en el primer uso (~4 GB desde HuggingFace). Los pesos de Phi-4 son más grandes (~8 GB) y requieren una GPU.


Flujo de trabajo del agente

1. Preguntar al usuario

Antes de describir las imágenes, necesito saber:

🧠 Modelo
  - moondream2  — 2B parámetros, rápido, funciona en CPU  (por defecto)
  - phi4        — 3.8B multimodal, mayor calidad, requiere GPU

💬 Estilo de subtítulo (opcional — usaré un valor predeterminado sensato)
  p. ej. "Casual y divertido con emojis" o "Profesional e inspirador"

⚙️  Dispositivo
  - auto  — GPU si está disponible, si no CPU (por defecto)
  - cpu   — solo moondream2; ~7s/imagen en una CPU de escritorio moderna

📁 Directorios de entrada / salida  (por defecto: ./input y ./output)

2. Editar config.json

Si el usuario proporciona un estilo de subtítulo, intégralo en prompt_caption. Ejemplo: "Escribe un subtítulo divertido y rico en emojis para Instagram para esta imagen. Incluye 3-5 hashtags."

Si el usuario solicita imágenes con la marca, consulta skills/brand-manager/brand-assets/asset-manifest.json para ver las fuentes disponibles y menciona la fuente de marca preferida en las instrucciones del subtítulo generado o en las notas de entrega. Este skill solo escribe archivos JSON complementarios, por lo que no renderiza texto por sí mismo; los renderizadores posteriores, como visual-hook, video-captioner y end-cta, deben usar los archivos de fuente de marca reales cuando se especifiquen y estén disponibles.

3. Ejecutar

cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json

La primera ejecución descarga los pesos del modelo: advierte al usuario que esto puede tardar unos minutos.

4. Informar resultados

Muestra la descripción y el subtítulo de cada imagen. Indica al usuario dónde se escribieron los archivos JSON.


Referencia de configuración

ClaveValoresPor defectoDescripción
input_dirruta./inputCarpeta de imágenes de origen
output_dirruta./outputCarpeta de destino para archivos JSON complementarios
modelmoondream2, phi4moondream2Modelo de visión y lenguaje
prompt_descriptioncadena"Describe esta imagen en una oración."Prompt para el campo de descripción
prompt_captioncadena"Escribe un subtítulo atractivo para Instagram…"Prompt para el campo de subtítulo
deviceauto, cpu, cudaautoDispositivo de inferencia

Invocaciones comunes

# Por defecto (moondream2, dispositivo auto)
cd "$SKILL_DIR" && uv run python scripts/describe.py

# Mayor calidad (requiere GPU)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4

# Forzar CPU
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu

# Prompt de subtítulo personalizado
cd "$SKILL_DIR" && uv run python scripts/describe.py \
  --prompt-caption "Escribe un subtítulo profesional para LinkedIn para esta imagen."

Salida

Para cada photo.jpg en input_dir, escribe photo.json en output_dir:

{
  "description": "Una mujer en una cafetería iluminada por el sol sosteniendo una taza de café.",
  "caption": "Rituales matutinos ☕✨ Empezando el día bien. #coffeetime #mañanavibes #cafetería",
  "tags": ["retrato", "café", "interior", "luz cálida"]
}

Cuando las fuentes de la marca sean relevantes, incluye el nombre/etiqueta de la fuente en las instrucciones posteriores en lugar de incrustar un archivo de fuente en este JSON. Los skills de renderizado son responsables de resolver la ruta del manifiesto y aplicar la fuente.


Manejo de errores

  • phi4 + cpu → rechazado en la validación de configuración con un mensaje claro
  • Fallos en la descarga del modelo → se muestran con detalles del error de HuggingFace
  • Errores individuales de imagen → se registran; el resto de imágenes continúan

Inferencia remota

Este skill admite subtitulado remoto opcional manteniendo el mismo formato de salida JSON.

  • El comportamiento predeterminado sigue siendo local
  • Los proveedores remotos son opt-in solamente
  • Proveedores compatibles: huggingface, replicate

Claves de configuración

ClavePor defectoNotas
providernullnull, local, o none mantiene el modo local
remote_modelnullSobrescritura opcional del modelo VLM específico del proveedor
hf_token_envHF_TOKENNombre de la variable de entorno de autenticación de HuggingFace
replicate_api_key_envREPLICATE_API_TOKENNombre de la variable de entorno de autenticación de Replicate
remote_timeout_seconds300Tiempo de espera de la llamada remota

Ejemplos

# Subtitulado remoto con HuggingFace
export HF_TOKEN=hf_your_token
uv run python scripts/describe.py --config config.json --provider huggingface

# Subtitulado remoto con Replicate
export REPLICATE_API_TOKEN=r8_your_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <replicate-model-slug>

Notas

  • El modo remoto sigue escribiendo el mismo archivo JSON complementario con description / caption / tags
  • La falta de credenciales falla rápidamente; no hay fallo silencioso al modo local
  • Replicate requiere un slug de modelo explícito para el subtitulado remoto

Estándares de calidad de subtítulos

El subtítulo es tan importante como la imagen. Un subtítulo débil desperdicia un visual potente. Aplica estos principios al generar o solicitar subtítulos.

Regla de uno

Cada subtítulo debe transmitir una idea central clara. Si el subtítulo intenta comunicar múltiples puntos, se vuelve difuso y pierde impacto. Los subtítulos más potentes tienen un único punto central: una promesa, una lección, una observación, un golpe narrativo.

Prueba: ¿puedes resumir este subtítulo en una oración? ¿Todas las líneas apoyan la misma idea? Si no, recorta hasta que el núcleo esté claro.

Gancho primero

La primera línea de cualquier subtítulo es el gancho. En Instagram, solo se muestran los primeros ~125 caracteres antes de "más" — esa primera línea debe ganarse el toque. En LinkedIn, la primera línea es el titular.

Patrones de gancho que funcionan:

  • Contrario: "Deja de hacer X."
  • Brecha de curiosidad: "La mayoría de la gente no se da cuenta…"
  • Llamada a la identidad: "Si eres [X], presta atención."
  • Autoridad/experiencia: "Si tuviera que empezar de nuevo, esto es lo que haría."
  • Punto de dolor: "Por eso estás estancado en [X]."

Evita abrir con "Yo" o con una frase de calentamiento que no diga nada. La primera línea debe ganarse el resto de la lectura.

Estructura específica de la plataforma

Instagram:

  • Gancho primero (≤125 caracteres)
  • Cuerpo: historia, lección o reflexión
  • 3–5 hashtags relevantes al final
  • Tono auténtico: evita el lenguaje de marketing pulido
  • Los emojis son aceptables pero deben reforzar el significado, no decorar

LinkedIn:

  • 600–800 caracteres para mejor alcance; 100–150 para alta tasa de clics cuando sea necesario
  • Gancho potente en la primera línea
  • Sin enlaces externos en el cuerpo de la publicación (LinkedIn suprime el alcance de los enlaces salientes)
  • Marcos que funcionan: Gancho → reflexión → desglose → CTA; o Historia → lección → acción → pregunta de participación
  • Claridad sobre creatividad: los lectores escanean rápido
  • Evitar: exceso de emojis, espacios en blanco excesivos, mismo formato consecutivo, fuentes externas

Prueba antigénérica

Antes de aceptar un subtítulo generado, pregúntate: ¿suena como el experto que tomó esta foto, o suena como escritura genérica de IA? Si podría haber sido escrito por cualquiera sobre cualquier cosa, no sirve. El subtítulo debe reflejar un punto de vista, observación o momento vivido específico.

Evitar

  • Abrir con "Yo" como primera palabra
  • Declaraciones inspiradoras vagas sin un punto concreto
  • Emojis usados como relleno visual en lugar de reforzar el significado
  • Más de una llamada a la acción en un solo subtítulo
  • Spam de hashtags (10+ hashtags) en LinkedIn

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Skills relacionados