Communitygithub.com

FilippTrigub/abra

Décrit et légende automatiquement des images à l'aide d'un modèle de langage visuel local. Écrit un fichier JSON d'accompagnement par image contenant une description en une phrase, une suggestion de légende Instagram avec hashtags et des mots-clés de contenu détectés.

Qu'est-ce que abra ?

Cette compétence exécute un modèle de langage visuel (VLM) local sur chaque image d'un répertoire d'entrée et génère un fichier JSON d'accompagnement contenant une description en une phrase, une légende Instagram avec hashtags et des mots-clés de contenu détectés. Elle est idéale pour les utilisateurs cherchant à automatiser la génération de légendes, à comprendre le contenu d'un lot d'images sans les examiner manuellement, ou à alimenter des descriptions dans un pipeline de contenu ou un outil de planification. La compétence prend en charge les modèles moondream2 (rapide, adapté au CPU) et phi4 (de meilleure qualité, nécessite un GPU), ainsi que l'inférence locale et distante (HuggingFace, Replicate). L'utilisateur peut configurer le style de légende, le périphérique d'inférence et les répertoires d'entrée/sortie. Le résultat est un fichier JSON standard pour chaque image, incluant les champs description, légende et tags, ce qui permet une intégration facile avec d'autres outils.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/image-captioner

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

alt — Auto-Légende

Exécute un VLM local sur chaque image de input_dir et écrit un fichier JSON d'accompagnement dans output_dir. Utile pour générer automatiquement des légendes, comprendre le contenu d'un lot ou alimenter des descriptions dans d'autres outils.

Le répertoire de la compétence (où se trouve ce SKILL.md) est appelé $SKILL_DIR ci-dessous.


Quand l'utiliser

Utilisez cette compétence lorsque l'utilisateur souhaite :

  • Générer automatiquement des légendes Instagram à partir de photos
  • Comprendre le contenu d'un lot d'images sans les examiner manuellement
  • Alimenter des descriptions d'images dans un pipeline de contenu ou un outil de planification

Configuration (première exécution uniquement)

cd "$SKILL_DIR" && uv sync

Les poids du modèle moondream2 sont téléchargés lors de la première utilisation (~4 Go depuis HuggingFace). Les poids de Phi-4 sont plus volumineux (~8 Go) et nécessitent un GPU.


Workflow de l'agent

1. Demander à l'utilisateur

Avant de décrire les images, j'ai besoin de savoir :

🧠 Modèle
  - moondream2  — 2B paramètres, rapide, fonctionne sur CPU  (par défaut)
  - phi4        — 3,8B multimodal, de meilleure qualité, nécessite un GPU

💬 Style de légende (optionnel — j'utiliserai une valeur par défaut raisonnable)
  ex. "Décontracté et amusant avec des emojis" ou "Professionnel et inspirant"

⚙️  Périphérique
  - auto  — GPU si disponible, sinon CPU (par défaut)
  - cpu   — moondream2 uniquement ; ~7s/image sur un CPU de bureau moderne

📁 Répertoires d'entrée / sortie  (par défaut : ./input et ./output)

2. Modifier config.json

Si l'utilisateur donne un style de légende, intégrez-le dans prompt_caption. Exemple : "Rédige une légende Instagram amusante et riche en emojis pour cette image. Inclus 3 à 5 hashtags."

Si l'utilisateur demande des visuels de marque, vérifiez dans skills/brand-manager/brand-assets/asset-manifest.json les polices disponibles et mentionnez la police de marque préférée dans les instructions de légende générée ou les notes de transmission. Cette compétence écrit uniquement des fichiers JSON d'accompagnement, elle ne rend donc pas de texte lui-même ; les moteurs de rendu en aval tels que visual-hook, video-captioner et end-cta doivent utiliser les fichiers de polices de marque réels lorsqu'ils sont spécifiés et disponibles.

3. Exécuter

cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json

La première exécution télécharge les poids du modèle — prévenez l'utilisateur que cela peut prendre quelques minutes.

4. Rapporter les résultats

Affichez la description et la légende pour chaque image. Indiquez à l'utilisateur où les fichiers JSON ont été écrits.


Référence de configuration

CléValeursPar défautDescription
input_dirchemin./inputDossier source des images
output_dirchemin./outputDossier de destination pour les fichiers JSON d'accompagnement
modelmoondream2, phi4moondream2Modèle de langage visuel
prompt_descriptionchaîne"Décris cette image en une phrase."Invite pour le champ description
prompt_captionchaîne"Rédige une légende Instagram engageante…"Invite pour le champ légende
deviceauto, cpu, cudaautoPériphérique d'inférence

Invocations courantes

# Par défaut (moondream2, périphérique auto)
cd "$SKILL_DIR" && uv run python scripts/describe.py

# Qualité supérieure (GPU requis)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4

# Forcer le CPU
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu

# Invite de légende personnalisée
cd "$SKILL_DIR" && uv run python scripts/describe.py \
  --prompt-caption "Rédige une légende LinkedIn professionnelle pour cette image."

Sortie

Pour chaque photo.jpg dans input_dir, écrit photo.json dans output_dir :

{
  "description": "Une femme dans un café ensoleillé tenant une tasse de café.",
  "caption": "Rituels matinaux ☕✨ Bien commencer la journée. #coffeetime #morningvibes #cafe",
  "tags": ["portrait", "café", "intérieur", "lumière chaude"]
}

Lorsque les polices de marque sont pertinentes, incluez le nom/la balise de la police dans les instructions en aval plutôt que d'incorporer un fichier de police dans ce JSON. Les compétences de rendu sont responsables de la résolution du chemin du manifeste et de l'application de la police.


Gestion des erreurs

  • phi4 + cpu → rejeté lors de la validation de la configuration avec un message clair
  • Échecs de téléchargement du modèle → affichés avec les détails de l'erreur HuggingFace
  • Erreurs individuelles sur une image → enregistrées ; les autres images continuent

Inférence distante

Cette compétence prend en charge le légendage distant optionnel tout en conservant le même format de sortie JSON d'accompagnement.

  • Le comportement par défaut reste local
  • Les fournisseurs distants sont uniquement sur option
  • Fournisseurs pris en charge : huggingface, replicate

Clés de configuration

CléPar défautNotes
providernullnull, local, ou none conserve le mode local
remote_modelnullOptionnel, remplacement du modèle VLM spécifique au fournisseur
hf_token_envHF_TOKENNom de la variable d'environnement d'authentification HuggingFace
replicate_api_key_envREPLICATE_API_TOKENNom de la variable d'environnement d'authentification Replicate
remote_timeout_seconds300Délai d'attente pour l'appel distant

Exemples

# Légendage distant via HuggingFace
export HF_TOKEN=hf_votre_token
uv run python scripts/describe.py --config config.json --provider huggingface

# Légendage distant via Replicate
export REPLICATE_API_TOKEN=r8_votre_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <slug-du-modèle-replicate>

Notes

  • Le mode distant écrit toujours les mêmes fichiers JSON d'accompagnement description / caption / tags
  • Des identifiants manquants entraînent un échec rapide ; il n'y a aucun repli silencieux vers le mode local
  • Replicate nécessite un slug de modèle explicite pour le légendage distant

Normes de qualité des légendes

La légende est aussi importante que l'image. Une légende faible gâche un visuel fort. Appliquez ces principes lors de la génération ou de la demande de légendes.

Règle de l'unité

Chaque légende doit porter une idée centrale claire. Si la légende tente de faire plusieurs points, elle devient diffuse et perd de son impact. Les légendes les plus fortes ont une seule pointe de lance : une promesse, une leçon, une observation, un battement d'histoire.

Test : pouvez-vous résumer cette légende en une phrase ? Toutes les lignes soutiennent-elles la même idée ? Si non, coupez jusqu'à ce que le cœur soit clair.

Accroche en premier

La première ligne de toute légende est l'accroche. Sur Instagram, seuls les ~125 premiers caractères sont affichés avant "plus" — cette première ligne doit gagner le clic. Sur LinkedIn, la première ligne est le titre.

Modèles d'accroche qui fonctionnent :

  • Contraire : "Arrêtez de faire X."
  • Fossé de curiosité : "La plupart des gens ne réalisent pas…"
  • Appel à l'identité : "Si vous êtes [X], faites attention."
  • Autorité/expérience : "Si je devais recommencer, voici ce que je ferais."
  • Point douloureux : "C'est pourquoi vous êtes coincé à [X]."

Évitez d'ouvrir avec "Je" ou avec une phrase d'échauffement qui ne dit rien. La première ligne doit mériter le reste de la lecture.

Structure spécifique à la plateforme

Instagram :

  • Accroche en premier (≤125 caractères)
  • Corps : histoire, leçon ou insight
  • 3 à 5 hashtags pertinents à la fin
  • Ton authentique — évitez le langage marketing poli
  • Les emojis sont acceptables mais doivent renforcer le sens, pas décorer

LinkedIn :

  • 600 à 800 caractères pour une meilleure portée ; 100 à 150 pour un CTR élevé si nécessaire
  • Accroche forte dans la première ligne
  • Aucun lien externe dans le corps du post (LinkedIn réduit la portée des liens sortants)
  • Cadres qui fonctionnent : Accroche → insight → décomposition → CTA ; ou Histoire → leçon → action → question d'engagement
  • Clarté avant la créativité — les lecteurs scannent rapidement
  • Évitez : trop d'emojis, espaces blancs excessifs, même format dos à dos, polices externes

Test anti-générique

Avant d'accepter une légende générée, demandez-vous : est-ce que cela ressemble à l'expert qui a pris cette photo, ou est-ce que cela ressemble à une écriture d'IA générique ? Si elle aurait pu être écrite par n'importe qui sur n'importe quel sujet, elle échoue. La légende doit refléter un point de vue, une observation ou un moment vécu spécifique.

Évitez

  • Ouvrir avec "Je" comme premier mot
  • Des déclarations vagues et inspirantes sans point concret
  • Des emojis utilisés comme remplissage visuel plutôt que pour renforcer le sens
  • Plus d'un appel à l'action dans une seule légende
  • Le spam de hashtags (10+ hashtags) sur LinkedIn

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Skills associés