alt — Auto-Légende
Exécute un VLM local sur chaque image de input_dir et écrit un fichier JSON d'accompagnement dans output_dir. Utile pour générer automatiquement des légendes, comprendre le contenu d'un lot ou alimenter des descriptions dans d'autres outils.
Le répertoire de la compétence (où se trouve ce SKILL.md) est appelé $SKILL_DIR ci-dessous.
Quand l'utiliser
Utilisez cette compétence lorsque l'utilisateur souhaite :
- Générer automatiquement des légendes Instagram à partir de photos
- Comprendre le contenu d'un lot d'images sans les examiner manuellement
- Alimenter des descriptions d'images dans un pipeline de contenu ou un outil de planification
Configuration (première exécution uniquement)
cd "$SKILL_DIR" && uv sync
Les poids du modèle moondream2 sont téléchargés lors de la première utilisation (~4 Go depuis HuggingFace). Les poids de Phi-4 sont plus volumineux (~8 Go) et nécessitent un GPU.
Workflow de l'agent
1. Demander à l'utilisateur
Avant de décrire les images, j'ai besoin de savoir :
🧠 Modèle
- moondream2 — 2B paramètres, rapide, fonctionne sur CPU (par défaut)
- phi4 — 3,8B multimodal, de meilleure qualité, nécessite un GPU
💬 Style de légende (optionnel — j'utiliserai une valeur par défaut raisonnable)
ex. "Décontracté et amusant avec des emojis" ou "Professionnel et inspirant"
⚙️ Périphérique
- auto — GPU si disponible, sinon CPU (par défaut)
- cpu — moondream2 uniquement ; ~7s/image sur un CPU de bureau moderne
📁 Répertoires d'entrée / sortie (par défaut : ./input et ./output)
2. Modifier config.json
Si l'utilisateur donne un style de légende, intégrez-le dans prompt_caption.
Exemple : "Rédige une légende Instagram amusante et riche en emojis pour cette image. Inclus 3 à 5 hashtags."
Si l'utilisateur demande des visuels de marque, vérifiez dans skills/brand-manager/brand-assets/asset-manifest.json les polices disponibles et mentionnez la police de marque préférée dans les instructions de légende générée ou les notes de transmission. Cette compétence écrit uniquement des fichiers JSON d'accompagnement, elle ne rend donc pas de texte lui-même ; les moteurs de rendu en aval tels que visual-hook, video-captioner et end-cta doivent utiliser les fichiers de polices de marque réels lorsqu'ils sont spécifiés et disponibles.
3. Exécuter
cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json
La première exécution télécharge les poids du modèle — prévenez l'utilisateur que cela peut prendre quelques minutes.
4. Rapporter les résultats
Affichez la description et la légende pour chaque image. Indiquez à l'utilisateur où les fichiers JSON ont été écrits.
Référence de configuration
| Clé | Valeurs | Par défaut | Description |
|---|---|---|---|
input_dir | chemin | ./input | Dossier source des images |
output_dir | chemin | ./output | Dossier de destination pour les fichiers JSON d'accompagnement |
model | moondream2, phi4 | moondream2 | Modèle de langage visuel |
prompt_description | chaîne | "Décris cette image en une phrase." | Invite pour le champ description |
prompt_caption | chaîne | "Rédige une légende Instagram engageante…" | Invite pour le champ légende |
device | auto, cpu, cuda | auto | Périphérique d'inférence |
Invocations courantes
# Par défaut (moondream2, périphérique auto)
cd "$SKILL_DIR" && uv run python scripts/describe.py
# Qualité supérieure (GPU requis)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4
# Forcer le CPU
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu
# Invite de légende personnalisée
cd "$SKILL_DIR" && uv run python scripts/describe.py \
--prompt-caption "Rédige une légende LinkedIn professionnelle pour cette image."
Sortie
Pour chaque photo.jpg dans input_dir, écrit photo.json dans output_dir :
{
"description": "Une femme dans un café ensoleillé tenant une tasse de café.",
"caption": "Rituels matinaux ☕✨ Bien commencer la journée. #coffeetime #morningvibes #cafe",
"tags": ["portrait", "café", "intérieur", "lumière chaude"]
}
Lorsque les polices de marque sont pertinentes, incluez le nom/la balise de la police dans les instructions en aval plutôt que d'incorporer un fichier de police dans ce JSON. Les compétences de rendu sont responsables de la résolution du chemin du manifeste et de l'application de la police.
Gestion des erreurs
phi4+cpu→ rejeté lors de la validation de la configuration avec un message clair- Échecs de téléchargement du modèle → affichés avec les détails de l'erreur HuggingFace
- Erreurs individuelles sur une image → enregistrées ; les autres images continuent
Inférence distante
Cette compétence prend en charge le légendage distant optionnel tout en conservant le même format de sortie JSON d'accompagnement.
- Le comportement par défaut reste local
- Les fournisseurs distants sont uniquement sur option
- Fournisseurs pris en charge :
huggingface,replicate
Clés de configuration
| Clé | Par défaut | Notes |
|---|---|---|
provider | null | null, local, ou none conserve le mode local |
remote_model | null | Optionnel, remplacement du modèle VLM spécifique au fournisseur |
hf_token_env | HF_TOKEN | Nom de la variable d'environnement d'authentification HuggingFace |
replicate_api_key_env | REPLICATE_API_TOKEN | Nom de la variable d'environnement d'authentification Replicate |
remote_timeout_seconds | 300 | Délai d'attente pour l'appel distant |
Exemples
# Légendage distant via HuggingFace
export HF_TOKEN=hf_votre_token
uv run python scripts/describe.py --config config.json --provider huggingface
# Légendage distant via Replicate
export REPLICATE_API_TOKEN=r8_votre_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <slug-du-modèle-replicate>
Notes
- Le mode distant écrit toujours les mêmes fichiers JSON d'accompagnement
description/caption/tags - Des identifiants manquants entraînent un échec rapide ; il n'y a aucun repli silencieux vers le mode local
- Replicate nécessite un slug de modèle explicite pour le légendage distant
Normes de qualité des légendes
La légende est aussi importante que l'image. Une légende faible gâche un visuel fort. Appliquez ces principes lors de la génération ou de la demande de légendes.
Règle de l'unité
Chaque légende doit porter une idée centrale claire. Si la légende tente de faire plusieurs points, elle devient diffuse et perd de son impact. Les légendes les plus fortes ont une seule pointe de lance : une promesse, une leçon, une observation, un battement d'histoire.
Test : pouvez-vous résumer cette légende en une phrase ? Toutes les lignes soutiennent-elles la même idée ? Si non, coupez jusqu'à ce que le cœur soit clair.
Accroche en premier
La première ligne de toute légende est l'accroche. Sur Instagram, seuls les ~125 premiers caractères sont affichés avant "plus" — cette première ligne doit gagner le clic. Sur LinkedIn, la première ligne est le titre.
Modèles d'accroche qui fonctionnent :
- Contraire : "Arrêtez de faire X."
- Fossé de curiosité : "La plupart des gens ne réalisent pas…"
- Appel à l'identité : "Si vous êtes [X], faites attention."
- Autorité/expérience : "Si je devais recommencer, voici ce que je ferais."
- Point douloureux : "C'est pourquoi vous êtes coincé à [X]."
Évitez d'ouvrir avec "Je" ou avec une phrase d'échauffement qui ne dit rien. La première ligne doit mériter le reste de la lecture.
Structure spécifique à la plateforme
Instagram :
- Accroche en premier (≤125 caractères)
- Corps : histoire, leçon ou insight
- 3 à 5 hashtags pertinents à la fin
- Ton authentique — évitez le langage marketing poli
- Les emojis sont acceptables mais doivent renforcer le sens, pas décorer
LinkedIn :
- 600 à 800 caractères pour une meilleure portée ; 100 à 150 pour un CTR élevé si nécessaire
- Accroche forte dans la première ligne
- Aucun lien externe dans le corps du post (LinkedIn réduit la portée des liens sortants)
- Cadres qui fonctionnent : Accroche → insight → décomposition → CTA ; ou Histoire → leçon → action → question d'engagement
- Clarté avant la créativité — les lecteurs scannent rapidement
- Évitez : trop d'emojis, espaces blancs excessifs, même format dos à dos, polices externes
Test anti-générique
Avant d'accepter une légende générée, demandez-vous : est-ce que cela ressemble à l'expert qui a pris cette photo, ou est-ce que cela ressemble à une écriture d'IA générique ? Si elle aurait pu être écrite par n'importe qui sur n'importe quel sujet, elle échoue. La légende doit refléter un point de vue, une observation ou un moment vécu spécifique.
Évitez
- Ouvrir avec "Je" comme premier mot
- Des déclarations vagues et inspirantes sans point concret
- Des emojis utilisés comme remplissage visuel plutôt que pour renforcer le sens
- Plus d'un appel à l'action dans une seule légende
- Le spam de hashtags (10+ hashtags) sur LinkedIn