alt — Auto-Caption
Durchläuft jedes Bild in input_dir mit einem lokalen VLM und schreibt ein JSON-Seitenfahrzeug in output_dir. Nützlich für automatische Caption-Erstellung, Batch-Inhaltsverständnis oder die Einspeisung von Beschreibungen in andere Tools.
Das Skill-Verzeichnis (in dem diese SKILL.md liegt) wird im Folgenden als $SKILL_DIR bezeichnet.
Wann verwenden
Verwenden Sie dieses Skill, wenn der Benutzer Folgendes möchte:
- Automatische Instagram-Captions aus Fotos generieren
- Den Inhalt eines Bild-Batches verstehen, ohne jedes Bild manuell anzusehen
- Bildbeschreibungen in eine Content-Pipeline oder ein Planungstool einspeisen
Einrichtung (nur beim ersten Mal)
cd "$SKILL_DIR" && uv sync
moondream2-Gewichte werden beim ersten Durchlauf heruntergeladen (~4 GB von HuggingFace). Phi-4-Gewichte sind größer (~8 GB) und erfordern eine GPU.
Agent-Workflow
1. Fragen Sie den Benutzer
Bevor ich die Bilder beschreibe, benötige ich folgende Informationen:
🧠 Modell
- moondream2 — 2B Parameter, schnell, läuft auf CPU (Standard)
- phi4 — 3,8B multimodal, höhere Qualität, benötigt GPU
💬 Caption-Stil (optional — ich verwende einen sinnvollen Standard)
z.B. „Lässig und lustig mit Emojis" oder „Professionell und inspirierend"
⚙️ Gerät
- auto — GPU falls verfügbar, sonst CPU (Standard)
- cpu — nur moondream2; ~7s/Bild auf einem modernen Desktop-CPU
📁 Eingabe-/Ausgabeverzeichnisse (Standard: ./input und ./output)
2. config.json bearbeiten
Falls der Benutzer einen Caption-Stil angibt, integrieren Sie diesen in prompt_caption.
Beispiel: "Schreibe einen lustigen, emoji-reichen Instagram-Caption für dieses Bild. Füge 3-5 Hashtags hinzu."
Falls der Benutzer nach gebrandeten visuellen Inhalten fragt, prüfen Sie skills/brand-manager/brand-assets/asset-manifest.json auf verfügbare Schriftarten und erwähnen Sie die bevorzugte Markenschrift in der generierten Caption-Anleitung oder den Übergabenhinweisen. Dieses Skill schreibt nur JSON-Seitenfahrzeuge, rendert also selbst keinen Text; nachgelagerte Renderer wie visual-hook, video-captioner und end-cta sollen die tatsächlichen Markenschriftdateien verwenden, wenn sie angegeben und verfügbar sind.
3. Ausführen
cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json
Der erste Durchlauf lädt die Modellgewichte herunter — warnen Sie den Benutzer, dass dies einige Minuten dauern kann.
4. Ergebnisse melden
Zeigen Sie Beschreibung und Caption für jedes Bild an. Teilen Sie dem Benutzer mit, wohin die JSON-Dateien geschrieben wurden.
Konfigurationsreferenz
| Schlüssel | Werte | Standard | Beschreibung |
|---|---|---|---|
input_dir | Pfad | ./input | Quellbildordner |
output_dir | Pfad | ./output | Zielordner für JSON-Seitenfahrzeuge |
model | moondream2, phi4 | moondream2 | Vision-Language-Modell |
prompt_description | Zeichenkette | "Beschreibe dieses Bild in einem Satz." | Prompt für das Beschreibungsfeld |
prompt_caption | Zeichenkette | "Schreibe einen ansprechenden Instagram-Caption…" | Prompt für das Caption-Feld |
device | auto, cpu, cuda | auto | Inferenzgerät |
Häufige Aufrufe
# Standard (moondream2, auto device)
cd "$SKILL_DIR" && uv run python scripts/describe.py
# Höhere Qualität (GPU erforderlich)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4
# CPU erzwingen
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu
# Benutzerdefinierter Caption-Prompt
cd "$SKILL_DIR" && uv run python scripts/describe.py \
--prompt-caption "Schreibe einen professionellen LinkedIn-Caption für dieses Bild."
Ausgabe
Für jede photo.jpg in input_dir wird photo.json in output_dir geschrieben:
{
"description": "Eine Frau in einem sonnendurchfluteten Café, die eine Kaffeetasse hält.",
"caption": "Morgenrituale ☕✨ Den Tag richtig beginnen. #kaffeezeit #morgenvibes #café",
"tags": ["portrait", "kaffee", "innenaufnahme", "warmes licht"]
}
Wenn Markenschriften relevant sind, geben Sie den Schriftartnamen/Tag in den nachgelagerten Anweisungen an, anstatt eine Schriftartdatei in dieses JSON einzubetten. Rendering-Skills sind dafür verantwortlich, den Manifest-Pfad aufzulösen und die Schriftart anzuwenden.
Fehlerbehandlung
phi4+cpu→ wird bei der Konfigurationsvalidierung mit einer klaren Nachricht abgelehnt- Modell-Download-Fehler → mit HuggingFace-Fehlerdetails angezeigt
- Fehler bei einzelnen Bildern → protokolliert; andere Bilder werden fortgesetzt
Remote-Inferenz
Dieses Skill unterstützt optionale Remote-Captioning bei gleichbleibendem JSON-Seitenfahrzeug-Output.
- Standardverhalten bleibt lokal
- Remote-Anbieter sind nur auf Opt-in-Basis
- Unterstützte Anbieter:
huggingface,replicate
Konfigurationsschlüssel
| Schlüssel | Standard | Hinweise |
|---|---|---|
provider | null | null, local oder none behält den lokalen Modus bei |
remote_model | null | Optionaler anbieterspezifischer VLM-Modell-Override |
hf_token_env | HF_TOKEN | HuggingFace-Authentifizierungs-Umgebungsvariablenname |
replicate_api_key_env | REPLICATE_API_TOKEN | Replicate-Authentifizierungs-Umgebungsvariablenname |
remote_timeout_seconds | 300 | Remote-Aufruf-Timeout |
Beispiele
# HuggingFace Remote-Bildbeschreibung
export HF_TOKEN=hf_your_token
uv run python scripts/describe.py --config config.json --provider huggingface
# Replicate Remote-Bildbeschreibung
export REPLICATE_API_TOKEN=r8_your_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <replicate-model-slug>
Hinweise
- Der Remote-Modus schreibt weiterhin das gleiche
description/caption/tagsJSON-Seitenfahrzeug - Fehlende Anmeldeinformationen führen zu einem schnellen Fehlschlag; es gibt keinen stillen Fallback auf den lokalen Modus
- Replicate erfordert einen expliziten Modell-Slug für Remote-Captioning
Caption-Qualitätsstandards
Der Caption ist genauso wichtig wie das Bild. Ein schwacher Caption verschwendet ein starkes visuelles Element. Wenden Sie diese Prinzipien bei der Generierung oder Aufforderung zu Captions an.
Regel der Einen
Jeder Caption sollte eine klare zentrale Idee transportieren. Wenn der Caption mehrere Punkte machen will, wird er diffus und verliert an Wirkung. Die stärksten Captions haben eine einzige Speerspitze: ein Versprechen, eine Lektion, eine Beobachtung, ein erzählerischer Beat.
Test: Können Sie diesen Caption in einem Satz ausdrücken? Unterstützen alle Zeilen dieselbe Idee? Wenn nicht, kürzen Sie, bis der Kern klar ist.
Hook zuerst
Die erste Zeile eines Captions ist der Hook. Auf Instagram werden nur die ersten ~125 Zeichen vor „Mehr" angezeigt – diese erste Zeile muss den Tipp verdienen. Auf LinkedIn ist die erste Zeile die Überschrift.
Hook-Muster, die funktionieren:
- Widersprüchlich: „Hör auf damit, X zu tun."
- Neugierde wecken: „Die meisten Leute wissen nicht..."
- Identitätsaufruf: „Wenn du [X] bist, pass auf."
- Autorität/Erfahrung: „Wenn ich nochmal von vorne anfangen müsste, würde ich Folgendes tun."
- Schmerzpunkt: „Deshalb bleibst du bei [X] stecken."
Vermeiden Sie, mit „Ich" oder einem Aufwärm-Satz zu beginnen, der nichts sagt. Die erste Zeile sollte den Rest des Lesens verdienen.
Plattformspezifische Struktur
Instagram:
- Hook zuerst (≤125 Zeichen)
- Hauptteil: Geschichte, Lektion oder Einsicht
- 3–5 relevante Hashtags am Ende
- Authentischer Ton – vermeiden Sie polierte Marketingsprache
- Emojis sind akzeptabel, sollten aber die Bedeutung verstärken, nicht dekorieren
LinkedIn:
- 600–800 Zeichen für beste Reichweite; bei Bedarf 100–150 für hohe Klickrate
- Starker Hook in der ersten Zeile
- Keine externen Links im Beitragstext (LinkedIn unterdrückt die Reichweite bei ausgehenden Links)
- Rahmen, die funktionieren: Hook → Einsicht → Aufschlüsselung → CTA; oder Geschichte → Lektion → Aktion → Engagement-Frage
- Klarheit vor Kreativität – Leser überfliegen schnell
- Vermeiden Sie: Emoji-Überladung, übermäßige Leerzeichen, aufeinanderfolgendes gleiches Format, externe Schriftarten
Anti-Generisch-Test
Bevor Sie einen generierten Caption akzeptieren, fragen Sie sich: Klingt das nach dem Experten, der dieses Foto gemacht hat, oder klingt es nach generischer KI-Schreibe? Wenn es von jedem über alles geschrieben worden sein könnte, ist es nicht bestanden. Der Caption muss eine spezifische Perspektive, Beobachtung oder einen gelebten Moment widerspiegeln.
Vermeiden Sie
- Mit „Ich" als erstem Wort beginnen
- Vage inspirierende Aussagen ohne konkreten Punkt
- Emojis als visuelle Füllung, anstatt Bedeutung zu verstärken
- Mehr als einen Call-to-Action in einem einzelnen Caption
- Hashtag-Spam (10+ Hashtags) auf LinkedIn