Communitygithub.com

FilippTrigub/abra

Automatische Bildbeschreibung und Caption-Generierung mit einem lokalen Vision-Language-Modell. Schreibt pro Bild ein JSON-Seitenfahrzeug mit einer ein-sätzigen Beschreibung, einem Instagram-Caption inklusive Hashtags und erkannten Inhaltstags.

Was ist abra?

Dieses Skill analysiert Bilder mit einem lokalen Vision-Language-Modell (VLM) und erstellt automatisch Beschreibungen, Instagram-optimierte Captions mit Hashtags sowie Inhaltstags. Es ist ideal für Entwickler, die Batch-Content verstehen, Captions für soziale Medien generieren oder Bildbeschreibungen in Pipelines einspeisen möchten. Der Skill unterstützt zwei Modelle: das schnelle 'moondream2' (lauffähig auf CPU) und das qualitativ hochwertigere 'phi4' (benötigt GPU). Die Ausgabe erfolgt als JSON-Seitenfahrzeug pro Bild, das von anderen Tools weiterverarbeitet werden kann. Hauptplattform ist die Kommandozeile auf Linux/macOS mit Python und 'uv' als Paketmanager. Der Workflow umfasst die Modellauswahl (per Default moondream2), optionale Caption-Stil-Vorgaben, Konfiguration über config.json und die Ausführung des Beschreibungs-Skripts. Zusätzlich bietet der Skill eine optionale Remote-Inferenz über HuggingFace oder Replicate, wobei die lokale Verarbeitung der Standard ist. Der Skill legt großen Wert auf Caption-Qualität mit spezifischen Regeln für Instagram und LinkedIn – darunter die 'Rule of One' (ein zentraler Gedanke pro Caption), einen starken Hook am Anfang und plattformspezifische Strukturvorgaben.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/image-captioner

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

alt — Auto-Caption

Durchläuft jedes Bild in input_dir mit einem lokalen VLM und schreibt ein JSON-Seitenfahrzeug in output_dir. Nützlich für automatische Caption-Erstellung, Batch-Inhaltsverständnis oder die Einspeisung von Beschreibungen in andere Tools.

Das Skill-Verzeichnis (in dem diese SKILL.md liegt) wird im Folgenden als $SKILL_DIR bezeichnet.


Wann verwenden

Verwenden Sie dieses Skill, wenn der Benutzer Folgendes möchte:

  • Automatische Instagram-Captions aus Fotos generieren
  • Den Inhalt eines Bild-Batches verstehen, ohne jedes Bild manuell anzusehen
  • Bildbeschreibungen in eine Content-Pipeline oder ein Planungstool einspeisen

Einrichtung (nur beim ersten Mal)

cd "$SKILL_DIR" && uv sync

moondream2-Gewichte werden beim ersten Durchlauf heruntergeladen (~4 GB von HuggingFace). Phi-4-Gewichte sind größer (~8 GB) und erfordern eine GPU.


Agent-Workflow

1. Fragen Sie den Benutzer

Bevor ich die Bilder beschreibe, benötige ich folgende Informationen:

🧠 Modell
  - moondream2  — 2B Parameter, schnell, läuft auf CPU  (Standard)
  - phi4        — 3,8B multimodal, höhere Qualität, benötigt GPU

💬 Caption-Stil (optional — ich verwende einen sinnvollen Standard)
  z.B. „Lässig und lustig mit Emojis" oder „Professionell und inspirierend"

⚙️  Gerät
  - auto  — GPU falls verfügbar, sonst CPU (Standard)
  - cpu   — nur moondream2; ~7s/Bild auf einem modernen Desktop-CPU

📁 Eingabe-/Ausgabeverzeichnisse  (Standard: ./input und ./output)

2. config.json bearbeiten

Falls der Benutzer einen Caption-Stil angibt, integrieren Sie diesen in prompt_caption. Beispiel: "Schreibe einen lustigen, emoji-reichen Instagram-Caption für dieses Bild. Füge 3-5 Hashtags hinzu."

Falls der Benutzer nach gebrandeten visuellen Inhalten fragt, prüfen Sie skills/brand-manager/brand-assets/asset-manifest.json auf verfügbare Schriftarten und erwähnen Sie die bevorzugte Markenschrift in der generierten Caption-Anleitung oder den Übergabenhinweisen. Dieses Skill schreibt nur JSON-Seitenfahrzeuge, rendert also selbst keinen Text; nachgelagerte Renderer wie visual-hook, video-captioner und end-cta sollen die tatsächlichen Markenschriftdateien verwenden, wenn sie angegeben und verfügbar sind.

3. Ausführen

cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json

Der erste Durchlauf lädt die Modellgewichte herunter — warnen Sie den Benutzer, dass dies einige Minuten dauern kann.

4. Ergebnisse melden

Zeigen Sie Beschreibung und Caption für jedes Bild an. Teilen Sie dem Benutzer mit, wohin die JSON-Dateien geschrieben wurden.


Konfigurationsreferenz

SchlüsselWerteStandardBeschreibung
input_dirPfad./inputQuellbildordner
output_dirPfad./outputZielordner für JSON-Seitenfahrzeuge
modelmoondream2, phi4moondream2Vision-Language-Modell
prompt_descriptionZeichenkette"Beschreibe dieses Bild in einem Satz."Prompt für das Beschreibungsfeld
prompt_captionZeichenkette"Schreibe einen ansprechenden Instagram-Caption…"Prompt für das Caption-Feld
deviceauto, cpu, cudaautoInferenzgerät

Häufige Aufrufe

# Standard (moondream2, auto device)
cd "$SKILL_DIR" && uv run python scripts/describe.py

# Höhere Qualität (GPU erforderlich)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4

# CPU erzwingen
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu

# Benutzerdefinierter Caption-Prompt
cd "$SKILL_DIR" && uv run python scripts/describe.py \
  --prompt-caption "Schreibe einen professionellen LinkedIn-Caption für dieses Bild."

Ausgabe

Für jede photo.jpg in input_dir wird photo.json in output_dir geschrieben:

{
  "description": "Eine Frau in einem sonnendurchfluteten Café, die eine Kaffeetasse hält.",
  "caption": "Morgenrituale ☕✨ Den Tag richtig beginnen. #kaffeezeit #morgenvibes #café",
  "tags": ["portrait", "kaffee", "innenaufnahme", "warmes licht"]
}

Wenn Markenschriften relevant sind, geben Sie den Schriftartnamen/Tag in den nachgelagerten Anweisungen an, anstatt eine Schriftartdatei in dieses JSON einzubetten. Rendering-Skills sind dafür verantwortlich, den Manifest-Pfad aufzulösen und die Schriftart anzuwenden.


Fehlerbehandlung

  • phi4 + cpu → wird bei der Konfigurationsvalidierung mit einer klaren Nachricht abgelehnt
  • Modell-Download-Fehler → mit HuggingFace-Fehlerdetails angezeigt
  • Fehler bei einzelnen Bildern → protokolliert; andere Bilder werden fortgesetzt

Remote-Inferenz

Dieses Skill unterstützt optionale Remote-Captioning bei gleichbleibendem JSON-Seitenfahrzeug-Output.

  • Standardverhalten bleibt lokal
  • Remote-Anbieter sind nur auf Opt-in-Basis
  • Unterstützte Anbieter: huggingface, replicate

Konfigurationsschlüssel

SchlüsselStandardHinweise
providernullnull, local oder none behält den lokalen Modus bei
remote_modelnullOptionaler anbieterspezifischer VLM-Modell-Override
hf_token_envHF_TOKENHuggingFace-Authentifizierungs-Umgebungsvariablenname
replicate_api_key_envREPLICATE_API_TOKENReplicate-Authentifizierungs-Umgebungsvariablenname
remote_timeout_seconds300Remote-Aufruf-Timeout

Beispiele

# HuggingFace Remote-Bildbeschreibung
export HF_TOKEN=hf_your_token
uv run python scripts/describe.py --config config.json --provider huggingface

# Replicate Remote-Bildbeschreibung
export REPLICATE_API_TOKEN=r8_your_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <replicate-model-slug>

Hinweise

  • Der Remote-Modus schreibt weiterhin das gleiche description / caption / tags JSON-Seitenfahrzeug
  • Fehlende Anmeldeinformationen führen zu einem schnellen Fehlschlag; es gibt keinen stillen Fallback auf den lokalen Modus
  • Replicate erfordert einen expliziten Modell-Slug für Remote-Captioning

Caption-Qualitätsstandards

Der Caption ist genauso wichtig wie das Bild. Ein schwacher Caption verschwendet ein starkes visuelles Element. Wenden Sie diese Prinzipien bei der Generierung oder Aufforderung zu Captions an.

Regel der Einen

Jeder Caption sollte eine klare zentrale Idee transportieren. Wenn der Caption mehrere Punkte machen will, wird er diffus und verliert an Wirkung. Die stärksten Captions haben eine einzige Speerspitze: ein Versprechen, eine Lektion, eine Beobachtung, ein erzählerischer Beat.

Test: Können Sie diesen Caption in einem Satz ausdrücken? Unterstützen alle Zeilen dieselbe Idee? Wenn nicht, kürzen Sie, bis der Kern klar ist.

Hook zuerst

Die erste Zeile eines Captions ist der Hook. Auf Instagram werden nur die ersten ~125 Zeichen vor „Mehr" angezeigt – diese erste Zeile muss den Tipp verdienen. Auf LinkedIn ist die erste Zeile die Überschrift.

Hook-Muster, die funktionieren:

  • Widersprüchlich: „Hör auf damit, X zu tun."
  • Neugierde wecken: „Die meisten Leute wissen nicht..."
  • Identitätsaufruf: „Wenn du [X] bist, pass auf."
  • Autorität/Erfahrung: „Wenn ich nochmal von vorne anfangen müsste, würde ich Folgendes tun."
  • Schmerzpunkt: „Deshalb bleibst du bei [X] stecken."

Vermeiden Sie, mit „Ich" oder einem Aufwärm-Satz zu beginnen, der nichts sagt. Die erste Zeile sollte den Rest des Lesens verdienen.

Plattformspezifische Struktur

Instagram:

  • Hook zuerst (≤125 Zeichen)
  • Hauptteil: Geschichte, Lektion oder Einsicht
  • 3–5 relevante Hashtags am Ende
  • Authentischer Ton – vermeiden Sie polierte Marketingsprache
  • Emojis sind akzeptabel, sollten aber die Bedeutung verstärken, nicht dekorieren

LinkedIn:

  • 600–800 Zeichen für beste Reichweite; bei Bedarf 100–150 für hohe Klickrate
  • Starker Hook in der ersten Zeile
  • Keine externen Links im Beitragstext (LinkedIn unterdrückt die Reichweite bei ausgehenden Links)
  • Rahmen, die funktionieren: Hook → Einsicht → Aufschlüsselung → CTA; oder Geschichte → Lektion → Aktion → Engagement-Frage
  • Klarheit vor Kreativität – Leser überfliegen schnell
  • Vermeiden Sie: Emoji-Überladung, übermäßige Leerzeichen, aufeinanderfolgendes gleiches Format, externe Schriftarten

Anti-Generisch-Test

Bevor Sie einen generierten Caption akzeptieren, fragen Sie sich: Klingt das nach dem Experten, der dieses Foto gemacht hat, oder klingt es nach generischer KI-Schreibe? Wenn es von jedem über alles geschrieben worden sein könnte, ist es nicht bestanden. Der Caption muss eine spezifische Perspektive, Beobachtung oder einen gelebten Moment widerspiegeln.

Vermeiden Sie

  • Mit „Ich" als erstem Wort beginnen
  • Vage inspirierende Aussagen ohne konkreten Punkt
  • Emojis als visuelle Füllung, anstatt Bedeutung zu verstärken
  • Mehr als einen Call-to-Action in einem einzelnen Caption
  • Hashtag-Spam (10+ Hashtags) auf LinkedIn

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Verwandte Skills