Communitygithub.com

Podcast zu Shorts, Schritt 3: animierte Wort-für-Wort-Untertitel

Brenne animierte Wort-für-Wort-Untertitel in Videos ein, mit Whisper für die Transkription und pycaps fürs Rendering, im schlichten Standardstil, einem leuchtenden Futuristic-Theme oder mit eigenem CSS.

Was ist Podcast zu Shorts, Schritt 3: animierte Wort-für-Wort-Untertitel?

Rezept Podcast zu Shorts, Schritt 3 (die Untertitel). Der Agent transkribiert die Sprache mit Whisper und rendert animierte Untertitel mit pycaps, wahlweise im minimalistischen Standard, im mitgelieferten Gold-Magenta-Glow-Theme oder mit eigener CSS-Datei, und kann auch feste Texte zu bestimmten Zeitpunkten setzen.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-captioner

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

video-captioner — Animierte Untertitel-Pipeline

Transkribiert Sprache mit Whisper und brennt animierte, wortweise Untertitel in Videos ein. Keine Farbkorrektur – für visuelle Verbesserungen zuerst die video-enhancer-Fähigkeit nutzen.

Pipeline

Eingabevideo → Whisper-Transkription → pycaps-Untertitel-Rendering → Ausgabevideo mit Untertiteln

Untertitel-Stile

Drei Optionen:

  1. Standard (kein Flag) — pycaps-eigener minimalistischer Stil: einfacher weißer Text, keine Effekte.
  2. Futuristisch (mitgeliefert) — --css scripts/futuristic.css — abwechselnd gold/magenta Untertitel mit Glow-Effekt und serifenloser Schrift. Gut geeignet für Technik-, Gaming- oder energiegeladene Inhalte.
  3. Benutzerdefiniert — Der Benutzer kann einen beliebigen CSS-Dateipfad über --css /pfad/zu/custom.css angeben.

Falls der Benutzer keinen Untertitel-Stil erwähnt hat, fragen Sie, ob er den Standard-Look, den futuristischen Stil oder eine benutzerdefinierte CSS-Datei wünscht.

Statische Untertitel

Verwenden Sie --caption, um vordefinierten Text zu bestimmten Zeitstempeln hinzuzufügen, anstatt Audio zu transkribieren:

--caption "START-ENDE: TEXT"

Format:

  • Zeiten im Format M:SS oder MM:SS (z. B. 0:05 = 5 Sekunden, 1:30 = 90 Sekunden)
  • Mehrere Untertitel: --caption mehrfach verwenden
  • Wenn sowohl statische Untertitel als auch eine Transkription angegeben werden, haben die statischen Untertitel Vorrang.

Beispiel:

uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Hallo Welt" \
  --caption "0:10-0:20: Dies ist eine Demo" \
  --css scripts/futuristic.css

Untertitel-Stil

Das Styling wird über JSON-Konfigurationsdateien verwaltet. Bei statischen Untertiteln wird das Styling automatisch angewendet.

Standard-Styling

Wenn keine --style-config angegeben ist, wird config.default.json verwendet:

  • Hintergrund: Weiß (#FFFFFF)
  • Textfarbe: Blau (#0066FF)
  • Schriftart: auto – verwendet zuerst eine verfügbare Markenschriftart mit dem Tag caption, fällt dann auf Courier New zurück
  • Padding: 10px 15px
  • Margin: 0

Verwenden einer Stil-Konfiguration

Wechseln Sie den Stil durch Übergabe einer Konfigurationsdatei:

# Dark-Mode-Stil verwenden
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Hallo" \
  --style-config config.dark-mode.json

Enthaltene Konfigurationen:

  • config.default.json — weißer Hintergrund, blaue Schrift, Courier New (Standard)
  • config.dark-mode.json — dunkler Hintergrund, weiße Schrift, größere Schriftgröße

Erstellen benutzerdefinierter Stil-Konfigurationen

Kopieren Sie config.default.json und ändern Sie es:

{
  "caption_bg_color": "#000000",
  "caption_color": "#FFFFFF",
  "caption_font": "auto",
  "caption_font_tag": "caption",
  "caption_padding": "20px 30px",
  "caption_margin": "10px",
  "caption_font_size": 48
}

Dann verwenden Sie es:

uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Text" \
  --style-config meine-eigene-konfiguration.json

Überschreiben der Konfiguration mit CLI-Flags

CLI-Flags haben Vorrang vor den Werten in der Konfigurationsdatei:

uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Hallo" \
  --style-config config.dark-mode.json \
  --caption-color "#00FF00"  # Überschreibt die Textfarbe der Konfiguration

Referenz der Stil-Konfiguration

SchlüsselTypBeschreibung
caption_bg_colorstringHintergrundfarbe (Hex oder CSS-Farbname)
caption_colorstringTextfarbe (Hex oder CSS-Farbname)
caption_fontstringauto, Schriftfamilie oder Pfad zu .ttf, .otf, .woff, .woff2-Datei
caption_font_tagstring oder nullMarkenschriftart-Tag, das von brand-manager bevorzugt werden soll (caption, body, heading usw.)
caption_paddingstringCSS-Padding (z. B. "10px 15px")
caption_marginstringCSS-Margin (z. B. "0")
caption_font_sizeinteger oder nullSchriftgröße in Pixeln (null = automatische Skalierung)

Verfügbare Schriftarten

Systemschriftarten können nach Namen angegeben werden:

  • DejaVu Sans / DejaVu Sans Bold / DejaVu Serif
  • Liberation Sans / Liberation Mono
  • Courier New
  • Ubuntu Mono
  • Jeder TTF-Dateipfad: /pfad/zu/schriftart.ttf

Oder wählen Sie aus Markenschriftarten in skills/brand-manager/brand-assets/asset-manifest.json. Wenn caption_font auf auto gesetzt ist, liest die Fähigkeit das Marken-Manifest (oder CLAW_BRAND_ASSETS_DIR, falls gesetzt) und verwendet die erste verfügbare Schriftart, die mit caption_font_tag getaggt ist; falls keine getaggte Schriftart existiert, werden Markenschriftarten mit den Tags caption, body, heading oder bold probiert, dann fällt sie auf Courier New zurück. Wenn die aufgelöste Markenschriftart ein Dateipfad ist, enthält das generierte CSS eine @font-face-Regel, damit pycaps sie rendern kann.

So führen Sie es aus

Abhängigkeiten installieren (nur beim ersten Mal):

cd "$SKILL_DIR" && uv sync

Hinweis: Der erste Durchlauf wird langsam sein (möglicherweise mehrere Minuten), da pycaps das Whisper-Spracherkennungsmodell herunterlädt. Warnen Sie den Benutzer vor Beginn darüber.

Dann verarbeiten Sie Videos:

cd "$SKILL_DIR" && uv run python scripts/caption_service.py \
  --input <pfad/zur/eingabe> \
  --output <pfad/zur/ausgabe> \
  [--css scripts/futuristic.css]

Häufige Aufrufe

# Standard-minimalistische Untertitel (Whisper-Transkription)
uv run python scripts/caption_service.py --input ./eingabe --output ./ausgabe

# Futuristischer Stil
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --css scripts/futuristic.css

# Benutzerdefiniertes CSS
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --css /pfad/zu/mein.css

# Statische Untertitel mit Standard-Styling (weißer Hintergrund, blaue Schrift, Courier New)
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Abonnieren für mehr" \
  --caption "0:10-0:15: Folge uns auf Instagram"

# Statische Untertitel mit Dark-Mode-Stil
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Hallo Welt" \
  --caption "0:10-0:20: Dies ist eine Demo" \
  --style-config config.dark-mode.json

# Statische Untertitel mit benutzerdefinierter Stil-Konfiguration
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Benutzerdefinierter Text" \
  --style-config meine-eigene-konfiguration.json

# Statische Untertitel mit CLI-Flag-Überschreibungen
uv run python scripts/caption_service.py \
  --input ./eingabe --output ./ausgabe \
  --caption "0:01-0:05: Hallo" \
  --style-config config.dark-mode.json \
  --caption-color "#00FF00"

# Watch-Modus (prüft alle 10s auf neue Videos)
uv run python scripts/caption_service.py --input ./eingabe --output ./ausgabe --watch

Nach der Ausführung

Melden Sie dem Benutzer:

  • Wie viele Videos erfolgreich verarbeitet wurden und wie viele fehlgeschlagen sind.
  • Den vollständigen Pfad zum Ausgabeverzeichnis.
  • Falls Videos fehlgeschlagen sind, nennen Sie sie explizit.

Randfälle

  • Wenn ffmpeg nicht installiert ist: Sagen Sie dem Benutzer, er solle es installieren (sudo pacman -S ffmpeg unter Arch/CachyOS, brew install ffmpeg unter macOS, sudo apt install ffmpeg unter Ubuntu)
  • Wenn uv nicht installiert ist: Verweisen Sie auf https://docs.astral.sh/uv/getting-started/installation/
  • Wenn das Eingabeverzeichnis leer ist: Melden Sie dies deutlich, anstatt still zu beenden
  • Der erste Durchlauf lädt das Whisper-Modell herunter (~140 MB für tiny, ~1,5 GB für large) — dies ist einmalig

Remote-Transkription

Diese Fähigkeit unterstützt jetzt eine optionale Remote-Transkription bei gleichzeitig lokalem pycaps-Rendering.

  • Das Standardverhalten bleibt vollständig lokal: Whisper-Transkription innerhalb von pycaps + lokales Rendering
  • Der Remote-Modus ersetzt nur den Transkriptionsschritt
  • Das Rendern von Untertiteln, Vorlagen und CSS-Handling bleiben lokal

Unterstützte Anbieter

  • huggingface
  • replicate

Konfigurations-/CLI-Schlüssel

SchlüsselStandardHinweise
transcription_providernullnull behält den lokalen Whisper-in-pycaps-Fluss bei
remote_modelnullOptionaler anbieterspezifischer Überschreibung der Transkriptionsmodell
hf_token_envHF_TOKENName der Umgebungsvariablen für die HuggingFace-Authentifizierung
replicate_api_key_envREPLICATE_API_TOKENName der Umgebungsvariablen für die Replicate-Authentifizierung
remote_timeout_seconds300Zeitüberschreitung für Remote-Aufrufe

Beispiele

# HuggingFace-Remote-Transkription + lokales pycaps-Rendering
export HF_TOKEN=hf_ihr_token
uv run python scripts/caption_service.py --input ./eingabe --output ./ausgabe --transcription-provider huggingface

# Replicate-Remote-Transkription + lokales pycaps-Rendering
export REPLICATE_API_TOKEN=r8_ihr_token
uv run python scripts/caption_service.py --input ./eingabe --output ./ausgabe --transcription-provider replicate --remote-model <replicate-modell-slug>

Hinweise

  • Es gibt keinen stillen Rückfall in den lokalen Modus, wenn die Remote-Authentifizierung/-Konfiguration fehlt
  • Vorhandene lokale CLI-Aufrufe bleiben gültig
  • Wenn Sie --transcription-provider nicht setzen, verwendet pycaps weiterhin seinen integrierten Whisper-Fluss

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Verwandte Skills