video-captioner — Pipeline de sous-titres animés
Transcrit la parole avec Whisper et grave des sous-titres animés mot par mot dans les vidéos. Aucun étalonnage des couleurs — pour l'amélioration visuelle, utilisez d'abord la compétence video-enhancer.
Pipeline
vidéo d'entrée → transcription Whisper → rendu de sous-titres pycaps → vidéo de sortie avec sous-titres
Styles de sous-titres
Trois options :
- Par défaut (aucun drapeau) — style minimaliste intégré de pycaps : texte blanc uni, sans effets.
- Futuriste (intégré) —
--css scripts/futuristic.css— sous-titres alternant or/magenta avec un effet lumineux et une police monospace. Idéal pour le contenu tech, gaming ou à haute énergie. - Personnalisé — l'utilisateur peut fournir le chemin de n'importe quel fichier CSS via
--css /chemin/vers/personnalise.css.
Si l'utilisateur n'a pas mentionné de style de sous-titres, demandez-lui s'il souhaite le look par défaut, le style futuriste ou un fichier CSS personnalisé.
Sous-titres statiques
Utilisez --caption pour ajouter un texte prédéfini à des timestamps spécifiques au lieu de transcrire l'audio :
--caption "DEBUT-FIN: TEXTE"
Format :
- Les heures utilisent le format
M:SSouMM:SS(par ex.,0:05= 5 secondes,1:30= 90 secondes) - Plusieurs sous-titres : utilisez
--captionplusieurs fois - Si des sous-titres statiques et une transcription sont fournis, les sous-titres statiques prévalent
Exemple :
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Bonjour le monde" \
--caption "0:10-0:20: Ceci est une démo" \
--css scripts/futuristic.css
Style des sous-titres
Le style est géré via des fichiers de configuration JSON. Lors de l'utilisation de sous-titres statiques, le style est appliqué automatiquement.
Style par défaut
Lorsqu'aucun --style-config n'est spécifié, config.default.json est utilisé :
- Arrière-plan : blanc (
#FFFFFF) - Couleur du texte : bleu (
#0066FF) - Police :
auto— utilise d'abord une police de marque disponible avec le tagcaption, puis revient à Courier New - Remplissage :
10px 15px - Marge :
0
Utilisation d'une configuration de style
Changez de style en passant un fichier de configuration :
# Utiliser le style mode sombre
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Bonjour" \
--style-config config.dark-mode.json
Configurations incluses :
config.default.json— fond blanc, texte bleu, Courier New (par défaut)config.dark-mode.json— fond sombre, texte blanc, police plus grande
Création de configurations de style personnalisées
Copiez config.default.json et modifiez-le :
{
"caption_bg_color": "#000000",
"caption_color": "#FFFFFF",
"caption_font": "auto",
"caption_font_tag": "caption",
"caption_padding": "20px 30px",
"caption_margin": "10px",
"caption_font_size": 48
}
Utilisez-le ensuite :
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Texte" \
--style-config mon-style-personnalise.json
Remplacement de la configuration avec des drapeaux CLI
Les drapeaux CLI prévalent sur les valeurs du fichier de configuration :
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Bonjour" \
--style-config config.dark-mode.json \
--caption-color "#00FF00" # Remplace la couleur du texte de la configuration
Référence de la configuration de style
| Clé | Type | Description |
|---|---|---|
caption_bg_color | string | Couleur d'arrière-plan (hex ou nom de couleur CSS) |
caption_color | string | Couleur du texte (hex ou nom de couleur CSS) |
caption_font | string | auto, famille de polices, ou chemin vers un fichier .ttf, .otf, .woff, .woff2 |
caption_font_tag | string ou null | Tag de police de marque à préférer de brand-manager (caption, body, heading, etc.) |
caption_padding | string | Remplissage CSS (par ex., "10px 15px") |
caption_margin | string | Marge CSS (par ex., "0") |
caption_font_size | integer ou null | Taille de police en pixels (null = mise à l'échelle automatique) |
Polices disponibles
Les polices système peuvent être spécifiées par nom :
DejaVu Sans/DejaVu Sans Bold/DejaVu SerifLiberation Sans/Liberation MonoCourier NewUbuntu Mono- Tout chemin de fichier TTF :
/chemin/vers/police.ttf
Ou choisissez parmi les polices de marque dans skills/brand-manager/brand-assets/asset-manifest.json.
Lorsque caption_font est auto, la compétence lit le manifeste de marque (ou CLAW_BRAND_ASSETS_DIR s'il est défini) et utilise la première police disponible taguée par caption_font_tag ; si aucune police taguée n'existe, elle essaie les polices de marque taguées caption, body, heading, ou bold, puis revient à Courier New. Si la police de marque résolue est un chemin de fichier, le CSS généré inclut une règle @font-face pour que pycaps puisse la rendre.
Comment exécuter
Installez les dépendances (première exécution uniquement) :
cd "$SKILL_DIR" && uv sync
Remarque : la toute première exécution sera lente (potentiellement plusieurs minutes) car pycaps télécharge le modèle de reconnaissance vocale Whisper. Avertissez l'utilisateur avant de commencer.
Traitez ensuite les vidéos :
cd "$SKILL_DIR" && uv run python scripts/caption_service.py \
--input <chemin/vers/entree> \
--output <chemin/vers/sortie> \
[--css scripts/futuristic.css]
Invocations courantes
# Sous-titres minimalistes par défaut (transcription Whisper)
uv run python scripts/caption_service.py --input ./input --output ./output
# Style futuriste
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--css scripts/futuristic.css
# CSS personnalisé
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--css /chemin/vers/mon.css
# Sous-titres statiques avec style par défaut (fond blanc, texte bleu, Courier New)
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Abonnez-vous pour plus" \
--caption "0:10-0:15: Suivez-nous sur Instagram"
# Sous-titres statiques avec style mode sombre
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Bonjour le monde" \
--caption "0:10-0:20: Ceci est une démo" \
--style-config config.dark-mode.json
# Sous-titres statiques avec configuration de style personnalisée
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Texte personnalisé" \
--style-config mon-style-personnalise.json
# Sous-titres statiques avec remplacements par drapeaux CLI
uv run python scripts/caption_service.py \
--input ./input --output ./output \
--caption "0:01-0:05: Bonjour" \
--style-config config.dark-mode.json \
--caption-color "#00FF00"
# Mode surveillance (interroge les nouvelles vidéos toutes les 10s)
uv run python scripts/caption_service.py --input ./input --output ./output --watch
Après l'exécution
Faites un rapport à l'utilisateur :
- Combien de vidéos ont été traitées avec succès et combien ont échoué.
- Le chemin complet vers le répertoire de sortie.
- Si des vidéos ont échoué, nommez-les explicitement.
Cas particuliers
- Si
ffmpegn'est pas installé : dites à l'utilisateur de l'installer (sudo pacman -S ffmpegsur Arch/CachyOS,brew install ffmpegsur macOS,sudo apt install ffmpegsur Ubuntu) - Si
uvn'est pas installé : dirigez vers https://docs.astral.sh/uv/getting-started/installation/ - Si le répertoire d'entrée est vide : signalez-le clairement plutôt que de quitter silencieusement
- La première exécution télécharge le modèle Whisper (~140 Mo pour
tiny, ~1,5 Go pourlarge) — ceci est unique
Transcription à distance
Cette compétence prend désormais en charge la transcription à distance optionnelle tout en conservant le rendu pycaps local.
- Le comportement par défaut reste entièrement local : transcription Whisper dans pycaps + rendu local
- Le mode distant remplace uniquement l'étape de transcription
- Le rendu des sous-titres, les templates et la gestion CSS restent locaux
Fournisseurs pris en charge
huggingfacereplicate
Clés de configuration / CLI
| Clé | Défaut | Remarques |
|---|---|---|
transcription_provider | null | null conserve le flux local Whisper-dans-pycaps |
remote_model | null | Remplacement optionnel du modèle de transcription spécifique au fournisseur |
hf_token_env | HF_TOKEN | Nom de la variable d'environnement d'authentification HuggingFace |
replicate_api_key_env | REPLICATE_API_TOKEN | Nom de la variable d'environnement d'authentification Replicate |
remote_timeout_seconds | 300 | Délai d'attente de l'appel distant |
Exemples
# Transcription à distance HuggingFace + rendu pycaps local
export HF_TOKEN=hf_votre_token
uv run python scripts/caption_service.py --input ./input --output ./output --transcription-provider huggingface
# Transcription à distance Replicate + rendu pycaps local
export REPLICATE_API_TOKEN=r8_votre_token
uv run python scripts/caption_service.py --input ./input --output ./output --transcription-provider replicate --remote-model <slug-modele-replicate>
Remarques
- Il n'y a aucun repli silencieux vers le mode local si l'authentification/configuration distante est manquante
- L'utilisation CLI locale existante reste valide
- Si vous ne définissez pas
--transcription-provider, pycaps continue d'utiliser son flux Whisper intégré