Communitygithub.com

gengwg/skills

Transcrivez une vidéo sans sous-titres (X/Twitter, YouTube, toute URL compatible yt-dlp ou fichier local) avec Whisper en local, générez un fichier SRT et incrustez les sous-titres dans un nouveau MP4. À utiliser lorsque l'on vous demande « obtenir la transcription », « extraire ce qu'ils disent », « ajouter des sous-titres », « sous-titrer cette vidéo » ou « cette vidéo n'a pas de sous-titres ».

Qu'est-ce que skills ?

Cette compétence automatise la transcription et le sous-titrage de vidéos sans recourir à un service cloud, en utilisant uniquement des outils locaux : yt-dlp pour le téléchargement, faster-whisper pour la transcription hors ligne, et ffmpeg pour l'incrustation des sous-titres dans le fichier vidéo. Elle est conçue pour les agents IA (Claude Code, Cursor, Codex) afin de traiter des vidéos provenant de plateformes comme X/Twitter, YouTube, ou tout fichier local. La compétence guide pas à pas : vérification des outils, téléchargement, transcription vers un fichier SRT avec correction des erreurs de reconnaissance, et incrustation des sous-titres dans la vidéo. Elle permet également de réparer de petites sections mal transcrites en réécoutant un extrait avec des indices de vocabulaire, évitant ainsi de relancer une transcription complète. Les livrables incluent la vidéo originale, la vidéo sous-titrée, le fichier SRT, et la transcription brute. Les pièges courants (modèle trop petit, téléchargement sans autorisation, ré-exécution inutile de la transcription complète, absence de libass dans ffmpeg) sont explicitement signalés.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/gengwg/skills/tree/HEAD/video-transcribe-and-caption

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence : video-transcribe-and-caption

Objectif

Transformer la parole d'une vidéo en texte sans aucun service cloud : télécharger avec yt-dlp, transcrire localement avec faster-whisper, générer un fichier SRT, et éventuellement incruster les sous-titres avec ffmpeg pour qu'ils s'affichent dans tous les lecteurs.

Étapes

1. Vérifier les outils

which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null

uvx yt-dlp et uv run --with faster-whisper évitent toute installation. Seul le filtre subtitles de ffmpeg nécessite une version réelle de ffmpeg avec libass (ffmpeg -filters | grep subtitles) ; le binaire fourni avec imageio-ffmpeg peut en manquer.

2. Télécharger

uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'

3. Transcrire en SRT

# srt.py — exécuter avec : uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel

def ts(t):
    h, r = divmod(t, 3600); m, s = divmod(r, 60)
    return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"

model = WhisperModel("large-v3", device="cpu", compute_type="int8")  # device="cuda" si un GPU existe
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
    for i, s in enumerate(segments, 1):
        f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")

Choix du modèle :

  • small est rapide mais altère l'audio multipistes, les blagues et le jargon. Idéal pour un premier aperçu, pas pour les sous-titres.
  • large-v3 est le modèle à utiliser pour la version finale. Il nécessite un premier téléchargement d'environ 3 Go dans ~/.cache/huggingface/hub/ ; sur une connexion lente, cela peut prendre plus de 30 minutes. Indiquez-le et demandez avant de lancer le téléchargement ; medium fait la moitié de la taille.
  • Exécutez les transcriptions longues en arrière-plan et indiquez honnêtement la progression : vérifiez si le blob .incomplete dans le cache Hugging Face continue de croître (téléchargement) ou si le processus est à forte charge CPU (transcription).

4. Corriger les erreurs de reconnaissance

Whisper commet encore des erreurs sur les noms et les termes spécialisés. Re-transcrivez uniquement le passage problématique avec des indices de vocabulaire au lieu de relancer toute la transcription :

ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
    initial_prompt="Short list of expected words: product names, jargon, emoji names.")

Modifiez ensuite manuellement les entrées SRT concernées (gardez les horodatages). Extraire une image (ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg) facilite la compréhension lorsque le texte à l'écran permet de lever les ambiguïtés. Signalez à l'utilisateur les lignes encore peu fiables plutôt que de présenter une supposition comme un fait.

5. Incruster les sous-titres

ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
  -vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
  -c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4

Conservez le fichier SRT à côté de la sortie afin de pouvoir corriger une seule ligne et la ré-afficher en moins d'une minute. Pour des sous-titres optionnels (activables/désactivables), multiplexez avec ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4.

Livrables

Vidéo originale, vidéo sous-titrée, fichier .srt et transcription brute. Mentionnez la taille du modèle mis en cache afin que l'utilisateur puisse le supprimer.

Erreurs courantes

  • Fournir des sous-titres issus du modèle small.
  • Lancer le téléchargement d'un modèle de plusieurs Go sans demander.
  • Relancer la transcription complète pour corriger trois lignes.
  • Utiliser un ffmpeg sans libass et obtenir « No such filter: subtitles ».

Skills associés