Compétence : video-transcribe-and-caption
Objectif
Transformer la parole d'une vidéo en texte sans aucun service cloud : télécharger avec yt-dlp, transcrire localement avec faster-whisper, générer un fichier SRT, et éventuellement incruster les sous-titres avec ffmpeg pour qu'ils s'affichent dans tous les lecteurs.
Étapes
1. Vérifier les outils
which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null
uvx yt-dlp et uv run --with faster-whisper évitent toute installation.
Seul le filtre subtitles de ffmpeg nécessite une version réelle de ffmpeg avec libass
(ffmpeg -filters | grep subtitles) ; le binaire fourni avec
imageio-ffmpeg peut en manquer.
2. Télécharger
uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'
3. Transcrire en SRT
# srt.py — exécuter avec : uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel
def ts(t):
h, r = divmod(t, 3600); m, s = divmod(r, 60)
return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"
model = WhisperModel("large-v3", device="cpu", compute_type="int8") # device="cuda" si un GPU existe
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
for i, s in enumerate(segments, 1):
f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")
Choix du modèle :
smallest rapide mais altère l'audio multipistes, les blagues et le jargon. Idéal pour un premier aperçu, pas pour les sous-titres.large-v3est le modèle à utiliser pour la version finale. Il nécessite un premier téléchargement d'environ 3 Go dans~/.cache/huggingface/hub/; sur une connexion lente, cela peut prendre plus de 30 minutes. Indiquez-le et demandez avant de lancer le téléchargement ;mediumfait la moitié de la taille.- Exécutez les transcriptions longues en arrière-plan et indiquez honnêtement la progression :
vérifiez si le blob
.incompletedans le cache Hugging Face continue de croître (téléchargement) ou si le processus est à forte charge CPU (transcription).
4. Corriger les erreurs de reconnaissance
Whisper commet encore des erreurs sur les noms et les termes spécialisés. Re-transcrivez uniquement le passage problématique avec des indices de vocabulaire au lieu de relancer toute la transcription :
ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
initial_prompt="Short list of expected words: product names, jargon, emoji names.")
Modifiez ensuite manuellement les entrées SRT concernées (gardez les horodatages). Extraire une image
(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg) facilite la compréhension lorsque le texte à l'écran
permet de lever les ambiguïtés. Signalez à l'utilisateur les lignes encore peu fiables plutôt que de présenter
une supposition comme un fait.
5. Incruster les sous-titres
ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
-vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
-c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4
Conservez le fichier SRT à côté de la sortie afin de pouvoir corriger une seule ligne et la ré-afficher
en moins d'une minute. Pour des sous-titres optionnels (activables/désactivables), multiplexez avec
ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4.
Livrables
Vidéo originale, vidéo sous-titrée, fichier .srt et transcription brute. Mentionnez
la taille du modèle mis en cache afin que l'utilisateur puisse le supprimer.
Erreurs courantes
- Fournir des sous-titres issus du modèle
small. - Lancer le téléchargement d'un modèle de plusieurs Go sans demander.
- Relancer la transcription complète pour corriger trois lignes.
- Utiliser un ffmpeg sans libass et obtenir « No such filter: subtitles ».