Contexte → Vidéo
Convertit n'importe quel contexte d'entrée en une vidéo mp4 avec narration + diapositives + sous-titres + (optionnel) un avatar.
Quand l'utiliser
動画化,解説動画作って,ブログを動画に,記事を動画化,explainer video,context to video- Blog de sortie / explication de PR / notes de réunion / notes de conception / notes de version / contenu d'apprentissage transformé en courte vidéo
- Produire en masse des supports pour YouTube / présentations internes / Teams / X
- Pour une diffusion client, remplacez la TTS par la version officielle Azure Speech (par défaut, point de terminaison gratuit edge-tts)
Sources d'entrée (l'une d'elles fonctionne)
| Entrée | Méthode |
|---|---|
| URL d'article/blog | web_fetch pour récupérer le contenu |
| Texte collé | Résumé direct |
| Diff de PR / commit | gh pr view + gh pr diff |
| Notes de réunion / conception | Lecture du fichier |
| Notes de version | URL ou Markdown |
| Invite libre | Demande de construction au LLM |
→ Le traitement après acquisition de la source est commun (le LLM écrit notes/script.json).
Pile technique (tout gratuit, local)
| Rôle | Outil |
|---|---|
| Génération du script | LLM (appelant de cette compétence) |
| Diapositives | Pillow (avec BIZ UDGothic, etc.) |
| Narration | edge-tts (voix Neural d'Edge – gratuite, non officielle) |
| Assemblage vidéo | ffmpeg (binaire inclus imageio-ffmpeg possible) |
| Sous-titres | Génération automatique .srt |
| Avatar (optionnel) | SadTalker (GPU recommandé) + masque elliptique ffmpeg |
Workflow rapide (sans avatar)
pip install edge-tts imageio-ffmpeg pillow
# 1. Générer script.json à partir de l'entrée (LLM)
# 2. Générer la vidéo
python scripts\build_video.py --project D:\chemin\vers\projet
# → output\final.mp4 + final.srt
Détails : references/script-schema.md / references/setup.md
Mode Avatar (tête parlante dans un coin)
Si vous disposez d'un GPU (VRAM 8 Go+), SadTalker peut ajouter un avatar en bas à droite. La configuration initiale prend 30 à 40 minutes dans un venv séparé (Python 3.10) , ensuite +20 à 30 minutes par vidéo.
# Vidéo existante + 8 fichiers audio → composition de l'avatar
python scripts\add_avatar.py --project D:\chemin\vers\projet --face D:\chemin\vers\visage.jpg
# Créer la version avec masque elliptique
python scripts\ellipse_overlay.py --project D:\chemin\vers\projet
# → output\final_with_avatar.mp4 et final_with_avatar_ellipse.mp4
Configuration, pièges, choix des personnages : references/avatar.md
Structure de sortie
<projet>/
├── notes/script.json Script (écrit par le LLM)
├── slides/slide_XX.png 1920x1080
├── audio/audio_XX.mp3 Narration par diapositive
├── avatar/ (optionnel)
│ ├── input/face.jpg Photo source de l'avatar
│ ├── SadTalker/ Dépôt + points de contrôle
│ ├── venv/ Python 3.10 + torch cu121
│ └── clips/audio_XX.mp4 Vidéo d'avatar pour chaque narration
└── output/
├── final.mp4 Version de base (diapos + narration)
├── final.srt Sous-titres
├── final_with_avatar.mp4 (optionnel) Avatar rectangulaire
└── final_with_avatar_ellipse.mp4 (optionnel) Avatar circulaire
Valeurs par défaut
- Résolution : 1920x1080, 30 ips (16:9)
- Voix :
ja-JP-NanamiNeural(féminine, posée). Pour une voix masculine,ja-JP-KeitaNeural - Nombre de diapositives : couverture + 5 à 7 diapositives principales (total 6 à 8)
- Palette : slate-900 / sky-400 / BIZ UDGothic
- 15 à 25 secondes par diapositive, total 2 à 4 minutes
Modification de la voix, palette, police, rapport d'aspect : references/customization.md
Utilisation en production
Le edge-tts gratuit est non officiel, sans SLA, zone grise commerciale. Pour une distribution client ou une utilisation continue :
- Narration → remplacez par Azure Speech (Neural TTS)
- Avatar commercial → Azure TTS Avatar (Lisa, etc. – officiel, $0.30/min et plus)
Détails : references/production-upgrade.md
Variantes courantes
- Version courte 9:16 (X/Reels) :
W,H = 1080, 1920, narration compressée à 60 secondes - Sous-titres incrustés : filtre ffmpeg
subtitles=final.srt(ffmpeg-advanced-filters.md) - Ajout de BGM : mixez un autre mp3 à faible volume (ffmpeg-advanced-filters.md)
- Chapitrage / cours (support d'apprentissage) : divisez script.json en chapitres, avec introduction/outro communs
- Version multilingue : changez
voice+ traduisez le script - Génération de mascotte fixe pour une chaîne : créez un personnage avec SDXL et sauvegardez la seed (avatar-generation-sdxl.md)
- VOICEVOX + sprite officiel du personnage : pour les chaînes « explications douces » comme Zundamon, synchronisation labiale réaliste avec calques PSD (voiced-mascot.md)
- Wipe d'avatar circulaire : masque circulaire avec le filtre ffmpeg geq + anneau d'accent (ffmpeg-advanced-filters.md)
- Publication automatique YouTube : planification publique + miniature via API (youtube-upload.md)
- PoC → chaîne de diffusion régulière : refonte de la structure des répertoires (scale-up-production.md)
Critères de réussite
-
<out>/output/final.mp4(ou version avec avatar) est lisible, audio et vidéo synchronisés - Texte des diapositives en 28pt minimum / titre en 56pt minimum, lisible
- La narration reflète correctement le message principal de l'entrée
-
final.srtest synchronisé avec la narration - Les droits d'auteur de la source ne sont pas violés (résumé + citation, pas de lecture intégrale)
- (Avec avatar) Pas de dépassement de mémoire GPU, synchronisation labiale acceptable