Pipeline de Production Vidéo ASCII
Quand l'utiliser
À utiliser lorsque les utilisateurs demandent : vidéo ASCII, vidéo d'art textuel, vidéo de style terminal, animation de personnages artistiques, visualisation rétro de texte, visualiseur audio en ASCII, conversion de vidéo en art ASCII, effets de style Matrix, ou toute sortie ASCII animée.
Ce qu'il contient
Pipeline de production pour vidéo d'art ASCII — n'importe quel format. Convertit des entrées vidéo/audio/images/génératives en sortie vidéo ASCII colorée (MP4, GIF, séquence d'images). Couvre : conversion vidéo vers ASCII, visualiseurs musicaux audio-réactifs, animations ASCII génératives, hybrides vidéo+audio réactifs, superpositions de texte/paroles, rendu terminal en temps réel.
Standard Créatif
Il s'agit d'art visuel. Les caractères ASCII sont le médium ; le cinéma est la norme.
Avant d'écrire une seule ligne de code, articulez le concept créatif. Quelle est l'ambiance ? Quelle histoire visuelle cela raconte-t-il ? Qu'est-ce qui rend CE projet différent de toutes les autres vidéos ASCII ? L'invite de l'utilisateur est un point de départ — interprétez-la avec ambition créative, pas de transcription littérale.
L'excellence du premier rendu est non négociable. La sortie doit être visuellement frappante sans nécessiter de cycles de révision. Si quelque chose semble générique, plat, ou comme « de l'art ASCII généré par IA », c'est faux — repensez le concept créatif avant de livrer.
Allez au-delà du vocabulaire de référence. Les catalogues d'effets, les préréglages de shaders et les bibliothèques de palettes dans les références sont un vocabulaire de départ. Pour chaque projet, combinez, modifiez et inventez de nouveaux motifs. Le catalogue est une palette de peintures — vous écrivez le tableau.
Soyez proactivement créatif. Étendez le vocabulaire de la compétence lorsque le projet l'exige. Si les références n'ont pas ce que la vision demande, construisez-le. Incluez au moins un moment visuel que l'utilisateur n'a pas demandé mais qu'il appréciera — une transition, un effet, un choix de couleur qui élève l'ensemble de la pièce.
Esthétique cohérente plutôt que justesse technique. Toutes les scènes d'une vidéo doivent sembler connectées par un langage visuel unificateur — température de couleur partagée, palettes de personnages liées, vocabulaire de mouvement cohérent. Une vidéo techniquement correcte où chaque scène utilise un effet différent aléatoire est un échec esthétique.
Dense, stratifié, réfléchi. Chaque image doit mériter d'être regardée. Jamais de fonds noirs plats. Toujours une composition multi-grille. Toujours une variation par scène. Toujours une couleur intentionnelle.
Modes
| Mode | Entrée | Sortie | Référence |
|---|---|---|---|
| Vidéo vers ASCII | Fichier vidéo | Re-création ASCII de la source | references/inputs.md § Échantillonnage Vidéo |
| Audio-réactif | Fichier audio | Visuels génératifs pilotés par les caractéristiques audio | references/inputs.md § Analyse Audio |
| Génératif | Aucune (ou paramètres de graine) | Animation ASCII procédurale | references/effects.md |
| Hybride | Vidéo + audio | Vidéo ASCII avec superpositions audio-réactives | Les deux références d'entrée |
| Paroles/texte | Audio + texte/SRT | Texte minuté avec effets visuels | references/inputs.md § Texte/Paroles |
| Narration TTS | Citations textuelles + API TTS | Vidéo de témoignage/ citation narrée avec texte tapé | references/inputs.md § Intégration TTS |
Stack Technologique
Un seul script Python autonome par projet. Aucun GPU requis.
| Couche | Outil | Objectif |
|---|---|---|
| Cœur | Python 3.10+, NumPy | Maths, opérations sur tableaux, effets vectorisés |
| Signal | SciPy | FFT, détection de pics (modes audio) |
| Imagerie | Pillow (PIL) | Rastérisation de polices, décodage d'images, E/S d'images |
| E/S Vidéo | ffmpeg (CLI) | Décodage entrée, encodage sortie, multiplexage audio |
| Parallélisme | concurrent.futures | N workers pour rendu par lots/ clips |
| TTS | API ElevenLabs (optionnel) | Générer des clips de narration |
| Optionnel | OpenCV | Échantillonnage d'images vidéo, détection de contours |
Architecture du Pipeline
Chaque mode suit le même pipeline en 6 étapes :
INPUT → ANALYZE → SCENE_FN → TONEMAP → SHADE → ENCODE
- INPUT — Charger/décoder le matériau source (images vidéo, échantillons audio, images ou rien)
- ANALYZE — Extraire les caractéristiques par image (bandes audio, luminance/bords vidéo, vecteurs de mouvement)
- SCENE_FN — La fonction de scène rend un canevas de pixels (
uint8 H,W,3). Compose plusieurs grilles de personnages via_render_vf()+ modes de fusion de pixels. Voirreferences/composition.md - TONEMAP — Normalisation adaptative de la luminosité basée sur les percentiles. Voir
references/composition.md§ Tonemap Adaptatif - SHADE — Post-traitement via
ShaderChain+FeedbackBuffer. Voirreferences/shaders.md - ENCODE — Rediriger les images RVB brutes vers ffmpeg pour l'encodage H.264/GIF
Direction Créative
Dimensions Esthétiques
| Dimension | Options | Référence |
|---|---|---|
| Palette de personnages | Rampe de densité, éléments de blocs, symboles, écritures (katakana, grec, runes, braille), spécifique au projet | architecture.md § Palettes |
| Stratégie de couleur | HSV, OKLAB/OKLCH, palettes RVB discrètes, harmonie auto-générée, monochrome, température | architecture.md § Système de Couleur |
| Texture de fond | Champs sinusoïdaux, bruit fBM, déformation de domaine, voronoï, réaction-diffusion, automates cellulaires, vidéo | effects.md |
| Effets primaires | Anneaux, spirales, tunnel, vortex, vagues, interférence, aurore, feu, SDF, attracteurs étranges | effects.md |
| Particules | Étincelles, neige, pluie, bulles, runes, orbites, essaims d'oiseaux, suiveurs de champ de flux, traînées | effects.md § Particules |
| Ambiance du shader | CRT rétro, moderne propre, art glitch, cinématique, rêveur, industriel, psychédélique | shaders.md |
| Densité de grille | xs(8px) à xxl(40px), mixte par couche | architecture.md § Système de Grille |
| Espace de coordonnées | Cartésien, polaire, carrelé, pivoté, fisheye, Möbius, déformé par domaine | effects.md § Transformations |
| Retour visuel | Tunnel de zoom, traînées arc-en-ciel, écho fantomatique, mandala tournant, évolution de couleur | composition.md § Retour |
| Masquage | Cercle, anneau, gradient, pochoir de texte, iris/volet/fondu animé | composition.md § Masquage |
| Transitions | Fondu enchaîné, volet, fondu, coupure glitch, iris, révélation basée sur masque | shaders.md § Transitions |
Variation par Section
N'utilisez jamais la même configuration pour toute la vidéo. Pour chaque section/scène :
- Effet de fond différent (ou composez-en 2-3)
- Palette de personnages différente (correspondant à l'ambiance)
- Stratégie de couleur différente (ou au minimum une teinte différente)
- Varier l'intensité du shader (plus de bloom pendant les pics, plus de grain pendant le calme)
- Types de particules différents si des particules sont actives
Invention Spécifique au Projet
Pour chaque projet, inventez au moins un des éléments suivants :
- Une palette de personnages personnalisée correspondant au thème
- Un effet de fond personnalisé (combinez/modifiez des blocs de construction existants)
- Une palette de couleurs personnalisée (ensemble RVB discret correspondant à la marque/l'ambiance)
- Un ensemble de caractères de particules personnalisé
- Une transition de scène ou un moment visuel inédit
Ne vous contentez pas de choisir dans le catalogue. Le catalogue est un vocabulaire — vous écrivez le poème.
Flux de Travail
Étape 1 : Vision Créative
Avant tout code, articulez le concept créatif :
- Ambiance/atmosphère : Que doit ressentir le spectateur ? Énergique, méditatif, chaotique, élégant, menaçant ?
- Histoire visuelle : Que se passe-t-il pendant la durée ? Construction de tension ? Transformation ? Dissolution ?
- Univers de couleurs : Chaud/froid ? Monochrome ? Néons ? Tons terreux ? Quelle est la teinte dominante ?
- Texture des personnages : Données denses ? Étoiles clairsemées ? Points organiques ? Blocs géométriques ?
- Qu'est-ce qui rend CELUI-CI différent : Quelle est la chose unique qui rend ce projet spécial ?
- Arc émotionnel : Comment les scènes progressent-elles ? Commencer avec énergie, construire jusqu'au climax, résoudre ?
Mappez l'invite de l'utilisateur aux choix esthétiques. Un « visualiseur chill lo-fi » exige tout un univers différent d'un « flux de données cyberpunk glitch ».
Étape 2 : Conception Technique
- Mode — lequel des 6 modes ci-dessus
- Résolution — paysage 1920x1080 (par défaut), portrait 1080x1920, carré 1080x1080 @ 24 ips
- Détection matérielle — détection automatique des cœurs/RAM, définition du profil de qualité. Voir
references/optimization.md - Sections — mappez les horodatages aux fonctions de scène, chacune avec sa propre configuration d'effet/palette/couleur/shader
- Format de sortie — MP4 (par défaut), GIF (640x360 @ 15 ips), séquence PNG
Étape 3 : Construire le Script
Fichier Python unique. Composants (avec références) :
- Détection matérielle + profil de qualité —
references/optimization.md - Chargeur d'entrée — dépendant du mode ;
references/inputs.md - Analyseur de caractéristiques — FFT audio, luminance vidéo, ou synthétique
- Grille + moteur de rendu — grilles multi-densité avec cache de bitmap ;
references/architecture.md - Palettes de personnages — multiples par projet ;
references/architecture.md§ Palettes - Système de couleur — HSV + RVB discret + génération d'harmonie ;
references/architecture.md§ Couleur - Fonctions de scène — chacune retourne
canvas (uint8 H,W,3);references/scenes.md - Tonemap — normalisation adaptative de la luminosité ;
references/composition.md - Pipeline shader —
ShaderChain+FeedbackBuffer;references/shaders.md10.Tableau de scènes + dispatcher — temps → fonction de scène + configuration ;references/scenes.md11.Encodeur parallèle — rendu de clips en N workers avec pipes ffmpeg 12.Main — orchestre le pipeline complet
Étape 4 : Vérification de la Qualité
- Tester les images d'abord : rendez des images uniques à des horodatages clés avant le rendu complet
- Vérification de la luminosité :
canvas.mean() > 8pour tout le contenu ASCII. Si sombre, abaissez le gamma - Cohérence visuelle : toutes les scènes semblent-elles appartenir à la même vidéo ?
- Vérification de la vision créative : la sortie correspond-elle au concept de l'étape 1 ? Si elle semble générique, revenez en arrière
Remarques d'Implémentation Critiques
Luminosité — Utilisez tonemap(), Pas de Multiplicateurs Linéaires
C'est le problème visuel numéro 1. L'ASCII sur fond noir est intrinsèquement sombre. N'utilisez jamais de multiplicateurs canvas * N — ils écrêtent les hautes lumières. Utilisez un tonemap adaptatif :
def tonemap(canvas, gamma=0.75):
f = canvas.astype(np.float32)
lo, hi = np.percentile(f[::4, ::4], [1, 99.5])
if hi - lo < 10: hi = lo + 10
f = np.clip((f - lo) / (hi - lo), 0, 1) ** gamma
return (f * 255).astype(np.uint8)
Pipeline : scene_fn() → tonemap() → FeedbackBuffer → ShaderChain → ffmpeg
Gamma par scène : 0.75 par défaut, 0.55 pour solarisation, 0.50 pour postérisation, 0.85 pour scènes lumineuses. Utilisez la fusion screen (pas overlay) pour les couches sombres.
Hauteur de Cellule de Police
Sous macOS Pillow : textbbox() retourne une hauteur incorrecte. Utilisez font.getmetrics() : cell_height = ascent + descent. Voir references/troubleshooting.md.
Blocage du Pipe ffmpeg
N'utilisez jamais stderr=subprocess.PIPE avec ffmpeg longue durée — le tampon se remplit à 64 Ko et bloque. Redirigez vers un fichier. Voir references/troubleshooting.md.
Compatibilité des Polices
Tous les caractères Unicode ne s'affichent pas dans toutes les polices. Validez les palettes à l'initialisation — rendez chaque caractère, vérifiez la sortie vide. Voir references/troubleshooting.md.
Architecture par Clip
Pour les vidéos segmentées (citations, scènes, chapitres), rendez chaque segment comme un fichier clip séparé pour un rendu parallèle et un re-rendu sélectif. Voir references/scenes.md.
Objectifs de Performance
| Composant | Budget |
|---|---|
| Extraction de caractéristiques | 1-5ms |
| Fonction d'effet | 2-15ms |
| Rendu de personnage | 80-150ms (goulot d'étranglement) |
| Pipeline shader | 5-25ms |
| Total | ~100-200ms/image |
Références
| Fichier | Contenu |
|---|---|
references/architecture.md | Système de grille, préréglages de résolution, sélection de police, palettes de personnages (20+), système de couleur (HSV + OKLAB + RVB discret + génération d'harmonie), aide _render_vf(), classe GridLayer |
references/composition.md | Modes de fusion de pixels (20 modes), blend_canvas(), composition multi-grille, tonemap() adaptative, FeedbackBuffer, PixelBlendStack, système de masquage/pochoir |
references/effects.md | Blocs de construction d'effets : générateurs de champs de valeurs, champs de teinte, bruit/fBM/déformation de domaine, voronoï, réaction-diffusion, automates cellulaires, SDF, attracteurs étranges, systèmes de particules, transformations de coordonnées, cohérence temporelle |
references/shaders.md | ShaderChain, distribution _apply_shader_step(), catalogue de 38 shaders, mise à l'échelle audio-réactive, transitions, préréglages de teinte, encodage de format de sortie, rendu terminal |
references/scenes.md | Protocole de scène, classe Renderer, table SCENES, render_clip(), découpage synchronisé sur le rythme, rendu parallèle, motifs de conception (hiérarchie des couches, arcs directionnels, métaphores visuelles, techniques de composition), exemples complets de scènes à chaque niveau de complexité, liste de vérification de conception de scène |
references/inputs.md | Analyse audio (FFT, bandes, beats), échantillonnage vidéo, conversion d'images, texte/paroles, intégration TTS (ElevenLabs, assignation de voix, mixage audio) |
references/optimization.md | Détection matérielle, profils de qualité, motifs vectorisés, rendu parallèle, gestion de la mémoire, budgets de performance |
references/troubleshooting.md | Pièges de diffusion NumPy, pièges de mode de fusion, multitraitement/pickling, diagnostics de luminosité, problèmes ffmpeg, problèmes de police, erreurs courantes |
Divergence Créative (à utiliser uniquement lorsque l'utilisateur demande une sortie expérimentale/créative/unique)
Si l'utilisateur demande une sortie créative, expérimentale, surprenante ou non conventionnelle, sélectionnez la stratégie la mieux adaptée et raisonnez sur ses étapes AVANT de générer du code.
- Connexions Forcées — lorsque l'utilisateur souhaite une inspiration inter-domaines (« faites-le paraître organique », « esthétique industrielle »)
- Mélange Conceptuel — lorsque l'utilisateur nomme deux choses à combiner (« l'océan rencontre la musique », « espace + calligraphie »)
- Stratégies Obliques — lorsque l'utilisateur est extrêmement ouvert (« surprenez-moi », « quelque chose que je n'ai jamais vu »)
Connexions Forcées
- Choisissez un domaine sans rapport avec l'objectif visuel (systèmes météorologiques, microbiologie, architecture, dynamique des fluides, tissage textile)
- Listez ses éléments visuels/structuraux principaux (érosion → révélation progressive ; mitose → duplication de division ; tissage → motifs entrelacés)
- Mappez ces éléments sur des caractères ASCII et des motifs d'animation
- Synthétisez — à quoi ressemblent « l'érosion » ou « la cristallisation » dans une grille de caractères ?
Mélange Conceptuel
- Nommez deux domaines visuels/
…
[truncated for translation]