ASCII-Video-Produktionspipeline
Wann verwenden
Verwenden Sie dies, wenn Benutzer Folgendes anfordern: ASCII-Video, Textkunst-Video, Terminal-Stil-Video, Charakter-Kunst-Animation, retro Textvisualisierung, Audio-Visualizer in ASCII, Konvertierung von Video zu ASCII-Kunst, Matrix-Effekte oder jede animierte ASCII-Ausgabe.
Was enthalten ist
Produktionspipeline für ASCII-Kunst-Videos – jedes Format. Konvertiert Video/Audio/Bilder/generative Eingaben in farbige ASCII-Zeichen-Videoausgabe (MP4, GIF, Bildsequenz). Umfasst: Video-zu-ASCII-Konvertierung, audio-reaktive Musikvisualisierungen, generative ASCII-Kunst-Animationen, hybrides Video-+ Audio-Reaktiv, Text-/Lyrics-Overlays, Echtzeit-Terminal-Rendering.
Kreativer Standard
Dies ist visuelle Kunst. ASCII-Zeichen sind das Medium; Kino ist der Standard.
Bevor Sie eine einzige Zeile Code schreiben, artikulieren Sie das kreative Konzept. Was ist die Stimmung? Welche visuelle Geschichte wird erzählt? Was macht DIESES Projekt anders als jedes andere ASCII-Video? Die Anfrage des Benutzers ist ein Ausgangspunkt – interpretieren Sie sie mit kreativem Anspruch, nicht mit buchstäblicher Transkription.
Exzellenz beim ersten Rendern ist nicht verhandelbar. Die Ausgabe muss visuell beeindruckend sein, ohne Überarbeitungsrunden zu erfordern. Wenn etwas generisch, flach oder wie ‚KI-generierte ASCII-Kunst‘ aussieht, ist es falsch – überdenken Sie das kreative Konzept, bevor Sie ausliefern.
Gehen Sie über das Referenzvokabular hinaus. Die Effektkataloge, Shader-Voreinstellungen und Palettenbibliotheken in den Referenzen sind ein Ausgangsvokabular. Kombinieren, modifizieren und erfinden Sie für jedes Projekt neue Muster. Der Katalog ist eine Farbpalette – Sie malen das Bild.
Seien Sie proaktiv kreativ. Erweitern Sie das Vokabular der Fähigkeit, wenn das Projekt es erfordert. Wenn die Referenzen nicht das haben, was die Vision verlangt, bauen Sie es. Fügen Sie mindestens einen visuellen Moment hinzu, den der Benutzer nicht verlangt hat, der aber geschätzt wird – ein Übergang, ein Effekt, eine Farbwahl, die das gesamte Stück aufwertet.
Zusammenhängende Ästhetik über technische Korrektheit. Alle Szenen in einem Video müssen sich durch eine vereinheitlichende visuelle Sprache verbunden anfühlen – gemeinsame Farbtemperatur, verwandte Zeichenpaletten, konsistentes Bewegungsvokabular. Ein technisch korrektes Video, in dem jede Szene einen zufälligen, anderen Effekt verwendet, ist ein ästhetischer Misserfolg.
Dicht, geschichtet, durchdacht. Jeder Frame sollte belohnt werden. Niemals flache schwarze Hintergründe. Immer Multi-Grid-Komposition. Immer szenenspezifische Variation. Immer absichtliche Farbe.
Modi
| Modus | Eingabe | Ausgabe | Referenz |
|---|---|---|---|
| Video-zu-ASCII | Videodatei | ASCII-Nachbildung des Quellmaterials | references/inputs.md § Video-Sampling |
| Audio-reaktiv | Audiodatei | Generative Visuals, gesteuert durch Audio-Merkmale | references/inputs.md § Audio-Analyse |
| Generativ | Keine (oder Seed-Parameter) | Prozedurale ASCII-Animation | references/effects.md |
| Hybrid | Video + Audio | ASCII-Video mit audio-reaktiven Overlays | Beide Eingabe-Referenzen |
| Lyrics/Text | Audio + Text/SRT | Zeitgesteuerter Text mit visuellen Effekten | references/inputs.md § Text/Lyrics |
| TTS-Erzählung | Textzitate + TTS-API | Erzähltes Testimonial-/Zitat-Video mit getipptem Text | references/inputs.md § TTS-Integration |
Technologie-Stack
Ein einziges, eigenständiges Python-Skript pro Projekt. Keine GPU erforderlich.
| Schicht | Werkzeug | Zweck |
|---|---|---|
| Kern | Python 3.10+, NumPy | Mathematik, Array-Operationen, vektorisierte Effekte |
| Signal | SciPy | FFT, Spitzenerkennung (Audio-Modi) |
| Bildverarbeitung | Pillow (PIL) | Schrift-Rasterisierung, Frame-Dekodierung, Bild-I/O |
| Video-I/O | ffmpeg (CLI) | Eingabe dekodieren, Ausgabe kodieren, Audio muxen |
| Parallelisierung | concurrent.futures | N Worker für Batch-/Clip-Rendering |
| TTS | ElevenLabs API (optional) | Erzähl-Clips generieren |
| Optional | OpenCV | Video-Frame-Sampling, Kantenerkennung |
Pipeline-Architektur
Jeder Modus folgt der gleichen 6-stufigen Pipeline:
EINGABE → ANALYSE → SZENE_FN → TONWERTZUR. → SCHATTEN → KODIEREN
- EINGABE — Quellmaterial laden/dekodieren (Video-Frames, Audio-Samples, Bilder oder nichts)
- ANALYSE — Pro-Frame-Merkmale extrahieren (Audio-Bänder, Video-Luminanz/Kanten, Bewegungsvektoren)
- SZENE_FN — Die Szenenfunktion rendert auf eine Pixel-Leinwand (
uint8 H,W,3). Setzt mehrere Zeichengitter via_render_vf()+ Pixel-Blend-Modi zusammen. Siehereferences/composition.md - TONWERTZUR. — Prozentilbasierte adaptive Helligkeitsnormalisierung. Siehe
references/composition.md§ Adaptive Tonwertzuordnung - SCHATTEN — Nachbearbeitung via
ShaderChain+FeedbackBuffer. Siehereferences/shaders.md - KODIEREN — Roh-RGB-Frames an ffmpeg für H.264/GIF-Kodierung weiterleiten
Kreative Richtlinien
Ästhetische Dimensionen
| Dimension | Optionen | Referenz |
|---|---|---|
| Zeichenpalette | Dichte-Rampen, Blockelemente, Symbole, Schriften (Katakana, Griechisch, Runen, Braille), projektspezifisch | architecture.md § Paletten |
| Farbstrategie | HSV, OKLAB/OKLCH, diskrete RGB-Paletten, automatisch generierte Harmonie, Monochrom, Temperatur | architecture.md § Farbsystem |
| Hintergrundtextur | Sinusfelder, FBM-Rauschen, Domain-Warping, Voronoi, Reaktions-Diffusion, Zelluläre Automaten, Video | effects.md |
| Primäreffekte | Ringe, Spiralen, Tunnel, Wirbel, Wellen, Interferenz, Aurora, Feuer, SDFs, Seltsame Attraktoren | effects.md |
| Partikel | Funken, Schnee, Regen, Blasen, Runen, Orbits, Schwarm-Boids, Strömungsfeld-Folger, Spuren | effects.md § Partikel |
| Shader-Stimmung | Retro CRT, sauber modern, Glitch-Kunst, cineastisch, verträumt, industriell, psychedelisch | shaders.md |
| Gitterdichte | xs(8px) bis xxl(40px), gemischt pro Ebene | architecture.md § Gittersystem |
| Koordinatenraum | Kartesisch, Polarkoordinaten, gekachelt, rotiert, Fischauge, Möbius, Domain-gewarped | effects.md § Transformationen |
| Feedback | Zoom-Tunnel, Regenbogenspuren, geisterhaftes Echo, rotierende Mandala, Farbentwicklung | composition.md § Feedback |
| Maskierung | Kreis, Ring, Verlauf, Text-Schablone, animierte Iris/Wisch-/Aufblende | composition.md § Maskierung |
| Übergänge | Überblendung, Wischblende, Aufblende, Glitch-Schnitt, Iris, Masken-basierte Enthüllung | shaders.md § Übergänge |
Abschnittsbezogene Variation
Verwenden Sie niemals die gleiche Konfiguration für das gesamte Video. Für jeden Abschnitt/jede Szene:
- Anderer Hintergrundeffekt (oder 2-3 kombinieren)
- Andere Zeichenpalette (passend zur Stimmung)
- Andere Farbstrategie (oder zumindest einen anderen Farbton)
- Shader-Intensität variieren (mehr Bloom bei Höhepunkten, mehr Körnung in ruhigen Passagen)
- Andere Partikeltypen, wenn Partikel aktiv sind
Projektspezifische Erfindung
Erfinden Sie für jedes Projekt mindestens eines von:
- Eine benutzerdefinierte Zeichenpalette passend zum Thema
- Einen benutzerdefinierten Hintergrundeffekt (bestehende Bausteine kombinieren/modifizieren)
- Eine benutzerdefinierte Farbpalette (diskrete RGB-Menge passend zur Marke/Stimmung)
- Ein benutzerdefiniertes Partikel-Zeichenset
- Einen neuartigen Szenenübergang oder visuellen Moment
Wählen Sie nicht einfach aus dem Katalog. Der Katalog ist Vokabular – Sie schreiben das Gedicht.
Arbeitsablauf
Schritt 1: Kreative Vision
Bevor Sie Code schreiben, artikulieren Sie das kreative Konzept:
- Stimmung/Atmosphäre: Was soll der Betrachter fühlen? Energisch, meditativ, chaotisch, elegant, bedrohlich?
- Visuelle Geschichte: Was passiert im Verlauf der Dauer? Spannung aufbauen? Verwandeln? Auflösen?
- Farbwelt: Warm/Kühl? Monochrom? Neon? Erdtöne? Was ist der dominante Farbton?
- Zeichenstruktur: Dichte Daten? Spärliche Sterne? Organische Punkte? Geometrische Blöcke?
- Was macht DIESES anders: Was ist das eine, das dieses Projekt einzigartig macht?
- Emotionaler Bogen: Wie schreiten die Szenen voran? Mit Energie beginnen, zu einem Höhepunkt aufbauen, auflösen?
Ordnen Sie die Anfrage des Benutzers ästhetischen Entscheidungen zu. Ein ‚entspannter Lo-Fi-Visualizer‘ erfordert eine völlig andere Herangehensweise als ein ‚Glitch-Cyberpunk-Datenstrom‘.
Schritt 2: Technisches Design
- Modus — welcher der 6 Modi oben
- Auflösung — Querformat 1920x1080 (Standard), Hochformat 1080x1920, Quadrat 1080x1080 bei 24fps
- Hardware-Erkennung — Kerne/RAM automatisch erkennen, Qualitätsprofil festlegen. Siehe
references/optimization.md - Abschnitte — Zeitstempel auf Szenenfunktionen abbilden, jede mit eigener Effekt-/Paletten-/Farb-/Shader-Konfiguration
- Ausgabeformat — MP4 (Standard), GIF (640x360 bei 15fps), PNG-Sequenz
Schritt 3: Das Skript erstellen
Einzelne Python-Datei. Komponenten (mit Referenzen):
- Hardware-Erkennung + Qualitätsprofil —
references/optimization.md - Eingabelader — modusabhängig;
references/inputs.md - Merkmal-Analysator — Audio-FFT, Video-Luminanz oder synthetisch
- Gitter + Renderer — Multi-Dichte-Gitter mit Bitmap-Cache;
references/architecture.md - Zeichenpaletten — mehrere pro Projekt;
references/architecture.md§ Paletten - Farbsystem — HSV + diskretes RGB + Harmonie-Generierung;
references/architecture.md§ Farbe - Szenenfunktionen — jede gibt
canvas (uint8 H,W,3)zurück;references/scenes.md - Tonwertzuordnung — adaptive Helligkeitsnormalisierung;
references/composition.md - Shader-Pipeline —
ShaderChain+FeedbackBuffer;references/shaders.md - Szenentabelle + Dispatcher — Zeit → Szenenfunktion + Konfiguration;
references/scenes.md - Paralleler Kodierer — N-Worker-Clip-Rendering mit ffmpeg-Pipes
- Main — Gesamtpipeline orchestrieren
Schritt 4: Qualitätsprüfung
- Test-Frames zuerst: Einzelne Frames zu wichtigen Zeitpunkten rendern, bevor der vollständige Render durchgeführt wird
- Helligkeitsprüfung:
canvas.mean() > 8für alle ASCII-Inhalte. Wenn dunkel, Gamma senken - Visuelle Kohärenz: Fühlen sich alle Szenen so an, als gehörten sie zum selben Video?
- Überprüfung der kreativen Vision: Entspricht die Ausgabe dem Konzept aus Schritt 1? Wenn es generisch aussieht, gehen Sie zurück
Kritische Implementierungshinweise
Helligkeit – Verwenden Sie tonemap(), Keine Linearen Multiplikatoren
Dies ist das häufigste visuelle Problem. ASCII auf Schwarz ist von Natur aus dunkel. Verwenden Sie niemals canvas * N-Multiplikatoren – sie beschneiden Lichter. Verwenden Sie die adaptive Tonwertzuordnung:
def tonemap(canvas, gamma=0.75):
f = canvas.astype(np.float32)
lo, hi = np.percentile(f[::4, ::4], [1, 99.5])
if hi - lo < 10: hi = lo + 10
f = np.clip((f - lo) / (hi - lo), 0, 1) ** gamma
return (f * 255).astype(np.uint8)
Pipeline: scene_fn() → tonemap() → FeedbackBuffer → ShaderChain → ffmpeg
Pro-Szene Gamma: Standard 0,75, Solarisation 0,55, Posterisierung 0,50, helle Szenen 0,85. Verwenden Sie den screen-Blend (nicht overlay) für dunkle Ebenen.
Schriftzellenhöhe
macOS Pillow: textbbox() gibt eine falsche Höhe zurück. Verwenden Sie font.getmetrics(): cell_height = ascent + descent. Siehe references/troubleshooting.md.
ffmpeg-Pipe-Deadlock
Verwenden Sie niemals stderr=subprocess.PIPE mit langlebigem ffmpeg – der Puffer füllt sich bei 64KB und verursacht einen Deadlock. Leiten Sie in eine Datei um. Siehe references/troubleshooting.md.
Schriftkompatibilität
Nicht alle Unicode-Zeichen werden in allen Schriften dargestellt. Validieren Sie Paletten bei der Initialisierung – rendern Sie jedes Zeichen und prüfen Sie auf leere Ausgabe. Siehe references/troubleshooting.md.
Pro-Clip-Architektur
Für segmentierte Videos (Zitate, Szenen, Kapitel) rendern Sie jedes als separate Clip-Datei für paralleles Rendern und selektives Nachrendern. Siehe references/scenes.md.
Leistungsziele
| Komponente | Budget |
|---|---|
| Merkmalsextraktion | 1-5ms |
| Effektfunktion | 2-15ms |
| Zeichen-Rendering | 80-150ms (Engpass) |
| Shader-Pipeline | 5-25ms |
| Gesamt | ~100-200ms/Frame |
Referenzen
| Datei | Inhalt |
|---|---|
references/architecture.md | Gittersystem, Auflösungsvoreinstellungen, Schriftauswahl, Zeichenpaletten (20+), Farbsystem (HSV + OKLAB + diskretes RGB + Harmoniegenerierung), _render_vf()-Hilfsfunktion, GridLayer-Klasse |
references/composition.md | Pixel-Blend-Modi (20 Modi), blend_canvas(), Multi-Gitter-Komposition, adaptive tonemap(), FeedbackBuffer, PixelBlendStack, Maskierungs-/Schablonensystem |
references/effects.md | Effekt-Bausteine: Wertefeld-Generatoren, Farbtonfelder, Rauschen/FBM/Domain-Warp, Voronoi, Reaktions-Diffusion, Zelluläre Automaten, SDFs, Seltsame Attraktoren, Partikelsysteme, Koordinatentransformationen, zeitliche Kohärenz |
references/shaders.md | ShaderChain, _apply_shader_step()-Dispatcher, 38 Shader-Katalog, audio-reaktive Skalierung, Übergänge, Tönungs-Voreinstellungen, Ausgabeformat-Kodierung, Terminal-Rendering |
references/scenes.md | Szenen-Protokoll, Renderer-Klasse, SCENES-Tabelle, render_clip(), beat-synchroner Schnitt, paralleles Rendern, Entwurfsmuster (Ebenenhierarchie, Richtungsbögen, visuelle Metaphern, Kompositionstechniken), vollständige Szenenbeispiele auf jeder Komplexitätsebene, Szenen-Design-Checkliste |
references/inputs.md | Audio-Analyse (FFT, Bänder, Beats), Video-Sampling, Bildkonvertierung, Text/Lyrics, TTS-Integration (ElevenLabs, Sprachzuweisung, Audio-Mixing) |
references/optimization.md | Hardware-Erkennung, Qualitätsprofile, vektorisierte Muster, paralleles Rendern, Speicherverwaltung, Leistungsbudgets |
references/troubleshooting.md | NumPy-Broadcasting-Fallen, Fallstricke bei Blend-Modi, Multiprocessing/Pickling, Helligkeitsdiagnose, ffmpeg-Probleme, Schriftprobleme, häufige Fehler |
Kreative Divergenz (nur verwenden, wenn der Benutzer experimentelle/kreative/einzigartige Ausgaben wünscht)
Wenn der Benutzer nach kreativen, experimentellen, überraschenden oder unkonventionellen Ergebnissen fragt, wählen Sie die am besten geeignete Strategie aus und führen Sie deren Schritte aus, BEVOR Sie Code generieren.
- Erzwungene Verbindungen — wenn der Benutzer domänenübergreifende Inspiration wünscht ("mach es organisch aussehen", "industrielle Ästhetik")
- Konzeptuelle Verschmelzung — wenn der Benutzer zwei zu kombinierende Dinge nennt ("Ozean trifft Musik", "Raum + Kalligrafie")
- Oblique-Strategien — wenn der Benutzer maximal offen ist ("überrasch mich", "etwas, das ich noch nie gesehen habe")
Erzwungene Verbindungen
- Wählen Sie eine Domäne, die nichts mit dem visuellen Ziel zu tun hat (Wettersysteme, Mikrobiologie, Architektur, Fluiddynamik, Textilweberei)
- Listen Sie deren Kern visuelle/strukturelle Elemente auf (Erosion → allmähliche Enthüllung; Mitose → sich spaltende Duplikation; Weberei → ineinandergreifende Muster)
- Ordnen Sie diese Elemente auf ASCII-Zeichen und Animationsmuster ab
- Synthetisieren Sie – wie sieht "Erosion" oder "Kristallisation" in einem Zeichengitter aus?
Konzeptuelle Verschmelzung
- Nennen Sie zwei unterschiedliche visuelle/konzeptionelle Domänen (z. B. "Wasser" und "Code")
- Identifizieren Sie deren gemeinsame Struktur (beide haben Ströme, Wellen, Dichte)
- Erstellen Sie eine hybride visuelle Sprache (Code, der fließt wie Wasser; Wasser, das aus Symbolen besteht)
- Implementieren und verfeinern Sie
Oblique-Strategien
- Generieren Sie einen zufälligen kreativen Prompt aus einer vordefinierten Liste oder einem externen Generator
- Wenden Sie diesen Prompt auf das aktuelle Projekt an, auch wenn er keinen offensichtlichen Bezug zu haben scheint
- Interpretieren Sie ihn, um ein einzigartiges visuelles Konzept zu schaffen
- Bauen Sie es