Communitygithub.com

16-Bit Retro-Pixel-Video-Produktion

End-to-End-Produktionssystem und visuell-auditive Konzeption zur Erstellung von broadcast-tauglichen 16-Bit-Retro-Pixel-Art-Erklär- und Dokumentarvideos in React + HTML5 Canvas mit Voiceover, SRT-Untertitel-Sync, nahtlosen Pixelübergängen, 16-Bit-BGM + prozeduralen SFX, Studio-NLE-Wiedergabe-UI und clientseitigem 1920×1080-MP4-Export.

Was ist 16-Bit Retro-Pixel-Video-Produktion?

Diese Skill beschreibt ein vollständiges, produktionsreifes System zur Erstellung von hochwertigen 16-Bit-Pixel-Art-Erklär- und Dokumentarvideos im Stil von Chrono Trigger, Sea of Stars oder Celeste, jedoch mit der inhaltlichen Tiefe und Professionalität einer Broadcast-Dokumentation. Es umfasst eine strikte ästhetische Konstitution (384×216 Pixel-Raster, 28-Farben-Palette, Bayer-Dithering, goldene Typografie-Regeln) sowie eine modulare Architektur für Szenen-Rendering, Übergänge und Audio-Mixing. Das System arbeitet vollständig clientseitig in React + HTML5 Canvas und ermöglicht die Echtzeit-Vorschau in einer integrierten NLE-Studio-Oberfläche sowie den Export als 1920×1080 H.264/AAC MP4. Die Referenzimplementierung erreicht eine 5m14s-Dokumentation mit 55 handgefertigten Szenen, 155 SRT-Cues, 9 Übergängen und 3-Ton-Audio (Voiceover, BGM mit Auto-Ducking, 94 synchronisierte SFX). Die Skill enthält detaillierte Anleitungen zu Workflow, Engine-Architektur, Audio-Scoring und Fehlervermeidung und ist für Plattformen wie Claude Code, Cursor oder Codex konzipiert.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lithium023/retro-16bit-pixel-video-SKILL/tree/main

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

16-Bit-Retro-Pixel-Video-Produktion-Skill

Referenz-Bauplan

  • Kanonisches Referenz-Repository: https://github.com/Lithium023/16bit-video-forNeon
  • Referenz-Benchmark: 5m14,5s (314,5s) vollständige Dokumentation (AI 发展史), 55 handgefertigte 16-Bit-Pixel-Szenen in 5 Akten, 155 synchronisierte SRT-Cues, 9 nahtlose Übergänge, 3-Spur-Audio (Voiceover + 5-aktiges 16-Bit-BGM mit Auto-Ducking + 94 synchronisierte 16-Bit-SFX) und schneller als Echtzeit clientseitiger 1920×1080 H.264/AAC MP4-Export.
  • Beim Start eines neuen Projekts: Spiegle die Modul-Architektur und die visuellen/audio/export-Standards wider, die in dieser Skill und ihren references/-Dateien dokumentiert sind. Wenn der Benutzer ein neues Skript, eine Voiceover-Audiodatei oder eine SRT-Datei bereitstellt, behalte die gesamte Engine, die ästhetische Konstitution, die Studio-UI und die MP4-Export-Pipeline identisch bei, während du neue themenspezifische Kapitel, Pixel-Szenen, Sprites und Sound-Cues erstellst.

1. Ästhetische Konstitution (Nicht verhandelbar)

Denke an SNES / Chrono Trigger / Sea of Stars / Celeste trifft auf hochwertige Dokumentar-Motion-Graphics – warm, reichhaltig, atmosphärisch und kristallklar. Niemals sterile drahtgebundene Minimalität, niemals unordentliche Low-Res-Unschärfe, niemals grelle Neon-Schlampigkeit.

  1. Reines 16-Bit-Virtuelles Pixel-Raster (384×216 Querformat / 216×384 Hochformat):

    • Zeichne alle Pixel-Welten, Hintergründe, geditherte Himmel, Sprites, Requisiten und Symbole auf eine unsichtbare virtuelle Leinwand mit 384×216 (16:9) oder 216×384 (9:16).
    • Warum 384×216? Es ist ein exakter 5×-Integer-Skalierungsfaktor für 1920×1080 (384 × 5 = 1920, 216 × 5 = 1080). Übertrage auf die HD-Ausgabe-Leinwand mit ctx.imageSmoothingEnabled = false, sodass jedes Pixel messerscharf bleibt, ohne Flimmern oder Sub-Pixel-Unschärfe.
    • Sperre träge/ambient-Pixel-Animationen auf einen knackigen Retro-Takt (stepT = Math.floor(time * 8..10) / 10), während Kamerafahrten, Easing-Kurven und Übergänge mit flüssigen 60fps (30fps beim Export) laufen.
  2. Kohärente 28-Farben-Warm-Kinematografische 16-Bit-Palette:

    • Baue jede Szene aus einer disziplinierten gemeinsamen Palette (PAL) auf, die 6 emotionale Familien umfasst: Deep Night Void/Navy, Warm Lamp Gold/Cream, Cozy Coral/Plum, Cool Teal/Pine, Arctic Winter Ice und Game Boy Olive Monochrome (streng reserviert für dramatische Plot-Twist-Hard-Cuts wie "但其实").
    • Verwende niemals flache, untexturierte Farbverläufe. Verwende 4×4 Ordered Bayer Dithering (drawDitheredSky, drawDitheredGlow) für Himmelsnähte, Lampenhalbkreise, Morgendämmerungen und Pixel-Auflösungen.
    • Siehe references/visual-and-typography-spec.md für exakte Hex-Tokens, Bayer-Matrix-Mathematik und Sprite-Zeichen-Primitiven.
  3. Das Goldene Typografie-Gesetz (Kein matschiger CJK-Text):

    • Zeichne niemals kleine chinesische Texte auf die 384×216 Low-Res-Leinwand und skaliere sie hoch – dichte chinesische Zeichen (最/魔/幻/澜/疆) verschmieren zu einem unleserlichen Klumpen ("糊成一坨").
    • In-Szene-kinetische Titel & Abzeichen (Dual-Layer-HD-Overlay): Rendere Titel direkt auf der HD-Leinwand (1920×1080) mit binär gesnappten Pixel-Glyphen-Sprites, die bei 38px (große Überschriften), 32px (Unterüberschriften) oder 24px (HUD-Tags) gerastert werden, mit einer 8-Nachbar-1-Pixel-dunklen Tintenkontur, gestuftem Schattenwurf und 3-Band-metallischer Bevel-Füllung (obere Hervorhebung / Mittelton / untere Schattierung), hochskaliert via Nearest-Neighbor (imageSmoothingEnabled = false).
    • Lower-Third-Broadcast-Untertitel: Behalte Untertitel in sauberer, gut lesbarer originaler serifenloser Typografie (Noto Sans SC / System-Sans Bold in einer subtilen dunklen, durchscheinenden Kapsel mit hauchdünnem Bernstein-Rand bei y = 0.905 * h). Verpixele den Hauptuntertitelstreifen nicht, es sei denn, es wird ausdrücklich danach gefragt.
    • Lasse niemals zu, dass geditherte Leuchteffekte wichtige Beschriftungen verdecken: Jedes wichtige Jahr, jede Metrik oder jedes Gipfelabzeichen (2026, 1950 — FUTURE) muss innerhalb einer knackigen, kontrastreichen dunklen Plakette mit einem goldenen/tealfarbenen Pixelrand sitzen, die nach den Hintergrundleuchteffekten gezeichnet wird.
  4. Keine harten Pop-Einblendungen & Keine versehentlichen harten Schnitte:

    • Jede Szenengrenze muss einen absichtlichen Übergang aus der 9-Übergangs-Bibliothek (aperture-open, whip-blinds, iris-flash, razor-wipe, invert-strobe, camera-pullback, ember-curtain, gravity-shatter, horizon-burst) mit glatter fromCam → toCam Kamera-Interpolation und Typografie-Überblendung haben. Selbst eine dramatische Umkehrung verwendet einen bewussten CRT-Raster-Wipe (invert-strobe), niemals einen ruckartigen, unmotivierten Sprung.
    • Jedes Multielement-Grafik innerhalb einer Szene (4 Karten für Modalitäten, 4 Feature-Module, 4 Boxen, Monolith-Schritte, Jahresbanner am Finale) MUSS mit einer zielgerichteten Choreografie animiert werden – gestaffeltes Spring-Pop-In, schwungvolle Energiebalken, die Hub → Node verbinden, sich entfaltende RPG-Plaketten oder rollende Kilometerzähler/Ticks, die mit den gesprochenen Worten synchronisiert sind. Schalte niemals einfach if (localTime > X) drawBox() um.
    • Jedes Finale/Ende verdient eine charakteristische kreative Abschlusssequenz (z. B. Sonnenaufgangshorizont-Blüte + Figuren, die nach vorne schauen + sich entfaltende Plakette + rollender Jahreskilometerzähler 1950 → 2026 → FUTURE + leuchtender Sternenbogenschwung + warmer harmonischer Akkord).

2. Standard-Produktionsablauf

Befolge diese genaue Reihenfolge, wenn du ein neues 16-Bit-Pixel-Video von Grund auf erstellst (oder ein vorhandenes erweiterst):

Schritt 1: Skript, Voiceover & SRT-Timing erfassen

  • Analysiere die echte Voiceover-Audiodatei des Benutzers und die .srt-Untertiteldatei (oder generiere eine genaue, mit Zeitstempeln versehene SRT, die auf das Voiceover abgestimmt ist).
  • Normalisiere Mikro-Lücken (< 0.18s) zwischen benachbarten Cues, sodass Untertitel niemals für 2 Frames ausblinken.
  • Lege CLIP_DURATION basierend auf der genauen Endezeit von Audio/SRT fest.

Schritt 2: Storyboard & Beat Sheet (Taktungs-Bauplan)

  • Teile den Film in 3–6 narrative Akte (jeder mit eigener Farbtemperatur und BGM-Kapitel) und 3–8 Sekunden lange Szenen (ungefähr 1–3 Untertitel-Cues pro visuellem Beat).
  • Baue für lange Videos (>60s) iterativ in 30-Sekunden-Kapiteln (retroPixelChapterTwo.ts, retroPixelChapterThree.ts, usw.), sodass jede Einstellung echte handgefertigte Pixelkunst erhält und keine recycelten Vorlagen verwendet werden.
  • Weise jeder Szene in timeline.ts zu:
    • index, id, title, quote, start, end (streng zusammenhängend, keine Lücken/Überlappungen, die [0, CLIP_DURATION] abdecken)
    • transitionIn + transitionLabel
    • visualBeat (prägnante redaktionelle Beschreibung für das Storyboard-Panel)
    • accent-Hex-Farbe für den Timeline-Streifen.

Schritt 3: Kern-Pixel-Engine & Modulare Kapitel-Renderer erstellen

Spiegele die saubere Trennung der Belange von https://github.com/Lithium023/16bit-video-forNeon wider:

  • src/video/types.ts – SrtCue, SceneCut, TransitionType, RenderSettings, ExportResolution, ExportStatus.
  • src/video/srtParser.ts – Deterministischer SRT-Parser, AUDIO_SRC, BGM_SRC, CLIP_DURATION, getActiveCue.
  • src/video/timeline.ts – Zusammenhängende SCENE_CUTS, Easing-Kurven (easeOutExpo, easeOutBack, easeOutCubic, easeInOutQuint, smoothstep), getStaggerProgress, getSceneAtTime, getActiveTransition, synthetische Fallback-Voice-Energie.
  • src/video/pixelSprites.ts – PAL, BAYER_4X4, pxRect, pxOutline, pxCircle, pxRing, pxLine, drawDitheredSky, drawDitheredGlow, drawSprite, pxBitmapText, wiederverwendbare Pixel-Art-Sprites & Umgebungshelfer (pxPineTree, pxCloud, pxSparkle, pxStarfield).
  • src/video/pixelTypography.ts – Zwischengespeicherter binär gesnappter Pixel-Glyphen-Rasterizer (drawPixelString, drawPixelKineticTitle, drawPixelHudTag).
  • src/video/retroPixelRenderer.ts – Master-Virtual-Puffer-Pool (bufA, bufB, bufDither), Kamera-Drift-Berechnung, 9-Übergangs-Compositor, CRT-Scanlines, Typografie-Übergabe und Verteiler an modulare retroPixelChapter*.ts-Dateien.
  • src/video/sceneRenderers.ts – Top-Level renderVideoFrame: Pixel-Szene → subtile Vignette (0.14) → saubere originale Lower-Third-Untertitel → hauchdünner bernsteinfarbener Fortschrittsbalken → 0.25s End-Ausblendung.

Schritt 4: Den gesamten Film vertonen (3-Spur-Audio-System)

Lies references/choreography-and-audio-spec.md für vollständige Details:

  1. Spur 1 – Voiceover: Hauptnarrationsanker (volume = 1.0, 0.25s End-Ausblendung).
  2. Spur 2 – Multi-Akt-16-Bit-BGM: Besorge echte, offen lizenzierte (CC0 / CC BY 3.0, z. B. OpenGameArt / BoxCat Games / Kevin MacLeod / Chiptune-OSTs) 16-Bit-Tracks, die zur Stimmung jedes Akts passen, füge sie zu einem einzigen lückenlosen BGM-Track mit sanften Überblendungen zusammen, die mit den Akt-Zeitstempeln übereinstimmen, und wende automatisches Voiceover-Ducking an (duck = 1 - voiceEnergy * 0.22) bei etwa 0.58 * bgmVolume.
  3. Spur 3 – Synchronisierte 16-Bit-SFX (retroSfxEngine.ts): Kombiniere automatische Übergangs-SFX für jeden Szenenschnitt + manuell platzierte musikalische Beat-SFX (pentatonische aufsteigende Piepser für 4-Karten-Enthüllungen, Kristallklingen, Schwirrgeräusche, Kilometerzähler-Ticks und einen warmen finalen Dur-Akkord). Alle SFX werden sauber über Web Audio (BaseAudioContext + optional scheduledTime) synthetisiert, sodass Live-Wiedergabe und Offline-MP4-Export identisch klingen.

Schritt 5: Studio-NLE-Vorschau & Clientseitiger 1080p-MP4-Export

Lies references/mp4-export-and-qa-spec.md für vollständige Details:

  • Studio-Shell: Dunkler Obsidian-Arbeitsbereich (#07080B), TopBar (Markenname, Kapitelsprung-Navigation, einzelne primäre Exportiere 1080p MP4-Aktion mit Live-Fortschrittsanzeige + sofortigem Abbruch), Canvas-Bühne (16:9 / 9:16-Umschalter, Play/Pause/Scrub/Schritt/Geschwindigkeit/Stumm/Vollbild), Multi-Track-Visuelle-Timeline (Szenenblöcke + Untertitelblöcke + Playhead) und rechtes Redaktionspanel (分镜与转场 / 口播台词 / 画面调校 inkl. 1080p vs 720p MP4-Umschalter, BGM/SFX-Regler, Untertitel-Umschalter, Sprungmarken-Tasten für Hervorhebungen).
  • MP4-Export (videoExporter.ts): Verwende mp4-muxer + Browser WebCodecs (VideoEncoder H.264 + AudioEncoder AAC/Opus) mit Offline-Direkt-PCM-Audio-Mixing + zwischengespeichertem Stempeln pro SFX, standardmäßig 1920×1080 @ 30fps, 14 Mbps (1080×1920 für Hochformat), mit automatischem Fallback auf nativen Safari MediaRecorder MP4.

Schritt 6: Unit-Tests & Visuelle Browser-Überprüfung (Pflicht)

  • Entkoppelte reine Logik und teste mit node:test (npx tsx --test):
    1. SRT-Zeitstempel-Parsing und Cue-Abdeckung (srtParser.test.ts)
    2. Zusammenhängende Szenenschnitte & Übergänge mit null Lücken/Überlappungen (timeline.test.ts)
    3. Bayer-Dithering & rechteckige Sprite-Gitter-Validierung (pixelSprites.test.ts)
    4. Chronologische SFX-Cue-Abdeckung & Vorwärts-Only-Trigger-Fenster (retroSfxEngine.test.ts)
    5. Export-Auflösungskonfiguration, MP4-MIME-Priorität und Voice-Energie-Timeline (videoExporter.test.ts)
  • Unterstütze ?t=<seconds>-URL-Abfrageparameter in App.tsx, sodass automatisierte Headless-Browser-Checks direkt zu jeder Szene, jedem Übergangsmittelpunkt, jedem animierten Entrée-Beat und dem Endbild für die visuelle Inspektion springen können.
  • Überprüfe, ob der Live-MP4-Export Rendere MP4 erreicht, sauber zurück in den Leerlaufmodus abgebrochen werden kann, ohne veraltete Callbacks zu hinterlassen, und null Fehler in der Browser-Konsole ausgibt.

3. Hart erkämpfte Regeln & Fallstricke, die niemals wiederholt werden sollten

FallstrickUrsacheZwingende Lösung
Chinesische Titel sehen matschig/verklumpt aus ("糊成一坨")Rendern von CJK auf der 384×216 Low-Res-Leinwand mit anschließender HochskalierungRendere CJK-Titel auf der HD-Leinwand über binär geschwellte 38px/32px-Glyphen-Sprites (thresh = 142..148 für CJK, 88 für ASCII) mit 1px Tintenkontur + 3-Band-Bevel; behalte Lower-Third-Untertitel in sauberer originaler serifenloser Schriftart
Harte Schnitte zwischen Szenen in späteren PhasenFehlendes transitionIn oder nicht übereinstimmende visuelle ÜbergabeJeder Schnitt in SCENE_CUTS muss einen zielgerichteten transitionIn definieren; paare thematische Übergänge (z. B. blühende Blume, die in fallende Eiskristalle übergeht → gravity-shatter-Sturz in den Winter)
Elemente erscheinen abruptZeichnen von UI-Karten/Boxen mit rohen if (localTime > t)-BooleansTreibe jedes Element mit clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo, Balkenverbindern, Plaketten-Entfaltungen oder rollenden Zählern an
Höhepunkt-Beschriftung verdeckt oder halb getipptLeuchteffekt über Beschriftung gezeichnet, oder Fortschritt von begrenztem Segmentzähler abgeleitetZeichne Beschriftungen innerhalb von gerahmten dunklen Plaketten nach den Leuchteffekten; binde den Enthüllungsfortschritt direkt an localTime anstelle eines begrenzten Kurvenparameters
Offline-MP4-Export bleibt bei 4% hängenAnschließen von 90+ SFX (~280 BiquadFilterNodes) an einen einzelnen 314s OfflineAudioContextDekodiere Voice + BGM einmal, mische direkt in Stereo Float32Array PCM, rendere jedes einzelne kurze SFX in einem winzigen 0.55–1.55s OfflineAudioContext (zwischengespeichert) und stempel es in PCM
Offline-MP4-Audio-Encoding dauert 12s+Einspeisen von winzigen 4096-Sample-AudioData-Chunks mit lockerem Drain-PollingBündele AudioData zu 1-Sekunden-Chunks (48000-Sample) (~315 Chunks für 5m) und verenge das Drain-Fallback auf 20ms
Klicken auf Abbrechen während des MP4-Renderings hinterlässt den Button hängenwaitForEncoderDrain wird nach cancel() aufgelöst und sendet einen letzten onProgress ausUmschließe onProgress/onComplete/onError mit !cancelled-Guards und prüfe if (isCancelled()) return sofort nach jedem await

4. Referenzdateien in dieser Skill

Lade diese Referenzen bei Bedarf während der Ausführung:

  • references/visual-and-typography-spec.md – Exakte PAL-Farbpalette, 384×216 Leinwand & Integer-Skalierungs-Mathematik, Bayer-Dithering, Pixel-Typografie-Rasterizer und 9 Übergangsrezepte.
  • references/choreography-and-audio-spec.md – Animierte Entrée-Muster, 5-Akt-BGM-Überblendungs- + Ducking-Mathematik und 15 prozedurale 16-Bit-SFX-Rezepte.
  • references/mp4-export-and-qa-spec.md – 4-stufige clientseitige MP4-Export-Pipeline, schneller Offline-PCM-Mixer, Studio-NLE-UI-Spezifikation und Checkliste für Unit- + Browser-QA.

Verwandte Skills