16-Bit-Retro-Pixel-Video-Produktion-Skill
Referenz-Bauplan
- Kanonisches Referenz-Repository:
https://github.com/Lithium023/16bit-video-forNeon - Referenz-Benchmark: 5m14,5s (314,5s) vollständige Dokumentation (AI 发展史), 55 handgefertigte 16-Bit-Pixel-Szenen in 5 Akten, 155 synchronisierte SRT-Cues, 9 nahtlose Übergänge, 3-Spur-Audio (Voiceover + 5-aktiges 16-Bit-BGM mit Auto-Ducking + 94 synchronisierte 16-Bit-SFX) und schneller als Echtzeit clientseitiger 1920×1080 H.264/AAC MP4-Export.
- Beim Start eines neuen Projekts: Spiegle die Modul-Architektur und die visuellen/audio/export-Standards wider, die in dieser Skill und ihren
references/-Dateien dokumentiert sind. Wenn der Benutzer ein neues Skript, eine Voiceover-Audiodatei oder eine SRT-Datei bereitstellt, behalte die gesamte Engine, die ästhetische Konstitution, die Studio-UI und die MP4-Export-Pipeline identisch bei, während du neue themenspezifische Kapitel, Pixel-Szenen, Sprites und Sound-Cues erstellst.
1. Ästhetische Konstitution (Nicht verhandelbar)
Denke an SNES / Chrono Trigger / Sea of Stars / Celeste trifft auf hochwertige Dokumentar-Motion-Graphics – warm, reichhaltig, atmosphärisch und kristallklar. Niemals sterile drahtgebundene Minimalität, niemals unordentliche Low-Res-Unschärfe, niemals grelle Neon-Schlampigkeit.
-
Reines 16-Bit-Virtuelles Pixel-Raster (
384×216Querformat /216×384Hochformat):- Zeichne alle Pixel-Welten, Hintergründe, geditherte Himmel, Sprites, Requisiten und Symbole auf eine unsichtbare virtuelle Leinwand mit
384×216(16:9) oder216×384(9:16). - Warum
384×216? Es ist ein exakter 5×-Integer-Skalierungsfaktor für1920×1080(384 × 5 = 1920,216 × 5 = 1080). Übertrage auf die HD-Ausgabe-Leinwand mitctx.imageSmoothingEnabled = false, sodass jedes Pixel messerscharf bleibt, ohne Flimmern oder Sub-Pixel-Unschärfe. - Sperre träge/ambient-Pixel-Animationen auf einen knackigen Retro-Takt (
stepT = Math.floor(time * 8..10) / 10), während Kamerafahrten, Easing-Kurven und Übergänge mit flüssigen 60fps (30fps beim Export) laufen.
- Zeichne alle Pixel-Welten, Hintergründe, geditherte Himmel, Sprites, Requisiten und Symbole auf eine unsichtbare virtuelle Leinwand mit
-
Kohärente 28-Farben-Warm-Kinematografische 16-Bit-Palette:
- Baue jede Szene aus einer disziplinierten gemeinsamen Palette (
PAL) auf, die 6 emotionale Familien umfasst: Deep Night Void/Navy, Warm Lamp Gold/Cream, Cozy Coral/Plum, Cool Teal/Pine, Arctic Winter Ice und Game Boy Olive Monochrome (streng reserviert für dramatische Plot-Twist-Hard-Cuts wie"但其实"). - Verwende niemals flache, untexturierte Farbverläufe. Verwende 4×4 Ordered Bayer Dithering (
drawDitheredSky,drawDitheredGlow) für Himmelsnähte, Lampenhalbkreise, Morgendämmerungen und Pixel-Auflösungen. - Siehe
references/visual-and-typography-spec.mdfür exakte Hex-Tokens, Bayer-Matrix-Mathematik und Sprite-Zeichen-Primitiven.
- Baue jede Szene aus einer disziplinierten gemeinsamen Palette (
-
Das Goldene Typografie-Gesetz (Kein matschiger CJK-Text):
- Zeichne niemals kleine chinesische Texte auf die
384×216Low-Res-Leinwand und skaliere sie hoch – dichte chinesische Zeichen (最/魔/幻/澜/疆) verschmieren zu einem unleserlichen Klumpen ("糊成一坨"). - In-Szene-kinetische Titel & Abzeichen (Dual-Layer-HD-Overlay): Rendere Titel direkt auf der HD-Leinwand (
1920×1080) mit binär gesnappten Pixel-Glyphen-Sprites, die bei38px(große Überschriften),32px(Unterüberschriften) oder24px(HUD-Tags) gerastert werden, mit einer 8-Nachbar-1-Pixel-dunklen Tintenkontur, gestuftem Schattenwurf und 3-Band-metallischer Bevel-Füllung (obere Hervorhebung / Mittelton / untere Schattierung), hochskaliert via Nearest-Neighbor (imageSmoothingEnabled = false). - Lower-Third-Broadcast-Untertitel: Behalte Untertitel in sauberer, gut lesbarer originaler serifenloser Typografie (
Noto Sans SC/ System-Sans Bold in einer subtilen dunklen, durchscheinenden Kapsel mit hauchdünnem Bernstein-Rand beiy = 0.905 * h). Verpixele den Hauptuntertitelstreifen nicht, es sei denn, es wird ausdrücklich danach gefragt. - Lasse niemals zu, dass geditherte Leuchteffekte wichtige Beschriftungen verdecken: Jedes wichtige Jahr, jede Metrik oder jedes Gipfelabzeichen (
2026,1950 — FUTURE) muss innerhalb einer knackigen, kontrastreichen dunklen Plakette mit einem goldenen/tealfarbenen Pixelrand sitzen, die nach den Hintergrundleuchteffekten gezeichnet wird.
- Zeichne niemals kleine chinesische Texte auf die
-
Keine harten Pop-Einblendungen & Keine versehentlichen harten Schnitte:
- Jede Szenengrenze muss einen absichtlichen Übergang aus der 9-Übergangs-Bibliothek (
aperture-open,whip-blinds,iris-flash,razor-wipe,invert-strobe,camera-pullback,ember-curtain,gravity-shatter,horizon-burst) mit glatterfromCam → toCamKamera-Interpolation und Typografie-Überblendung haben. Selbst eine dramatische Umkehrung verwendet einen bewussten CRT-Raster-Wipe (invert-strobe), niemals einen ruckartigen, unmotivierten Sprung. - Jedes Multielement-Grafik innerhalb einer Szene (4 Karten für Modalitäten, 4 Feature-Module, 4 Boxen, Monolith-Schritte, Jahresbanner am Finale) MUSS mit einer zielgerichteten Choreografie animiert werden – gestaffeltes Spring-Pop-In, schwungvolle Energiebalken, die Hub → Node verbinden, sich entfaltende RPG-Plaketten oder rollende Kilometerzähler/Ticks, die mit den gesprochenen Worten synchronisiert sind. Schalte niemals einfach
if (localTime > X) drawBox()um. - Jedes Finale/Ende verdient eine charakteristische kreative Abschlusssequenz (z. B. Sonnenaufgangshorizont-Blüte + Figuren, die nach vorne schauen + sich entfaltende Plakette + rollender Jahreskilometerzähler
1950 → 2026 → FUTURE+ leuchtender Sternenbogenschwung + warmer harmonischer Akkord).
- Jede Szenengrenze muss einen absichtlichen Übergang aus der 9-Übergangs-Bibliothek (
2. Standard-Produktionsablauf
Befolge diese genaue Reihenfolge, wenn du ein neues 16-Bit-Pixel-Video von Grund auf erstellst (oder ein vorhandenes erweiterst):
Schritt 1: Skript, Voiceover & SRT-Timing erfassen
- Analysiere die echte Voiceover-Audiodatei des Benutzers und die
.srt-Untertiteldatei (oder generiere eine genaue, mit Zeitstempeln versehene SRT, die auf das Voiceover abgestimmt ist). - Normalisiere Mikro-Lücken (
< 0.18s) zwischen benachbarten Cues, sodass Untertitel niemals für 2 Frames ausblinken. - Lege
CLIP_DURATIONbasierend auf der genauen Endezeit von Audio/SRT fest.
Schritt 2: Storyboard & Beat Sheet (Taktungs-Bauplan)
- Teile den Film in 3–6 narrative Akte (jeder mit eigener Farbtemperatur und BGM-Kapitel) und 3–8 Sekunden lange Szenen (ungefähr 1–3 Untertitel-Cues pro visuellem Beat).
- Baue für lange Videos (>60s) iterativ in 30-Sekunden-Kapiteln (
retroPixelChapterTwo.ts,retroPixelChapterThree.ts, usw.), sodass jede Einstellung echte handgefertigte Pixelkunst erhält und keine recycelten Vorlagen verwendet werden. - Weise jeder Szene in
timeline.tszu:index,id,title,quote,start,end(streng zusammenhängend, keine Lücken/Überlappungen, die[0, CLIP_DURATION]abdecken)transitionIn+transitionLabelvisualBeat(prägnante redaktionelle Beschreibung für das Storyboard-Panel)accent-Hex-Farbe für den Timeline-Streifen.
Schritt 3: Kern-Pixel-Engine & Modulare Kapitel-Renderer erstellen
Spiegele die saubere Trennung der Belange von https://github.com/Lithium023/16bit-video-forNeon wider:
src/video/types.ts–SrtCue,SceneCut,TransitionType,RenderSettings,ExportResolution,ExportStatus.src/video/srtParser.ts– Deterministischer SRT-Parser,AUDIO_SRC,BGM_SRC,CLIP_DURATION,getActiveCue.src/video/timeline.ts– ZusammenhängendeSCENE_CUTS, Easing-Kurven (easeOutExpo,easeOutBack,easeOutCubic,easeInOutQuint,smoothstep),getStaggerProgress,getSceneAtTime,getActiveTransition, synthetische Fallback-Voice-Energie.src/video/pixelSprites.ts–PAL,BAYER_4X4,pxRect,pxOutline,pxCircle,pxRing,pxLine,drawDitheredSky,drawDitheredGlow,drawSprite,pxBitmapText, wiederverwendbare Pixel-Art-Sprites & Umgebungshelfer (pxPineTree,pxCloud,pxSparkle,pxStarfield).src/video/pixelTypography.ts– Zwischengespeicherter binär gesnappter Pixel-Glyphen-Rasterizer (drawPixelString,drawPixelKineticTitle,drawPixelHudTag).src/video/retroPixelRenderer.ts– Master-Virtual-Puffer-Pool (bufA,bufB,bufDither), Kamera-Drift-Berechnung, 9-Übergangs-Compositor, CRT-Scanlines, Typografie-Übergabe und Verteiler an modulareretroPixelChapter*.ts-Dateien.src/video/sceneRenderers.ts– Top-LevelrenderVideoFrame: Pixel-Szene → subtile Vignette (0.14) → saubere originale Lower-Third-Untertitel → hauchdünner bernsteinfarbener Fortschrittsbalken → 0.25s End-Ausblendung.
Schritt 4: Den gesamten Film vertonen (3-Spur-Audio-System)
Lies references/choreography-and-audio-spec.md für vollständige Details:
- Spur 1 – Voiceover: Hauptnarrationsanker (
volume = 1.0, 0.25s End-Ausblendung). - Spur 2 – Multi-Akt-16-Bit-BGM: Besorge echte, offen lizenzierte (CC0 / CC BY 3.0, z. B. OpenGameArt / BoxCat Games / Kevin MacLeod / Chiptune-OSTs) 16-Bit-Tracks, die zur Stimmung jedes Akts passen, füge sie zu einem einzigen lückenlosen BGM-Track mit sanften Überblendungen zusammen, die mit den Akt-Zeitstempeln übereinstimmen, und wende automatisches Voiceover-Ducking an (
duck = 1 - voiceEnergy * 0.22) bei etwa0.58 * bgmVolume. - Spur 3 – Synchronisierte 16-Bit-SFX (
retroSfxEngine.ts): Kombiniere automatische Übergangs-SFX für jeden Szenenschnitt + manuell platzierte musikalische Beat-SFX (pentatonische aufsteigende Piepser für 4-Karten-Enthüllungen, Kristallklingen, Schwirrgeräusche, Kilometerzähler-Ticks und einen warmen finalen Dur-Akkord). Alle SFX werden sauber über Web Audio (BaseAudioContext+ optionalscheduledTime) synthetisiert, sodass Live-Wiedergabe und Offline-MP4-Export identisch klingen.
Schritt 5: Studio-NLE-Vorschau & Clientseitiger 1080p-MP4-Export
Lies references/mp4-export-and-qa-spec.md für vollständige Details:
- Studio-Shell: Dunkler Obsidian-Arbeitsbereich (
#07080B), TopBar (Markenname, Kapitelsprung-Navigation, einzelne primäreExportiere 1080p MP4-Aktion mit Live-Fortschrittsanzeige + sofortigem Abbruch), Canvas-Bühne (16:9 / 9:16-Umschalter, Play/Pause/Scrub/Schritt/Geschwindigkeit/Stumm/Vollbild), Multi-Track-Visuelle-Timeline (Szenenblöcke + Untertitelblöcke + Playhead) und rechtes Redaktionspanel (分镜与转场/口播台词/画面调校inkl.1080pvs720pMP4-Umschalter, BGM/SFX-Regler, Untertitel-Umschalter, Sprungmarken-Tasten für Hervorhebungen). - MP4-Export (
videoExporter.ts): Verwendemp4-muxer+ Browser WebCodecs (VideoEncoderH.264 +AudioEncoderAAC/Opus) mit Offline-Direkt-PCM-Audio-Mixing + zwischengespeichertem Stempeln pro SFX, standardmäßig1920×1080@ 30fps, 14 Mbps (1080×1920für Hochformat), mit automatischem Fallback auf nativen SafariMediaRecorderMP4.
Schritt 6: Unit-Tests & Visuelle Browser-Überprüfung (Pflicht)
- Entkoppelte reine Logik und teste mit
node:test(npx tsx --test):- SRT-Zeitstempel-Parsing und Cue-Abdeckung (
srtParser.test.ts) - Zusammenhängende Szenenschnitte & Übergänge mit null Lücken/Überlappungen (
timeline.test.ts) - Bayer-Dithering & rechteckige Sprite-Gitter-Validierung (
pixelSprites.test.ts) - Chronologische SFX-Cue-Abdeckung & Vorwärts-Only-Trigger-Fenster (
retroSfxEngine.test.ts) - Export-Auflösungskonfiguration, MP4-MIME-Priorität und Voice-Energie-Timeline (
videoExporter.test.ts)
- SRT-Zeitstempel-Parsing und Cue-Abdeckung (
- Unterstütze
?t=<seconds>-URL-Abfrageparameter inApp.tsx, sodass automatisierte Headless-Browser-Checks direkt zu jeder Szene, jedem Übergangsmittelpunkt, jedem animierten Entrée-Beat und dem Endbild für die visuelle Inspektion springen können. - Überprüfe, ob der Live-MP4-Export
Rendere MP4erreicht, sauber zurück in den Leerlaufmodus abgebrochen werden kann, ohne veraltete Callbacks zu hinterlassen, und null Fehler in der Browser-Konsole ausgibt.
3. Hart erkämpfte Regeln & Fallstricke, die niemals wiederholt werden sollten
| Fallstrick | Ursache | Zwingende Lösung |
|---|---|---|
| Chinesische Titel sehen matschig/verklumpt aus ("糊成一坨") | Rendern von CJK auf der 384×216 Low-Res-Leinwand mit anschließender Hochskalierung | Rendere CJK-Titel auf der HD-Leinwand über binär geschwellte 38px/32px-Glyphen-Sprites (thresh = 142..148 für CJK, 88 für ASCII) mit 1px Tintenkontur + 3-Band-Bevel; behalte Lower-Third-Untertitel in sauberer originaler serifenloser Schriftart |
| Harte Schnitte zwischen Szenen in späteren Phasen | Fehlendes transitionIn oder nicht übereinstimmende visuelle Übergabe | Jeder Schnitt in SCENE_CUTS muss einen zielgerichteten transitionIn definieren; paare thematische Übergänge (z. B. blühende Blume, die in fallende Eiskristalle übergeht → gravity-shatter-Sturz in den Winter) |
| Elemente erscheinen abrupt | Zeichnen von UI-Karten/Boxen mit rohen if (localTime > t)-Booleans | Treibe jedes Element mit clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo, Balkenverbindern, Plaketten-Entfaltungen oder rollenden Zählern an |
| Höhepunkt-Beschriftung verdeckt oder halb getippt | Leuchteffekt über Beschriftung gezeichnet, oder Fortschritt von begrenztem Segmentzähler abgeleitet | Zeichne Beschriftungen innerhalb von gerahmten dunklen Plaketten nach den Leuchteffekten; binde den Enthüllungsfortschritt direkt an localTime anstelle eines begrenzten Kurvenparameters |
| Offline-MP4-Export bleibt bei 4% hängen | Anschließen von 90+ SFX (~280 BiquadFilterNodes) an einen einzelnen 314s OfflineAudioContext | Dekodiere Voice + BGM einmal, mische direkt in Stereo Float32Array PCM, rendere jedes einzelne kurze SFX in einem winzigen 0.55–1.55s OfflineAudioContext (zwischengespeichert) und stempel es in PCM |
| Offline-MP4-Audio-Encoding dauert 12s+ | Einspeisen von winzigen 4096-Sample-AudioData-Chunks mit lockerem Drain-Polling | Bündele AudioData zu 1-Sekunden-Chunks (48000-Sample) (~315 Chunks für 5m) und verenge das Drain-Fallback auf 20ms |
| Klicken auf Abbrechen während des MP4-Renderings hinterlässt den Button hängen | waitForEncoderDrain wird nach cancel() aufgelöst und sendet einen letzten onProgress aus | Umschließe onProgress/onComplete/onError mit !cancelled-Guards und prüfe if (isCancelled()) return sofort nach jedem await |
4. Referenzdateien in dieser Skill
Lade diese Referenzen bei Bedarf während der Ausführung:
references/visual-and-typography-spec.md– ExaktePAL-Farbpalette,384×216Leinwand & Integer-Skalierungs-Mathematik, Bayer-Dithering, Pixel-Typografie-Rasterizer und 9 Übergangsrezepte.references/choreography-and-audio-spec.md– Animierte Entrée-Muster, 5-Akt-BGM-Überblendungs- + Ducking-Mathematik und 15 prozedurale 16-Bit-SFX-Rezepte.references/mp4-export-and-qa-spec.md– 4-stufige clientseitige MP4-Export-Pipeline, schneller Offline-PCM-Mixer, Studio-NLE-UI-Spezifikation und Checkliste für Unit- + Browser-QA.