Compétence de production vidéo pixel art 16 bits rétro
Référence
- Dépôt de référence canonique :
https://github.com/Lithium023/16bit-video-forNeon - Référence : Documentaire complet de 5m14,5s (314,5 s) (AI 发展史), 55 scènes pixel 16 bits faites à la main réparties sur 5 actes, 155 répliques SRT synchronisées, 9 transitions fluides, 3 pistes audio (voix off + BGM 16 bits 5 actes avec ducking automatique + 94 SFX 16 bits synchronisés), et export MP4 1920×1080 H.264/AAC côté client plus rapide que le temps réel.
- Lors du démarrage d'un nouveau projet : Reproduire l'architecture modulaire et les normes visuelles/audio/d'export documentées dans cette compétence et ses fichiers
references/. Si l'utilisateur fournit un nouveau script, une voix off ou un fichier SRT, conserver l'ensemble du moteur, de la constitution esthétique, de l'interface utilisateur du studio et du pipeline d'export MP4, tout en créant de nouveaux chapitres thématiques, scènes pixel, sprites et signaux sonores.
1. Constitution esthétique (non négociable)
Pensez SNES / Chrono Trigger / Sea of Stars / Celeste rencontre l'infographie documentaire de haute qualité — chaleureux, riche, atmosphérique et cristallin. Jamais de minimalisme filaire stérile, jamais de basse résolution floue, jamais de néon criard.
-
Grille de pixels virtuels 16 bits purs (
384×216Paysage /216×384Portrait) :- Dessiner tous les mondes pixel, arrière-plans, ciels tramés, sprites, accessoires et icônes sur un canevas virtuel hors écran à
384×216(16:9) ou216×384(9:16). - Pourquoi
384×216? Il s'agit d'une échelle entière exacte 5× vers1920×1080(384 × 5 = 1920,216 × 5 = 1080). Copier sur le canevas de sortie HD avecctx.imageSmoothingEnabled = falsepour que chaque pixel reste parfaitement net, sans scintillement ni flou sous-pixel. - Verrouiller les animations pixel ambiantes/inactives sur une cadence rétro nette (
stepT = Math.floor(time * 8..10) / 10) tandis que les mouvements de caméra, les courbes d'assouplissement et les transitions s'exécutent à 60 ips fluides (30 ips à l'export).
- Dessiner tous les mondes pixel, arrière-plans, ciels tramés, sprites, accessoires et icônes sur un canevas virtuel hors écran à
-
Palette 16 bits chaude et cinématographique de 28 couleurs cohérente :
- Construire chaque scène à partir d'une palette partagée disciplinée (
PAL) couvrant 6 familles émotionnelles : Nuit profonde/Bleu marine, Or chaud/Crème, Corail chaleureux/Prune, Sarcelle fraîche/Pin, Glace arctique et Olive monochrome Game Boy (réservée strictement aux coupures franches dramatiques comme"但其实"). - Ne jamais utiliser de dégradés plats non texturés. Utiliser un tramage Bayer ordonné 4×4 (
drawDitheredSky,drawDitheredGlow) pour les coutures de ciel, les halos de lampe, les lueurs d'aube et les dissolutions pixel. - Voir
references/visual-and-typography-spec.mdpour les codes hexadécimaux exacts, les matrices Bayer et les primitives de dessin de sprites.
- Construire chaque scène à partir d'une palette partagée disciplinée (
-
La loi d'or de la typographie (zéro texte CJK flou) :
- Ne jamais dessiner de petits caractères chinois sur le canevas basse résolution
384×216et le mettre à l'échelle — les caractères chinois denses (最/魔/幻/澜/疆) se transformeront en une tache illisible ("糊成一坨"). - Titres et badges cinétiques dans la scène (superposition HD bicouche) : Rendre les titres directement sur le canevas HD (
1920×1080) en utilisant des glyphes pixel binaires rastérisés à38px(gros titres),32px(sous-titres) ou24px(balises HUD), avec un contour d'encre foncée de 1 pixel à 8 voisins, une ombre portée décalée et un remplissage biseauté métallique à 3 bandes (reflet supérieur / ton moyen / ombre inférieure), mis à l'échelle par plus proche voisin (imageSmoothingEnabled = false). - Sous-titres de diffusion en tiers inférieur : Conserver les sous-titres dans une typographie sérif originale propre et très lisible (
Noto Sans SC/ système sans gras dans une pilule sombre translucide subtile avec une bordure ambrée fine ày = 0.905 * h). Ne pas pixelliser la bande de sous-titres principale sauf demande explicite. - Ne jamais laisser les lueurs tramées obscurcir les étiquettes critiques : Toute année clé, métrique ou badge sommet (
2026,1950 — FUTURE) doit reposer dans une plaque sombre à contraste élevé et net avec une bordure pixel dorée/ sarcelle dessinée après les lueurs d'arrière-plan.
- Ne jamais dessiner de petits caractères chinois sur le canevas basse résolution
-
Zéro entrée brutale et zéro coupe franche accidentelle :
- Chaque limite de scène doit comporter une transition intentionnelle parmi la bibliothèque de 9 transitions (
aperture-open,whip-blinds,iris-flash,razor-wipe,invert-strobe,camera-pullback,ember-curtain,gravity-shatter,horizon-burst) avec une interpolation caméra fluidefromCam → toCamet un fondu enchaîné typographique. Même un retournement dramatique utilise un balayage CRT délibéré (invert-strobe), jamais un saut brutal non motivé. - Chaque élément graphique multiple à l'intérieur d'une scène (4 cartes de modalité, 4 modules de fonctionnalité, 4 boîtes, étapes de monolithe, bannière d'année finale) DOIT s'animer avec une chorégraphie intentionnelle — apparitions élastiques décalées, faisceaux d'énergie balayant reliant le hub au nœud, déploiement de plaques RPG, ou ticks de compteur/vignette roulant synchronisés avec les paroles. Ne jamais simplement basculer
if (localTime > X) drawBox(). - Chaque fin/conclusion mérite une séquence de clôture créative signature (par exemple, éclosion d'horizon de lever de soleil + personnages regardant vers l'avant + déploiement de plaque + compteur d'année roulant
1950 → 2026 → FUTURE+ balayage d'arc d'étoiles brillantes + accord chaud harmonique).
- Chaque limite de scène doit comporter une transition intentionnelle parmi la bibliothèque de 9 transitions (
2. Flux de production standard
Suivre cette séquence exacte lors de la création d'une nouvelle vidéo pixel 16 bits à partir de zéro (ou de l'extension d'une existante) :
Étape 1 : Importer le script, la voix off et le timing SRT
- Analyser l'audio de la voix off réelle de l'utilisateur et le fichier de sous-titres
.srt(ou générer un SRT horodaté précis aligné sur la voix off). - Normaliser les micro-écarts (
< 0,18s) entre les répliques adjacentes pour que les sous-titres ne scintillent pas pendant 2 images. - Établir
CLIP_DURATIONà partir de l'heure exacte de fin audio/SRT.
Étape 2 : Storyboard et feuille de rythme (plan de cadence)
- Diviser le film en 3 à 6 actes narratifs (chacun avec sa propre température de couleur et son chapitre BGM) et scènes de 3 à 8 secondes (environ 1 à 3 répliques de sous-titres par battement visuel).
- Pour les longues vidéos (>60s), construire de manière itérative en chapitres de 30 secondes (
retroPixelChapterTwo.ts,retroPixelChapterThree.ts, etc.) afin que chaque plan reçoive un véritable pixel art fait à la main plutôt que des modèles recyclés. - Attribuer à chaque scène dans
timeline.ts:index,id,title,quote,start,end(strictement contigu, zéro écart/chevauchement couvrant[0, CLIP_DURATION])transitionIn+transitionLabelvisualBeat(description éditoriale concise pour le panneau du storyboard)accentcouleur hexadécimale pour la bande de la timeline.
Étape 3 : Construire le moteur pixel de base et les moteurs de rendu de chapitre modulaires
Reproduire la séparation nette des responsabilités de https://github.com/Lithium023/16bit-video-forNeon :
src/video/types.ts—SrtCue,SceneCut,TransitionType,RenderSettings,ExportResolution,ExportStatus.src/video/srtParser.ts— Analyseur SRT déterministe,AUDIO_SRC,BGM_SRC,CLIP_DURATION,getActiveCue.src/video/timeline.ts—SCENE_CUTScontigus, courbes d'assouplissement (easeOutExpo,easeOutBack,easeOutCubic,easeInOutQuint,smoothstep),getStaggerProgress,getSceneAtTime,getActiveTransition, énergie de voix off de repli synthétique.src/video/pixelSprites.ts—PAL,BAYER_4X4,pxRect,pxOutline,pxCircle,pxRing,pxLine,drawDitheredSky,drawDitheredGlow,drawSprite,pxBitmapText, sprites pixel art réutilisables et helpers d'environnement (pxPineTree,pxCloud,pxSparkle,pxStarfield).src/video/pixelTypography.ts— Rastériseur de glyphes pixel binaires mis en cache (drawPixelString,drawPixelKineticTitle,drawPixelHudTag).src/video/retroPixelRenderer.ts— Pool de tampons virtuels maître (bufA,bufB,bufDither), calculateur de dérive de caméra, compositeur de 9 transitions, lignes de balayage CRT, transfert typographique et répartiteur vers les fichiersretroPixelChapter*.tsmodulaires.src/video/sceneRenderers.ts—renderVideoFramede niveau supérieur : scène pixel → vignette subtile (0.14) → sous-titres originaux propres en tiers inférieur → barre de progression ambrée fine → fondu de queue de 0,25s.
Étape 4 : Marquer l'intégralité du film (système audio 3 pistes)
Lire references/choreography-and-audio-spec.md pour tous les détails :
- Piste 1 — Voix off : Ancre narrative maître (
volume = 1.0, fondu de queue de 0,25s). - Piste 2 — BGM 16 bits multi-actes : Utiliser des pistes 16 bits authentiques sous licence ouverte (CC0 / CC BY 3.0, par exemple OpenGameArt / BoxCat Games / Kevin MacLeod / OST chiptune) correspondant à l'ambiance de chaque acte, les assembler en une seule piste BGM sans interruption avec des fondu enchaîné fluides correspondant aux horodatages des actes, et appliquer un ducking automatique de la voix off (
duck = 1 - voiceEnergy * 0.22) à environ0.58 * bgmVolume. - Piste 3 — SFX 16 bits synchronisés (
retroSfxEngine.ts) : Combiner les SFX de transition automatiques pour chaque coupe de scène + les SFX de battement musical placés manuellement (bips pentatoniques ascendants pour les révélations de 4 cartes, cliquetis de cristal, bourdonnements de coupe, ticks de compteur et un accord majeur chaud final). Tous les SFX se synthétisent proprement via Web Audio (BaseAudioContext+scheduledTimeoptionnel) de sorte que la lecture en direct et l'export MP4 hors ligne sonnent à l'identique.
Étape 5 : Aperçu NLE du studio et export MP4 1080p côté client
Lire references/mp4-export-and-qa-spec.md pour tous les détails :
- Interface du studio : Espace de travail obsidienne sombre (
#07080B), TopBar (titre de la marque, navigation par saut de chapitre, action unique导出 1080p MP4avec progression de l'étape en direct + annulation instantanée), scène Canvas (commutateur 16:9 / 9:16, lecture/pause/scrub/step/vitesse/muet/plein écran), timeline visuelle multipiste (blocs de scène + blocs de sous-titres + tête de lecture), et panneau éditorial droit (分镜与转场/口播台词/画面调校incluant le commutateur MP41080pvs720p, curseurs BGM/SFX, basculement des sous-titres, boutons de saut de surbrillance). - Export MP4 (
videoExporter.ts) : Utilisermp4-muxer+ WebCodecs (VideoEncoderH.264 +AudioEncoderAAC/Opus) du navigateur avec mixage audio PCM direct hors ligne + estampillage SFX par cache, par défaut à1920×1080@ 30 ips, 14 Mbps (1080×1920pour portrait), avec repli automatique vers le MP4MediaRecordernatif de Safari.
Étape 6 : Tests unitaires et vérification visuelle dans le navigateur (obligatoire)
- Découpler la logique pure et tester avec
node:test(npx tsx --test) :- Analyse des horodatages SRT et couverture des répliques (
srtParser.test.ts) - Coupes de scène contiguës et transitions avec zéro écart/chevauchement (
timeline.test.ts) - Validation du tramage Bayer et de la grille de sprites rectangulaires (
pixelSprites.test.ts) - Couverture des signaux SFX chronologiques et fenêtre de déclenchement avant uniquement (
retroSfxEngine.test.ts) - Configuration de la résolution d'export, priorité MIME MP4 et timeline d'énergie vocale (
videoExporter.test.ts)
- Analyse des horodatages SRT et couverture des répliques (
- Prendre en charge le paramètre de requête URL
?t=<seconds>dansApp.tsxafin que les vérifications automatisées du navigateur sans tête puissent sauter directement à n'importe quelle scène, point médian de transition, battement d'entrée animé et image de fin pour inspection visuelle. - Vérifier que l'export MP4 en direct atteint
渲染 MP4, s'annule proprement pour revenir à inactif sans aucun callback obsolète et émet zéro erreur de console du navigateur.
3. Règles durement acquises et pièges à ne jamais répéter
| Piège | Cause racine | Solution obligatoire |
|---|---|---|
| Les titres chinois semblent flous/agglomérés ("糊成一坨") | Rendu des caractères CJK sur le canevas basse résolution 384×216 puis mise à l'échelle | Rendre les titres CJK sur le canevas HD via des glyphes binaires seuillés à 38px/32px (thresh = 142..148 pour CJK, 88 pour ASCII) avec contour d'encre 1px + biseau 3 bandes ; conserver les sous-titres de tiers inférieur dans une police sérif originale propre |
| Coupures franches entre les scènes tardives | transitionIn manquant ou transfert visuel inapproprié | Chaque coupe dans SCENE_CUTS doit définir un transitionIn intentionnel ; associer des transitions thématiques (par exemple, une fleur épanouie se dissolvant en cristaux de glace tombant → plongée gravity-shatter dans l'hiver) |
| Les éléments apparaissent brusquement | Dessiner les cartes/boîtes de l'interface utilisateur avec des booléens bruts if (localTime > t) | Piloter chaque élément avec clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo, connecteurs de faisceau, déploiement de plaque ou compteurs roulants |
| Étiquette du point culminant obstruée ou à moitié tapée | Lueur dessinée par-dessus l'étiquette, ou progression dérivée d'un compteur de segment borné | Dessiner les étiquettes à l'intérieur de plaques sombres encadrées après les lueurs ; lier la progression de la révélation directement à localTime plutôt qu'à un paramètre de courbe plafonné |
| L'export MP4 hors ligne bloque à 4% | Connexion de plus de 90 SFX (~280 BiquadFilterNode) à un seul OfflineAudioContext de 314s | Décoder la voix + BGM une fois, mixer directement dans un Float32Array PCM stéréo, rendre chaque SFX court unique dans un petit OfflineAudioContext de 0.55–1.55s (mis en cache), et estampiller dans PCM |
| L'encodage audio MP4 hors ligne prend 12s+ | Envoi de petits morceaux AudioData de 4096 échantillons avec interrogation de drain lâche | Regrouper AudioData en morceaux de 1 seconde (48000 échantillons) (~315 morceaux pour 5m) et resserrer la solution de repli du drain à 20ms |
| Cliquer sur Annuler pendant le rendu MP4 laisse le bouton bloqué | waitForEncoderDrain se résout après cancel() et émet un dernier onProgress | Envelopper onProgress/onComplete/onError dans des gardes !cancelled et vérifier if (isCancelled()) return immédiatement après chaque await |
4. Fichiers de référence dans cette compétence
Charger ces références selon les besoins lors de l'exécution :
references/visual-and-typography-spec.md— Palette de couleursPALexacte, calcul du canevas384×216et de l'échelle entière, tramage Bayer, rastériseur de typographie pixel et 9 recettes de transition.references/choreography-and-audio-spec.md— Modèles d'entrée animés, calcul de fondu enchaîné + ducking BGM 5 actes et 15 recettes de SFX 16 bits procéduraux.references/mp4-export-and-qa-spec.md— Pipeline d'export MP4 côté client à 4 niveaux, mixeur PCM hors ligne rapide, spécification de l'interface utilisateur NLE du studio et liste de contrôle QA unitaire et navigateur.