Communitygithub.com

Production vidéo pixel art 16 bits rétro

Système de production complet et constitution visuelle/audio pour créer des vidéos explicatives et documentaires animées de qualité broadcast en pixel art 16 bits rétro, avec React + Canvas HTML5, voix off, synchronisation SRT, transitions pixel, BGM 16 bits + SFX procédural, interface de montage NLE et export MP4 1920×1080 côté client.

Qu'est-ce que Production vidéo pixel art 16 bits rétro ?

Cette compétence fournit un système de production vidéo complet pour créer des vidéos animées de style 16 bits (SNES, Sea of Stars), allant de l'import d'un script et d'une voix off jusqu'à l'export MP4 1920×1080 côté client. Elle s'appuie sur une architecture modulaire avec des scènes peintes sur un canevas virtuel 384×216 (pixel art pur), une palette de 28 couleurs chaude et cinématographique, un système de typographie bicouche pour éviter le flou des caractères CJK, et une bibliothèque de 9 transitions fluides. Le moteur audio gère trois pistes (voix off, BGM 16 bits multiactes avec ducking automatique, SFX synchronisés) et l'export utilise WebCodecs pour un rendu H.264/AAC performant. La compétence est conçue pour les développeurs utilisant React, HTML5 Canvas et TypeScript, et inclut des tests unitaires, une interface de montage NLE et une vérification visuelle automatisée.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lithium023/retro-16bit-pixel-video-SKILL/tree/main

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Compétence de production vidéo pixel art 16 bits rétro

Référence

  • Dépôt de référence canonique : https://github.com/Lithium023/16bit-video-forNeon
  • Référence : Documentaire complet de 5m14,5s (314,5 s) (AI 发展史), 55 scènes pixel 16 bits faites à la main réparties sur 5 actes, 155 répliques SRT synchronisées, 9 transitions fluides, 3 pistes audio (voix off + BGM 16 bits 5 actes avec ducking automatique + 94 SFX 16 bits synchronisés), et export MP4 1920×1080 H.264/AAC côté client plus rapide que le temps réel.
  • Lors du démarrage d'un nouveau projet : Reproduire l'architecture modulaire et les normes visuelles/audio/d'export documentées dans cette compétence et ses fichiers references/. Si l'utilisateur fournit un nouveau script, une voix off ou un fichier SRT, conserver l'ensemble du moteur, de la constitution esthétique, de l'interface utilisateur du studio et du pipeline d'export MP4, tout en créant de nouveaux chapitres thématiques, scènes pixel, sprites et signaux sonores.

1. Constitution esthétique (non négociable)

Pensez SNES / Chrono Trigger / Sea of Stars / Celeste rencontre l'infographie documentaire de haute qualité — chaleureux, riche, atmosphérique et cristallin. Jamais de minimalisme filaire stérile, jamais de basse résolution floue, jamais de néon criard.

  1. Grille de pixels virtuels 16 bits purs (384×216 Paysage / 216×384 Portrait) :

    • Dessiner tous les mondes pixel, arrière-plans, ciels tramés, sprites, accessoires et icônes sur un canevas virtuel hors écran à 384×216 (16:9) ou 216×384 (9:16).
    • Pourquoi 384×216 ? Il s'agit d'une échelle entière exacte 5× vers 1920×1080 (384 × 5 = 1920, 216 × 5 = 1080). Copier sur le canevas de sortie HD avec ctx.imageSmoothingEnabled = false pour que chaque pixel reste parfaitement net, sans scintillement ni flou sous-pixel.
    • Verrouiller les animations pixel ambiantes/inactives sur une cadence rétro nette (stepT = Math.floor(time * 8..10) / 10) tandis que les mouvements de caméra, les courbes d'assouplissement et les transitions s'exécutent à 60 ips fluides (30 ips à l'export).
  2. Palette 16 bits chaude et cinématographique de 28 couleurs cohérente :

    • Construire chaque scène à partir d'une palette partagée disciplinée (PAL) couvrant 6 familles émotionnelles : Nuit profonde/Bleu marine, Or chaud/Crème, Corail chaleureux/Prune, Sarcelle fraîche/Pin, Glace arctique et Olive monochrome Game Boy (réservée strictement aux coupures franches dramatiques comme "但其实").
    • Ne jamais utiliser de dégradés plats non texturés. Utiliser un tramage Bayer ordonné 4×4 (drawDitheredSky, drawDitheredGlow) pour les coutures de ciel, les halos de lampe, les lueurs d'aube et les dissolutions pixel.
    • Voir references/visual-and-typography-spec.md pour les codes hexadécimaux exacts, les matrices Bayer et les primitives de dessin de sprites.
  3. La loi d'or de la typographie (zéro texte CJK flou) :

    • Ne jamais dessiner de petits caractères chinois sur le canevas basse résolution 384×216 et le mettre à l'échelle — les caractères chinois denses (最/魔/幻/澜/疆) se transformeront en une tache illisible ("糊成一坨").
    • Titres et badges cinétiques dans la scène (superposition HD bicouche) : Rendre les titres directement sur le canevas HD (1920×1080) en utilisant des glyphes pixel binaires rastérisés à 38px (gros titres), 32px (sous-titres) ou 24px (balises HUD), avec un contour d'encre foncée de 1 pixel à 8 voisins, une ombre portée décalée et un remplissage biseauté métallique à 3 bandes (reflet supérieur / ton moyen / ombre inférieure), mis à l'échelle par plus proche voisin (imageSmoothingEnabled = false).
    • Sous-titres de diffusion en tiers inférieur : Conserver les sous-titres dans une typographie sérif originale propre et très lisible (Noto Sans SC / système sans gras dans une pilule sombre translucide subtile avec une bordure ambrée fine à y = 0.905 * h). Ne pas pixelliser la bande de sous-titres principale sauf demande explicite.
    • Ne jamais laisser les lueurs tramées obscurcir les étiquettes critiques : Toute année clé, métrique ou badge sommet (2026, 1950 — FUTURE) doit reposer dans une plaque sombre à contraste élevé et net avec une bordure pixel dorée/ sarcelle dessinée après les lueurs d'arrière-plan.
  4. Zéro entrée brutale et zéro coupe franche accidentelle :

    • Chaque limite de scène doit comporter une transition intentionnelle parmi la bibliothèque de 9 transitions (aperture-open, whip-blinds, iris-flash, razor-wipe, invert-strobe, camera-pullback, ember-curtain, gravity-shatter, horizon-burst) avec une interpolation caméra fluide fromCam → toCam et un fondu enchaîné typographique. Même un retournement dramatique utilise un balayage CRT délibéré (invert-strobe), jamais un saut brutal non motivé.
    • Chaque élément graphique multiple à l'intérieur d'une scène (4 cartes de modalité, 4 modules de fonctionnalité, 4 boîtes, étapes de monolithe, bannière d'année finale) DOIT s'animer avec une chorégraphie intentionnelle — apparitions élastiques décalées, faisceaux d'énergie balayant reliant le hub au nœud, déploiement de plaques RPG, ou ticks de compteur/vignette roulant synchronisés avec les paroles. Ne jamais simplement basculer if (localTime > X) drawBox().
    • Chaque fin/conclusion mérite une séquence de clôture créative signature (par exemple, éclosion d'horizon de lever de soleil + personnages regardant vers l'avant + déploiement de plaque + compteur d'année roulant 1950 → 2026 → FUTURE + balayage d'arc d'étoiles brillantes + accord chaud harmonique).

2. Flux de production standard

Suivre cette séquence exacte lors de la création d'une nouvelle vidéo pixel 16 bits à partir de zéro (ou de l'extension d'une existante) :

Étape 1 : Importer le script, la voix off et le timing SRT

  • Analyser l'audio de la voix off réelle de l'utilisateur et le fichier de sous-titres .srt (ou générer un SRT horodaté précis aligné sur la voix off).
  • Normaliser les micro-écarts (< 0,18s) entre les répliques adjacentes pour que les sous-titres ne scintillent pas pendant 2 images.
  • Établir CLIP_DURATION à partir de l'heure exacte de fin audio/SRT.

Étape 2 : Storyboard et feuille de rythme (plan de cadence)

  • Diviser le film en 3 à 6 actes narratifs (chacun avec sa propre température de couleur et son chapitre BGM) et scènes de 3 à 8 secondes (environ 1 à 3 répliques de sous-titres par battement visuel).
  • Pour les longues vidéos (>60s), construire de manière itérative en chapitres de 30 secondes (retroPixelChapterTwo.ts, retroPixelChapterThree.ts, etc.) afin que chaque plan reçoive un véritable pixel art fait à la main plutôt que des modèles recyclés.
  • Attribuer à chaque scène dans timeline.ts :
    • index, id, title, quote, start, end (strictement contigu, zéro écart/chevauchement couvrant [0, CLIP_DURATION])
    • transitionIn + transitionLabel
    • visualBeat (description éditoriale concise pour le panneau du storyboard)
    • accent couleur hexadécimale pour la bande de la timeline.

Étape 3 : Construire le moteur pixel de base et les moteurs de rendu de chapitre modulaires

Reproduire la séparation nette des responsabilités de https://github.com/Lithium023/16bit-video-forNeon :

  • src/video/types.ts — SrtCue, SceneCut, TransitionType, RenderSettings, ExportResolution, ExportStatus.
  • src/video/srtParser.ts — Analyseur SRT déterministe, AUDIO_SRC, BGM_SRC, CLIP_DURATION, getActiveCue.
  • src/video/timeline.ts — SCENE_CUTS contigus, courbes d'assouplissement (easeOutExpo, easeOutBack, easeOutCubic, easeInOutQuint, smoothstep), getStaggerProgress, getSceneAtTime, getActiveTransition, énergie de voix off de repli synthétique.
  • src/video/pixelSprites.ts — PAL, BAYER_4X4, pxRect, pxOutline, pxCircle, pxRing, pxLine, drawDitheredSky, drawDitheredGlow, drawSprite, pxBitmapText, sprites pixel art réutilisables et helpers d'environnement (pxPineTree, pxCloud, pxSparkle, pxStarfield).
  • src/video/pixelTypography.ts — Rastériseur de glyphes pixel binaires mis en cache (drawPixelString, drawPixelKineticTitle, drawPixelHudTag).
  • src/video/retroPixelRenderer.ts — Pool de tampons virtuels maître (bufA, bufB, bufDither), calculateur de dérive de caméra, compositeur de 9 transitions, lignes de balayage CRT, transfert typographique et répartiteur vers les fichiers retroPixelChapter*.ts modulaires.
  • src/video/sceneRenderers.ts — renderVideoFrame de niveau supérieur : scène pixel → vignette subtile (0.14) → sous-titres originaux propres en tiers inférieur → barre de progression ambrée fine → fondu de queue de 0,25s.

Étape 4 : Marquer l'intégralité du film (système audio 3 pistes)

Lire references/choreography-and-audio-spec.md pour tous les détails :

  1. Piste 1 — Voix off : Ancre narrative maître (volume = 1.0, fondu de queue de 0,25s).
  2. Piste 2 — BGM 16 bits multi-actes : Utiliser des pistes 16 bits authentiques sous licence ouverte (CC0 / CC BY 3.0, par exemple OpenGameArt / BoxCat Games / Kevin MacLeod / OST chiptune) correspondant à l'ambiance de chaque acte, les assembler en une seule piste BGM sans interruption avec des fondu enchaîné fluides correspondant aux horodatages des actes, et appliquer un ducking automatique de la voix off (duck = 1 - voiceEnergy * 0.22) à environ 0.58 * bgmVolume.
  3. Piste 3 — SFX 16 bits synchronisés (retroSfxEngine.ts) : Combiner les SFX de transition automatiques pour chaque coupe de scène + les SFX de battement musical placés manuellement (bips pentatoniques ascendants pour les révélations de 4 cartes, cliquetis de cristal, bourdonnements de coupe, ticks de compteur et un accord majeur chaud final). Tous les SFX se synthétisent proprement via Web Audio (BaseAudioContext + scheduledTime optionnel) de sorte que la lecture en direct et l'export MP4 hors ligne sonnent à l'identique.

Étape 5 : Aperçu NLE du studio et export MP4 1080p côté client

Lire references/mp4-export-and-qa-spec.md pour tous les détails :

  • Interface du studio : Espace de travail obsidienne sombre (#07080B), TopBar (titre de la marque, navigation par saut de chapitre, action unique 导出 1080p MP4 avec progression de l'étape en direct + annulation instantanée), scène Canvas (commutateur 16:9 / 9:16, lecture/pause/scrub/step/vitesse/muet/plein écran), timeline visuelle multipiste (blocs de scène + blocs de sous-titres + tête de lecture), et panneau éditorial droit (分镜与转场 / 口播台词 / 画面调校 incluant le commutateur MP4 1080p vs 720p, curseurs BGM/SFX, basculement des sous-titres, boutons de saut de surbrillance).
  • Export MP4 (videoExporter.ts) : Utiliser mp4-muxer + WebCodecs (VideoEncoder H.264 + AudioEncoder AAC/Opus) du navigateur avec mixage audio PCM direct hors ligne + estampillage SFX par cache, par défaut à 1920×1080 @ 30 ips, 14 Mbps (1080×1920 pour portrait), avec repli automatique vers le MP4 MediaRecorder natif de Safari.

Étape 6 : Tests unitaires et vérification visuelle dans le navigateur (obligatoire)

  • Découpler la logique pure et tester avec node:test (npx tsx --test) :
    1. Analyse des horodatages SRT et couverture des répliques (srtParser.test.ts)
    2. Coupes de scène contiguës et transitions avec zéro écart/chevauchement (timeline.test.ts)
    3. Validation du tramage Bayer et de la grille de sprites rectangulaires (pixelSprites.test.ts)
    4. Couverture des signaux SFX chronologiques et fenêtre de déclenchement avant uniquement (retroSfxEngine.test.ts)
    5. Configuration de la résolution d'export, priorité MIME MP4 et timeline d'énergie vocale (videoExporter.test.ts)
  • Prendre en charge le paramètre de requête URL ?t=<seconds> dans App.tsx afin que les vérifications automatisées du navigateur sans tête puissent sauter directement à n'importe quelle scène, point médian de transition, battement d'entrée animé et image de fin pour inspection visuelle.
  • Vérifier que l'export MP4 en direct atteint 渲染 MP4, s'annule proprement pour revenir à inactif sans aucun callback obsolète et émet zéro erreur de console du navigateur.

3. Règles durement acquises et pièges à ne jamais répéter

PiègeCause racineSolution obligatoire
Les titres chinois semblent flous/agglomérés ("糊成一坨")Rendu des caractères CJK sur le canevas basse résolution 384×216 puis mise à l'échelleRendre les titres CJK sur le canevas HD via des glyphes binaires seuillés à 38px/32px (thresh = 142..148 pour CJK, 88 pour ASCII) avec contour d'encre 1px + biseau 3 bandes ; conserver les sous-titres de tiers inférieur dans une police sérif originale propre
Coupures franches entre les scènes tardivestransitionIn manquant ou transfert visuel inappropriéChaque coupe dans SCENE_CUTS doit définir un transitionIn intentionnel ; associer des transitions thématiques (par exemple, une fleur épanouie se dissolvant en cristaux de glace tombant → plongée gravity-shatter dans l'hiver)
Les éléments apparaissent brusquementDessiner les cartes/boîtes de l'interface utilisateur avec des booléens bruts if (localTime > t)Piloter chaque élément avec clamp01((localTime - delay) / dur) + easeOutBack / easeOutExpo, connecteurs de faisceau, déploiement de plaque ou compteurs roulants
Étiquette du point culminant obstruée ou à moitié tapéeLueur dessinée par-dessus l'étiquette, ou progression dérivée d'un compteur de segment bornéDessiner les étiquettes à l'intérieur de plaques sombres encadrées après les lueurs ; lier la progression de la révélation directement à localTime plutôt qu'à un paramètre de courbe plafonné
L'export MP4 hors ligne bloque à 4%Connexion de plus de 90 SFX (~280 BiquadFilterNode) à un seul OfflineAudioContext de 314sDécoder la voix + BGM une fois, mixer directement dans un Float32Array PCM stéréo, rendre chaque SFX court unique dans un petit OfflineAudioContext de 0.55–1.55s (mis en cache), et estampiller dans PCM
L'encodage audio MP4 hors ligne prend 12s+Envoi de petits morceaux AudioData de 4096 échantillons avec interrogation de drain lâcheRegrouper AudioData en morceaux de 1 seconde (48000 échantillons) (~315 morceaux pour 5m) et resserrer la solution de repli du drain à 20ms
Cliquer sur Annuler pendant le rendu MP4 laisse le bouton bloquéwaitForEncoderDrain se résout après cancel() et émet un dernier onProgressEnvelopper onProgress/onComplete/onError dans des gardes !cancelled et vérifier if (isCancelled()) return immédiatement après chaque await

4. Fichiers de référence dans cette compétence

Charger ces références selon les besoins lors de l'exécution :

  • references/visual-and-typography-spec.md — Palette de couleurs PAL exacte, calcul du canevas 384×216 et de l'échelle entière, tramage Bayer, rastériseur de typographie pixel et 9 recettes de transition.
  • references/choreography-and-audio-spec.md — Modèles d'entrée animés, calcul de fondu enchaîné + ducking BGM 5 actes et 15 recettes de SFX 16 bits procéduraux.
  • references/mp4-export-and-qa-spec.md — Pipeline d'export MP4 côté client à 4 niveaux, mixeur PCM hors ligne rapide, spécification de l'interface utilisateur NLE du studio et liste de contrôle QA unitaire et navigateur.

Skills associés