Communitygithub.com

skychentian/sketch-explainer-video

Transforme un script chinois en vidéo explicative verticale de style «lettrage dessiné à la main» (papier pointillé crème, écriture manuscrite noire, surligneur jaune, ✓✗? rouge, icônes tracées un par un, doublage MiniMax ou Doubao aligné mot à mot, sous-titres manuscrits en bas, 1080×1920 MP4).

Qu'est-ce que sketch-explainer-video ?

Ce skill permet de générer automatiquement des vidéos explicatives verticales (1080×1920) au style « lettrage manuscrit sur papier ligné » à partir d’un script chinois. Chaque phrase est lue et, simultanément, les mots apparaissent en écriture cursive de gauche à droite, les mots-clés sont surlignés en jaune, les icônes sont dessinées trait par trait, et les symboles ✓✗? rouges apparaissent en fondu – le tout synchronisé à la voix. Le skill utilise l’API de synthèse vocale MiniMax ou Doubao (l’utilisateur doit lier sa propre clé) pour générer la voix, puis aligne chaque caractère sur l’audio via une reconnaissance vocale locale. Il prend en charge le changement de timbre et le traitement parallèle de plusieurs vidéos. L’outil est conçu pour les créateurs de contenu, les éducateurs ou toute personne souhaitant produire rapidement des vidéos explicatives animées, sans compétences en montage vidéo. Il repose sur l’environnement local (macOS/Linux) et nécessite Python, ffmpeg, Node.js, ainsi que les polices manuscrites chinoises. La sortie est une vidéo MP4 prête à être publiée sur Douyin, Kuaishou ou Xiaohongshu.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/skychentian/sketch-explainer-video/tree/HEAD/skills/sketch-explainer-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Vidéo explicative manuscrite

Le résultat final ressemble à ceci : chaque mot est tracé au fur et à mesure de la lecture – les caractères s'«écrivent» de gauche à droite, les mots-clés sont surlignés en jaune, les icônes sont dessinées trait par trait, les ✓✗? apparaissent en un clin d'œil ; chaque plan illustre une idée, changeant avec la voix ; une ligne de sous-titres manuscrits en bas. Image de référence : assets/style-ref.png.

Dans tout ce processus, seule la «conception des plans» nécessite votre réflexion – tout le reste est automatisé par les scripts : doublage, reconnaissance vocale, alignement mot à mot, moteur d’animation, vérification, rendu. Suivez les étapes, ne sautez pas la vérification.

Prérequis (à confirmer avant la première utilisation)

  • L'utilisateur doit avoir lié une clé MiniMax ou Doubao. Si aucune des deux n’est liée, arrêtez et indiquez les étapes ci-dessous pour que l'utilisateur le fasse lui-même. Ne pas synthétiser, ne pas demander la clé en clair.
  • coli (reconnaissance vocale locale), ffmpeg, node/npx, python3
  • macOS : utilise automatiquement la police «手札体» du système ; autres systèmes : utilisez --font un_fichier_de_polices_manuscrites_chinoises.ttf
  • La première exécution installe fonttools dans ~/.cache/sketch-explainer-video/venv
  • La vérification et le rendu utilisent impérativement [email protected]

Lier le doublage

Guide en ligne uniquement pour ces deux fournisseurs. Si aucun des deux n’est lié, arrêtez et laissez l’utilisateur suivre les étapes lui-même :

  1. MiniMax (par défaut. Si les deux sont liés, utilisez celui-ci) : ouvrez https://platform.minimax.cn , allez dans «Gestion du compte → Clé API» et créez une clé. Pour le site international, utilisez https://platform.minimax.io et définissez MINIMAX_API_HOST=https://api.minimax.io. Exécutez ensuite bash <skill>/scripts/bind_tts.sh minimax.
  2. Doubao Voix : ouvrez https://console.volcengine.com/speech/new , créez une clé API et activez «Modèle de synthèse vocale Doubao 2.0». Exécutez ensuite bash <skill>/scripts/bind_tts.sh doubao.

La clé n’est pas affichée lors de la saisie, elle reste uniquement sur la machine, ne la collez pas dans la conversation. Voir les tarifs et les timbres dans references/tts.md. Une fois la clé liée, créez le projet. Si vous avez déjà un fichier MP3, utilisez --audio, ne le regénérez pas. Pour spécifier un fournisseur, utilisez --provider minimax ou --provider doubao.

Processus

1. Créer le projet (doublage + alignement en une étape)

<skill>/scripts/new_video.sh <répertoire_du_projet> <script.txt> --title "Titre de la vidéo"
  • Le script est conservé tel quel, sauvegardé en txt et passé en argument. Il est lu par le TTS, puis aligné localement par la reconnaissance vocale.
  • Si vous avez déjà un doublage, ne le regénérez pas : --audio doublage_existant.mp3.
  • À la fin, vérifiez la sortie matched x/y : ≥95% est normal (les non-correspondances sont souvent des homophones, sans incidence) ; un résultat nettement inférieur indique que le doublage et le script ne correspondent pas.
  • Résultat : sentences.txt (secondes de début de chaque phrase), assets/timing.js, index.html (moteur prêt, avec <!--SCENES-->).

Timbre (--speaker) : MiniMax par défaut «Chinese (Mandarin)_Gentle_Senior», possibilité de changer pour «Chinese (Mandarin)_News_Anchor», «Chinese (Mandarin)_Gentleman». Doubao par défaut «zh_female_xiaohe_uranus_bigtts», possibilité de changer pour «zh_female_vv_uranus_bigtts», «zh_male_m191_uranus_bigtts». Ne transmettez pas les ID de timbres de ListenHub.

2. Découper les plans (écrire STORYBOARD.md)

Lisez sentences.txt, découpez la vidéo en 8 à 13 plans, chacun durant 6 à 16 secondes :

  • Point de coupe = heure de début d'une phrase − 0,15 s ; le premier plan commence à 0 ; le dernier plan se termine à la data-duration du root de index.html (= fin du doublage + 1 s) ; les plans adjacents se succèdent strictement.
  • Chaque plan doit pouvoir être décrit en une phrase : «ce plan montre quoi». Écrivez d'abord sous forme de tableau : Plan | Secondes de début/fin | Contenu du plan | Phrase d'ancrage.
  • Les phrases longues (>16 s) peuvent être coupées au milieu ; le point de coupe prend le temps de ce caractère − 0,15.

3. Écrire les plans

Lisez d'abord references/components.md (bibliothèque de composants : groupe titre, capsule de chapitre, chaîne, comparaison, ≠, liste, étapes, calendrier, superposition de pièces, fin, icônes), puis choisissez un exemple complet le plus proche et lisez-le :

  • references/examples/event-overview.html —— Déroulement des événements / faits par chapitre
  • references/examples/relationship-chain.html —— Relations / chaîne d'approvisionnement
  • references/examples/step-checklist.html —— Méthode en plusieurs étapes / liste pratique

Insérez ensuite toutes les <section> à l'emplacement <!--SCENES--> dans index.html. Les plans doivent être conçus spécifiquement pour ce script : les exemples servent uniquement à apprendre la syntaxe, ne copiez pas leurs plans depuis d'autres projets vidéo – ceux-ci correspondent à d'autres scripts et points temporels, et les copier rendrait les ancrages et le rythme complètement erronés. Ne modifiez pas le moteur <script> ; si de nouveaux styles sont nécessaires, ajoutez-les à la fin de <style>.

Comment déclarer les animations (la valeur est une phrase du script, le moteur la cherche après data-from et déclenche l’animation au moment de sa lecture) :

AttributEffetPlacement
data-wÉcriture manuscrite de gauche à droite en fonduÉléments blocs, ou span avec class="ib"
data-dDessine tous les traits un par un ; data-dur ajuste la durée par trait<svg>
data-hSurlignage en jauneÉlément avec class="hl"
data-pApparition soudaine (✓✗?≠, capsules de chapitre)span avec .ib
data-f / data-dimFondu entrant / atténuationTout bloc

Valeur de l'attribut : "phrase" · "phrase|-0.4" (0,4 s en avance) · "@0.2" (0,2 s après le début du plan).

Principes de conception des plans (et pourquoi)

  • Le texte des plans doit être extrait uniquement du script, il peut être raccourci, comme «pas une seule copie» peut être représenté par «0 copie», mais on ne peut pas ajouter de faits, de chiffres, de jugements de marque hors script – ce type de vidéo aborde souvent des marques réelles et des sujets controversés, un seul mot de plus peut introduire une erreur factuelle.
  • Apparition progressive, synchronisée avec la voix : chaque élément est ancré sur les mots qu'il illustre. Si tout apparaît dès le début, le public regarde d'abord puis se désintéresse.
  • La dernière animation doit être terminée ≥0,5 s avant le changement de plan : sinon, le surligneur/✓ apparaît juste au moment où l'on passe au plan suivant, ce qui le rend invisible. Les éléments ancrés en fin de phrase posent souvent problème, avancez-les.
  • Le contenu ne doit occuper que la zone de 120 à 1480 px en hauteur : en dessous se trouvent la bande de sous-titres et l'interface utilisateur de Douyin.
  • Les plans doivent être remplis, avec des illustrations : le contenu s'étend verticalement de 150 à 1400 px (l'illustration principale est agrandie à 60–85 % de la largeur du plan), chaque plan a au moins un graphique (icône / cadre / comparaison / chaîne / schéma), ne vous contentez pas de quelques lignes de texte en haut de l'écran – sur mobile, un écran à moitié vide donne une impression de bas de gamme et manque d'information. check.py bloquera les plans à moitié vides.
  • Style sobre : lignes noires + surligneur jaune + peu de rouge ; le rouge est réservé aux ✓✗?≠, aux cercles, aux mots d'avertissement. Pas d'emoji, de photo, de logo, de portrait.
  • Sous-titres : pour les phrases de plus de 16 caractères, ajoutez des points de coupure dans assets/cap_breaks.js avec window.CAP_BREAKS = ["phrase à passer à la ligne ici", …], en coupant entre les mots (les deux-points ne sont pas des points de coupure automatiques – les longues phrases avec deux-points nécessitent particulièrement cette configuration). check.py listera les phrases nécessitant une coupure.

4. Vérification (à répéter jusqu'à ce que tout soit vert)

<skill>/scripts/verify.sh

Il effectue : sous-ensemble de polices → check.py (l'ancrage existe-t-il ?, l'animation de fin de phrase est-elle coupée ?, les plans se succèdent-ils correctement ?, les sous-titres sont-ils trop longs ?, la bande de sous-titres est-elle respectée ?) → hyperframes lint/check → captures d'écran (1,2 s après le début de chaque plan + 0,4 s avant la fin) → density.py mesure la hauteur du contenu à la fin de chaque plan (<1000 px signifie un demi-écran vide, trop de plans vides entraîne un échec).

  • Les ✗ de check.py et density.py doivent tous être corrigés : le premier est basé sur le chronométrage réel du moteur, le second sur les captures – ce ne sont pas des suggestions.
  • Ouvrez snapshots/contact-sheet*.jpg et regardez chaque image une par une : chevauchements, débordements, retours à la ligne qui écrasent d'autres caractères, icônes illisibles, grandes zones vides. Le script ne détecte pas ce qui est «incompréhensible», seul vous pouvez le voir. Corrigez, puis relancez verify.
  • Les avertissements nested_structure / track_too_dense dans lint peuvent être ignorés.

5. Rendu et livraison

<skill>/scripts/render.sh      # → renders/video.mp4, environ 2–4 min

À la livraison, précisez : le chemin et la durée de la vidéo, le nombre de plans, le chemin de la planche contact, ce que vous avez corrigé manuellement, et les textes que vous avez résumés (non issus de la phrase originale) dans les plans.

Pièges courants

ProblèmeCause → Solution
Le moteur signale «phrase not found» / check signale «phrase introuvable»La phrase doit correspondre mot pour mot au script (y compris les espaces comme 9 月中旬, la ponctuation pleine chasse) ; et doit apparaître après data-from
L'élément n'a pas d'effet d'écrituredata-w est placé sur un span inline normal → ajoutez class="ib"
Les grands caractères se plient en deux lignes et écrasent le dessousRéduisez la police ou ajoutez white-space:nowrap, ou divisez en deux blocs
Tous les éléments apparaissent dès le début du planLa phrase d'ancrage est matchnée à une position plus précoce → changez pour une phrase unique dans ce plan
Création de plusieurs projets vidéo en parallèlePossible, le script de reconnaissance dispose d'un verrou de file d'attente

Traitement par lots

Voir references/batch.md : collecter les scripts → générer les doublages en parallèle → créer les projets individuellement → chaque projet a une sous-tâche pour écrire les plans → réception unifiée → livraison.

Skills associés