Communitygithub.com

mengyuyuan/pixel-explainer-workflow

Erstelle Kurzvideos (Douyin/TikTok/Reels/Shorts) mit Claude Code als codegesteuertem Animator. Nutze es für Musikvideos, Lyric-MVs, Pixel-Art- oder Flat-Cutout-Animationen, erklärende Videos oder PSAs und wähle den Stil aus, den Code zuverlässig rendern kann.

Was ist pixel-explainer-workflow?

Claude Video Studio verwandelt Claude Code in einen videoproduzierenden Code-Animator, indem es jedes Frame als HTML, CSS und GSAP zeichnet und mit HyperFrames zu MP4 rendert. Es arbeitet dort am besten, wo Code zeichnen kann (Pixel-Art und Flat Cutout sind am zuverlässigsten; 2D durch KI-Bewegungsübertragung und 3D nur mit Vorbehalten). Es integriert sich in Claude Code, um eine terminalgesteuerte Videopipeline zu erstellen: Das Skill übernimmt die Stilauswahl, erstellt zeitlich abgestimmte Lyrics für KI-Musik, baut Pixel-Charaktere aus Fotos und schneidet auf den Takt mit HyperFrames. Es ist ideal für Entwickler und Content-Ersteller, die programmatisch und reproduzierbar Kurzvideos produzieren möchten.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Claude Video Studio

Claude erstellt Videos, indem es Code schreibt, der jedes Frame zeichnet: HTML, CSS und GSAP, gerendert zu MP4 mit HyperFrames. Es generiert keine Pixel wie Sora, Kling oder Veo. Wähle Stile, die Code gut zeichnen kann, und sei bei den anderen ehrlich.

0. Voraussetzungen – zuerst prüfen, nichts ohne Nachfrage installieren

Vor dem ersten Build python3 scripts/check_env.py [--project <Video-Verzeichnis>] ausführen. Es verwendet nur die Standardbibliothek und installiert nichts. Es gibt aus, was jeder Workflow benötigt, was fehlt, den Installationsbefehl und die ungefähre Größe. Zeige dem Benutzer die fehlenden Elemente für den gewünschten Workflow und frage, bevor du etwas installierst. Einige Elemente sind groß (mediapipe mit OpenCV/jax ist etwa 600 MB, headless Chrome etwa 400 MB, Blender etwa 1 GB).

WorkflowBenötigtInstallation (nur nach Zustimmung des Benutzers)
Pixel / Flat MV (Kern)Python 3.9+, ffmpeg + ffprobe, Node 18+, HyperFrames Skillsbrew install ffmpeg (oder apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
Beat-Synchronisation von einem echten SongHyperFrames' music-to-video Skill (dessen analyze-beatgrid.py) + librosa, soundfile, numpynpx hyperframes skills update music-to-video (im Projekt) · pip install librosa soundfile numpy (~280 MB)
Voice-Over, Neusynchronisation (redub.py)edge-tts (+ soundfile für redub)pip install edge-tts soundfile (~10 MB; benötigt Netzwerk während der Synthese)
2D-Bewegungsübertragungnumpy, scipy, Pillow; ffmpeg mit libvpx-vp9pip install -r requirements-2d.txt (~150 MB)
2D-Lippen-/Iris-Prüfungenmediapipe 0.10.14 (legacy FaceMesh API; Python 3.9–3.12)pip install -r requirements-face.txt (~600 MB); mediapipe 1.x ist ungetestet
Bearbeitung von echtem Filmmaterialnumpy, scipy, Pillow, OpenCV (contrib für den guided filter); noisereducepip install -r requirements-edit.txt (~250 MB) · pip install noisereduce
Gesichtsmosaik, Personen-Ausschnittemediapipe 0.10.14; auf macOS verwenden die Ausschnitte stattdessen Apple Vision (benötigt swiftc von den Xcode-Befehlszeilenwerkzeugen, kein Modell-Download)pip install -r requirements-face.txt (~600 MB) · xcode-select --install
Chinesische TranskriptionFunASR + torch (Python 3.10–3.12)pip install -r requirements-asr.txt (~1 GB; Modelle 1–3 GB von ModelScope beim ersten Durchlauf)
3D / Treiber-VideosBlender 4.5 LTSblender.org LTS Download (~1 GB)

Was sich selbst herunterlädt (vor dem ersten Durchlauf mitteilen):

  • npx [email protected] … ruft die HyperFrames CLI von npm beim ersten Gebrauch ab. Version einfrieren, damit Neuberechnungen identisch bleiben. Wenn der Skill-Fetch während init hängt, HYPERFRAMES_SKIP_SKILLS=1 setzen.
  • Der erste check / snapshot / render lädt HyperFrames' headless Chrome herunter (etwa 400 MB), wenn es nicht im Cache ist. npx [email protected] browser ensure führt dies vorab aus.
  • Nichts anderes installiert sich selbst. Die Skripte in scripts/ stoppen mit dem genauen Installationsbefehl, wenn ein Paket oder ffmpeg fehlt, und geben ihre Verwendung mit --help aus.
  • Die Skripte der Standardbibliothek benötigen überhaupt keine Pakete: timed_lyrics.py, align_beats.py, pixel_sprite.py und check_env.py.

Lade /hyperframes für den Kern-Authoring-Vertrag:

npx --yes [email protected] init my-video

1. Wähle zuerst den Stil

Antworte mit dieser Tabelle, bevor du etwas baust. Versprich keinen Stil, der enttäuschen wird.

StilZuverlässigkeitTypische ZeitVerwendung für
Pixel-Art (Charaktere als Sprite-Bögen, Spiel-UI)★★★★★2-min MV ≈ 1–2 hLyric-MVs, persönliche Geschichten, PSAs, spielartige Erzählungen
Flat Cutout / Motion Graphics (Formen, flache Charaktere, kinetischer Text)★★★★★1-min ≈ 1,5–2 hNeuauflagen berühmter Momente, Produkteinführungen, Erklärvideos, Daten
2D-Charakter aus EINER Illustration, KI-Bewegungsübertragung (Kling „动作控制

Verwandte Skills