Communitygithub.com

paper2video

Verwandle eine Forschungsarbeit oder ein Projekt (arXiv-Link, Titel, Repository, PDF, Projektseite oder Arbeitsverzeichnis) in ein hochwertiges, 3Blue1Brown-artiges Erklär- / Werbevideo, erstellt mit Remotion – inklusive Skript, Voice-Over (optional TTS-Key, kostenlose Alternativen oder selbst aufgenommener Ton), Animationen mit echten Daten, Untertiteln, Musik, zweisprachigen Schnitten, vertikalem Format, Thumbnails und Plattform-Texten für YouTube und Bilibili.

Was ist paper2video?

Dieses Skill ermöglicht es, aus einer wissenschaftlichen Arbeit oder einem Projekt ein professionelles Erklärvideo im Stil von 3Blue1Brown zu erstellen. Es ist für KI-Agenten wie Claude Code, Cursor oder Codex konzipiert und automatisiert den gesamten Workflow: von der Analyse der Quelle (arXiv-Link, PDF, Repository) über die Erstellung eines Skripts und die Generierung von Voice-Over (mit kostenlosen oder kostenpflichtigen TTS-Diensten) bis hin zur Produktion von Animationen mit echten Daten aus der Arbeit. Der Agent fungiert als „Lead“, orchestriert Subagenten, überprüft die faktische Korrektheit (mit einem unabhängigen Faktencheck), erstellt sowohl englische als auch chinesische Versionen für YouTube und Bilibili und liefert alle benötigten Assets (Thumbnails, Beschreibungen, Kapitel). Das Skill stellt sicher, dass das Video rigoros in der Darstellung der Arbeit bleibt, den Zuschauer ohne Vorwissen abholt und durch klare, datengetriebene Animationen überzeugt – ohne die Behauptungen überzustrapazieren.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lunamos/paper2video/tree/HEAD/skills/paper2video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht paper2video?

Erstelle ein Video, das ein Fremder ohne Vorwissen verstehen kann, das der Arbeit treu bleibt und gut genug aussieht, um es zu teilen: echte Daten früh auf dem Bildschirm, eine Idee pro Takt, flüssige Bewegungen, die erklären statt dekorieren.

Du bist der Lead: Du planst, erstellst die gemeinsamen Bausteine, vergibst klar abgegrenzte Aufgaben an Subagenten, integrierst und trägst die Verantwortung für die Korrektheit. Arbeite von Anfang bis Ende autonom, es sei denn, der Benutzer wünscht Zwischenstände; zeige dem Benutzer Ergebnisse (Standbilder, Entwürfe, Renderings), nicht Fragen, wann immer ein sinnvoller Standard existiert.

Begleitmaterialien (lies sie, wenn du diese Phase erreichst):

  • reference/rigor.md — Behauptungsregister, Datenhandhabung, unabhängiger Faktencheck
  • reference/voice.md — Erzähl-Backends (ElevenLabs / kostenloses edge-tts / selbst gehostetes GPT-SoVITS / die eigene Aufnahme des Benutzers / kein Ton), Qualitätssicherung, Aussprache, Open-Source-TTS-Know-how
  • reference/visual-style.md — Designsystem, Bewegungsregeln, Datenintegrität, Überprüfungsschleife
  • reference/platforms.md — YouTube + Bilibili-Liefergegenstände: Spezifikationen, Thumbnails, Titel, Beschreibungen, Kapitel
  • reference/vertical.md — Der 9:16-Handy-Schnitt: Safe Area, Schriftgrößen, ein Fokus pro Takt, Hook, Erstellung aus demselben Audio
  • reference/handoff.md — Verwendung der eigenen Materialien des Benutzers und Export für Bearbeitungssoftware
  • reference/third-party.md — Start nur mit einem arXiv-Link/Titel: Quellen-, Code- und Datenfindung; Zahlen aus LaTeX/Abbildungen extrahieren; kleine CPU-Illustrationen; Treue, wenn die Arbeit nicht vom Benutzer stammt
  • scripts/ — Die Pipeline (siehe scripts/README.md); template/ — Der Remotion-Starter (siehe template/README.md)

0. Aufnahme (kurz halten)

Du brauchst: die Arbeit — ein arXiv-Link oder ein Papiertitel reicht (dann folge reference/third-party.md, um Quelle, Code und Daten selbst zu finden); ein Repository, Pfad, Projektseite oder lesbarer Remote-Rechner funktioniert auch. Wessen Arbeit: Die eigene des Benutzers (erste Person erlaubt) oder die eines anderen (dritte Person, treu, mit Quellenangabe — reference/third-party.md). Sprachen und Plattformen (Standard: ein englischer Schnitt für YouTube und ein chinesischer Schnitt für Bilibili, beide 16:9, plus Thumbnails in mehreren Größen und Titel/Beschreibungen/Kapitel für beide), und Erzählung (siehe reference/voice.md; Standard: ElevenLabs, falls ein Schlüssel in env/.env verfügbar ist, andernfalls edge-tts, und dies mitteilen). Frage nur, was du nicht standardmäßig festlegen kannst. Frage auch einmal: erste Person („unser Papier“) oder dritte Person („dieses Papier“), und alles, was nicht erscheinen darf (unveröffentlichte Nebenprojekte, anonyme Einreichungen, private Daten).

Behandle jede entfernte/geteilte Ressource als schreibgeschützt, sofern nicht anders angegeben; liste Dateien und Größen auf, bevor du etwas Großes herunterlädst (bei ca. 500 MB nachfragen); drucke oder committe niemals Schlüssel.

1. Richte die Werkstatt ein

  1. Erstelle ein Remotion-Projekt in einem neuen Ordner (z. B. npx create-video@latest --blank, oder kopiere die neueste leere Remotion-Vorlage); zwinge den Benutzer nicht, etwas von Hand zu installieren — installiere Node-Abhängigkeiten selbst und überprüfe ffmpeg, python3 und uv (installiere uv über sein offizielles Skript oder pip, falls fehlend).
  2. Installiere die offiziellen Remotion-Agent-Skills, falls sie noch nicht verfügbar sind (~/.agents/skills/remotion-* oder in deinen Skills gelistet): npx -y skills add remotion-dev/skills (siehe remotion.dev/docs/ai für den aktuellen Befehl). Folge ihnen für Remotion-API-Details.
  3. Kopiere template/ in das Projekt (merge package.additions.json in package.json, npm install), kopiere scripts/ nach <project>/scripts/, erstelle notes/, data/ (roh, git-ignoriert), public/data/, out/ (nur aktuelle Liefergegenstände, feste Namen: reference/platforms.md → Dateien), review/ (Wegwerf-Standbilder und Kontaktbögen) und eine Projekt-CLAUDE.md, die Folgendes festhält: das Ziel, Zielgruppen, Sprachen, Sprachauswahl, die „darf nicht erscheinen“-Liste, das Wahrheitsdokument und jegliches Benutzerfeedback, sobald es eintrifft (datierte Einträge). Halte es aktuell – so bleiben spätere Sitzungen (und Subagenten) konsistent.
  4. npx tsc --noEmit und rendere ein Standbild der Vorlage, um zu beweisen, dass die Toolchain funktioniert.
  5. Erstellst du mehrere Videos? Verwende einen Arbeitsbereich: ein Ordner mit einer gemeinsamen package.json / node_modules (eine Installation, ~400 MB statt einer pro Video; alle @remotion/* in einer Version) und einer gemeinsamen .env, plus einer Arbeitsbereichs-CLAUDE.md mit den geltenden Regeln für jedes Video (Claude Code liest übergeordnete CLAUDE.md-Dateien). Jedes Video ist ein eigener Ordner (src/, public/, scenes.json, notes/, data/, out/, review/, audio_cache/, scripts/, eigene CLAUDE.md) mit node_modules und .env, die auf das Arbeitsbereichs-Stammverzeichnis verlinkt sind; scripts/new_video.sh <ShortName> (kopiere es in das Arbeitsbereichs-Stammverzeichnis) erstellt eines als <NNN>_<ShortName>, nummeriert abwärts von 999, sodass eine Sortierung nach Namen die Videos zuerst auflistet, die neuesten oben. Nach Änderungen an den gemeinsamen Versionen jedes Video auf Typfehler prüfen und einige gerenderte Frames mit der endgültigen Datei vergleichen.

2. Verstehe die Arbeit, bevor du ein Wort schreibst

Sammle zuerst das Material (reference/third-party.md §1–2, wenn du nur einen Link oder Titel hast). Lies das Papier ganz durch (und den Anhang), die README / Projektseite und überfliege den Code, um zu sehen, woraus die Abbildungen bestehen. Finde das Kernergebnis und warum es überraschend ist, was die Arbeit sehenswert macht (die überraschendste Beobachtung, das klügste Experiment, das Beispiel, das zum Schmunzeln bringt), die Absicht der Autoren (die Frage, die jedes Experiment beantwortet, warum sie es so aufgebaut haben, was sie ausprobiert haben), die 2–4 Behauptungen, die die Geschichte tragen, und die Visualisierungen, die sie mit echten Daten zeigen können (Figurendaten-Exporte, Ergebnis-JSONs, protokollierte Metriken, Demo-Ausgaben). Bevorzuge exportierte Figurendaten oder Rohresultate gegenüber dem Digitalisieren von Plots. Schreibe notes/understanding.md: den Ein-Satz-Plot, die Behauptungen mit ihren Zahlen und Einstellungen, die Kandidaten-Visualisierungen und alles, was verwirrend ist oder leicht übertrieben werden kann.

3. Geschichte, Skript und Behauptungen

  • Länge und Fokus zuerst. Standard: 3–4 Minuten pro Schnitt, höchstens 4:00, es sei denn, der Benutzer wünscht mehr – etwa 450–600 englische Wörter oder 1.100–1.300 chinesische Zeichen Erzählung. Ein Video ist keine Vorlesung des Papiers: Wähle die eine Erkenntnis, der der ganze Film dient, und die 2–3 Beweisstücke, die sie tragen, und gib allem anderen einen Satz oder überlasse es der Beschreibung. Treu bedeutet, dass nichts verzerrt wird, nicht dass jeder Abschnitt erscheint.
  • Mach es unterhaltsam, zuerst rigoros. Wähle die interessantesten Experimente und Beispiele als die Beweis-Takte und zeige jedes so, wie die Autoren es aufgebaut haben – die Frage, was sie geändert haben, was passiert ist –, sodass der Zuschauer die Idee und die Absicht der Autoren versteht, nicht nur eine Zahl. Humor und Überraschung kommen aus dem echten Material (ein eindrucksvolles Beispiel, ein unerwartetes Ergebnis, eine clevere Kontrolle), niemals aus der Dehnung einer Behauptung; wenn eine lustige Zeile das Papier überstrapazieren würde, streiche sie.
  • Zeitbudget für einen 4-minütigen Film: Hook 15–25 s (das Hauptergebnis des Papiers ist innerhalb der ersten 30 s als echte Daten auf dem Bildschirm) · Einführung 30–40 s · die Beweise ≥ 40 % des Films · Mechanismus/Theorie ≤ 20 % und nur, was gezeigt werden kann · Schlussfolgerung ≤ 15 s. Bei einem bekannten älteren Papier ein Wirkungs-Takt (≤ 20–30 s, vor der Schlussfolgerung): was es gestartet oder verändert hat, erzählt mit belegten Fakten – benannte Folgearbeiten mit Jahren, wo die Idee heute verwendet wird; eine Zitationszahl nur mit Quelle und Datum; keine unbelegten Superlative. Keine Einschränkungs-Szene standardmäßig: nur wenn das Papier selbst seine Einschränkungen als zentralen Teil behandelt (dann ≤ 20 s); andernfalls lebt der Umfang in den Einstellungen, die du bei jedem Ergebnis angibst. Ableitungen, zusätzliche Experimente und Listen von Implikationen erhalten nur dann eine Szene, wenn sie mit echten Daten in ≤ 20–30 s gezeigt werden können.
  • Schneide, bevor du zahlst: python3 scripts/vo.py build --lang <l> --dry-run gibt die geschätzte Filmlänge basierend auf der Lesegeschwindigkeit aus (innerhalb von ~5 % der gesprochenen Länge); kürze das Skript, bis es passt, generiere dann die Stimme.
  • Struktur (passe an, erzwinge nichts): Hook mit der stärksten echten Visualisierung (≤ ~15 s) → eine Titelkarte im Vollbild (template/src/components/TitleCard.tsx: Titel des Papiers, Autoren und Institutionen, Veranstaltung oder arXiv-ID, sein Ein-Satz-Anspruch und „inoffizieller Erklärfilm“ bei fremden Papieren; plus, als abgedunkeltes Hintergrundelement, die erste Seite des Papier-PDFs – Titel, Autoren, Zugehörigkeiten, Zusammenfassung; der erste Bildschirm seiner Webseite nur, wenn es kein PDF gibt – Einblendung, während Titel und Institutionen vorgelesen werden: node scripts/paper_shot.mjs <arXiv id | PDF | URL> → public/shots/paper.png, TitleCard shot="shots/paper.png"; mittig-rechts bei 16:9, unter dem Titel bei 9:16; nicht auf den Thumbnails), während die Erzählung das Papier und die Institutionen der Autoren nennt (nicht die Namen der Autoren: TTS verschandelt sie, und ein Name, der in ein anderes Skript geraten ist, ist oft falsch – auf dem Bildschirm und in den Texten schreibe Namen genau so, wie das Papier oder arXiv sie schreibt, niemals transkribiert) – eine eigene Szene, spätestens ~20 s auf dem Bildschirm → eine Einführung, die einen Zuschauer ohne Vorwissen abholt (was ist die Aufgabe/das Objekt, in einfachen Worten, animiert) → das Problem, gezeigt mit Daten → die Idee → warum es funktioniert (Mechanismus) → Ergebnisse, jedes mit seiner Einstellung → Schlussfolgerung, die mit dem Punkt des Papiers endet. Kein „Links sind in der Beschreibung“ / 「论文和代码见简介」-Satz, weder gesprochen noch auf dem Bildschirm: Zuschauer wissen, wo Links leben, und es beendet den Film mit Füllmaterial (die Beschreibung und die Titelkarte tragen die Kennungen). Platziere gute Visualisierungen früh; hebe sie nicht für das Ende auf.
  • Schreibe für das Ohr: kurze Sätze, eine Zahl pro Satz, konkrete Substantive, keine „Nicht X, sondern Y“-Wiederholungen, keine fingierten Frage-und-Antwort, gleichmäßiger Ton über Szenengrenzen hinweg (ein abruptes „Jetzt kommt der lustige Teil!“ wirkt aufgesetzt). Gib Formeln und Diagrammen einen Takt Stille.
  • Setze das Skript in scenes.json (Schema: template/scenes.example.json): pro Szene und Sprache, Zeilen mit text (Untertitel), tts (was gesprochen wird: Umschreibungen, spärliche Audio-Tags), anchors (Wörter, die visuelle Takte zeitlich steuern), optional pauseAfterMs; pro Szene optional ein chapter. Schreibe jede Sprache muttersprachlich, anstatt Wort für Wort zu übersetzen; behalte technische Begriffe auf Englisch, wo das Publikum sie erwartet.
  • Starte jetzt notes/claims.md (reference/rigor.md): jede Zahl und jeder Faktsatz → seine Quelle. Schreibe notes/storyboard.md: pro Szene die Visualisierung, die Anker-getriebenen Takte, die Datendatei, die Quellzeile.

4. Daten → public/data/*.json

Ein Agent (du oder ein Subagent) ist dafür verantwortlich, Rohmaterial in sauberes JSON mit einem source-Feld pro Datei umzuwandeln, und schreibt notes/data_report.md, das jede Schlagzeilenzahl mit dem Papier abgleicht und Abweichungen und Fallstricke auflistet (Metrikvarianten, umbenannte Begriffe, Rundungen). Szenen lesen nur public/data.

5. Ton zuerst, dann Bild

Baue die Erzählung vor der Animation (reference/voice.md): scripts/vo.py build --lang <l> erzeugt szenenweises Audio und public/data/vo.<l>.json mit Wortzeitsteuerungen und Anker-Frames. Das Bild wird dann an Anker gebunden, sodass beide Sprachen automatisch synchron bleiben. Überprüfe den Bericht: ASR-Rückübersetzungsfehler, seltsame Prosodie, fehlende Anker; korrigiere Formulierungen/Umschreibungen, generiere nur betroffene Szenen neu (Ausgaben werden nach Inhalts-Hash gecacht).

6. Baue die Szenen

  • Baue zuerst das Theme, gemeinsame Komponenten und alles, was szenenübergreifend wiederverwendet wird (siehe reference/visual-style.md); dann können Szenen mit expliziter Dateibesitz über Subagenten parallelisiert werden (ein Szenensatz pro Agent, niemand bearbeitet gemeinsame Dateien – sie melden gewünschte Änderungen an dich zurück). Gib jedem Agenten: CLAUDE.md, den Storyboard-Eintrag, die scenes.json-Zeilen und Ankernamen, die Datendateien, die Stilregeln, die Kapitelnummer und den Titel für jede seiner Szenen (parallele Agenten nummerieren sonst ihre Kapitel-Tags unabhängig) und die Anforderung, Standbilder in jeder Sprache zu rendern und zu inspizieren, bevor sie berichten (scripts/review.py). Führe danach einmal scripts/zh_font_subset.py aus (neue chinesische Zeichen fallen bis dahin auf eine Systemschrift zurück) und, nach jedem chinesischen Sprachbau, scripts/zh_breaks.py (die Untertitel beider Schnitte brechen Chinesisch nur zwischen Wörtern).
  • Die Papierseite der Titelkarte: rendere sie, sobald das Papier feststeht (node scripts/paper_shot.mjs <arXiv id> lädt das PDF herunter in data/ und rendert Seite 1; ein lokales PDF oder eine Webartikel-URL funktioniert auch; niemals ein handgemachter Screenshot), übergebe es als shot, binde beats.shot an die Titelwörter und, bei 9:16, beats.shotDim an die Stelle, wo die Erzählung zu den Institutionen übergeht; überprüfe die Standbilder beider Schnitte (Text bleibt lesbar über der Seite, Untertitel klar).
  • Jede Szene: Überschrift, Takte, die von Ankern gesteuert werden (mit Fallbacks), eine Quellzeile bei Datenaufnahmen, SCHEMATIC bei Illustrationen, die Zeichenfolgen auf dem Bildschirm in beiden Sprachen, Inhalt frei vom Untertitelband.
  • Überprüfe: rendere Standbilder bei Anker-basierten Frames für den gesamten Film in jeder Sprache und ordne sie zu Kontaktbögen (scripts/review.py <Composition> <Schnitt> [--scenes ...], ein Paket für alle Frames), und schau – Überlappungen, Beschnitt, leere Frames, unleserlicher Text, alles, was nicht zur Botschaft passt. Überprüfe dann das Tempo, indem du die Bögen als die Geschichte liest, die ein Zuschauer bekommt: markiere jeden Abschnitt über ~20 s ohne neue echte Visualisierung, jede Liste von drei oder mehr vorgelesenen Elementen, jede Formel oder Theorie, die nicht an Daten auf dem Bildschirm gebunden ist, und jede Szene, die die eine Erkenntnis nicht voranbringt – komprimiere oder schneide diese. Iteriere.

7. Unabhängiger Faktencheck

Starte einen neuen Agenten, der nichts gebaut hat, um das Skript und jede Zeichenfolge/Zahl auf dem Bildschirm gegen das Papier zu prüfen (Aufforderung in reference/rigor.md). Ein leichter Durchgang reicht standardmäßig: das Skript und die Kopie direkt nach der Fertigstellung des Skripts (vor der bezahlten Stimme, wenn Formulierungskorrekturen am günstigsten sind) – Zahlen, Einstellungen, Übertreibungen. Überprüfe die Bildschirme selbst gegen notes/claims.md beim Überprüfen der Bögen; füge einen zweiten unabhängigen Durchgang (Bildschirme, geplottete Daten, Thumbnails) nur bei einem wichtigen Film oder auf Wunsch des Benutzers hinzu. Korrigiere MUSS-FIX-Punkte (einschließlich Voice-Over-Formulierungen, dann generiere diese Szenen neu und passe die Musik um: music.py --refit für einen generierten Teppich, das gleiche --file … --keep-ending N erneut für einen Bibliothekstitel) und die meisten SOLLTE-FIX-Punkte.

8. Ton, Render

…

Verwandte Skills