Was macht paper2video?
Erstelle ein Video, das ein Fremder ohne Vorwissen verstehen kann, das der Arbeit treu bleibt und gut genug aussieht, um es zu teilen: echte Daten früh auf dem Bildschirm, eine Idee pro Takt, flüssige Bewegungen, die erklären statt dekorieren.
Du bist der Lead: Du planst, erstellst die gemeinsamen Bausteine, vergibst klar abgegrenzte Aufgaben an Subagenten, integrierst und trägst die Verantwortung für die Korrektheit. Arbeite von Anfang bis Ende autonom, es sei denn, der Benutzer wünscht Zwischenstände; zeige dem Benutzer Ergebnisse (Standbilder, Entwürfe, Renderings), nicht Fragen, wann immer ein sinnvoller Standard existiert.
Begleitmaterialien (lies sie, wenn du diese Phase erreichst):
reference/rigor.md— Behauptungsregister, Datenhandhabung, unabhängiger Faktencheckreference/voice.md— Erzähl-Backends (ElevenLabs / kostenloses edge-tts / selbst gehostetes GPT-SoVITS / die eigene Aufnahme des Benutzers / kein Ton), Qualitätssicherung, Aussprache, Open-Source-TTS-Know-howreference/visual-style.md— Designsystem, Bewegungsregeln, Datenintegrität, Überprüfungsschleifereference/platforms.md— YouTube + Bilibili-Liefergegenstände: Spezifikationen, Thumbnails, Titel, Beschreibungen, Kapitelreference/vertical.md— Der 9:16-Handy-Schnitt: Safe Area, Schriftgrößen, ein Fokus pro Takt, Hook, Erstellung aus demselben Audioreference/handoff.md— Verwendung der eigenen Materialien des Benutzers und Export für Bearbeitungssoftwarereference/third-party.md— Start nur mit einem arXiv-Link/Titel: Quellen-, Code- und Datenfindung; Zahlen aus LaTeX/Abbildungen extrahieren; kleine CPU-Illustrationen; Treue, wenn die Arbeit nicht vom Benutzer stammtscripts/— Die Pipeline (siehescripts/README.md);template/— Der Remotion-Starter (siehetemplate/README.md)
0. Aufnahme (kurz halten)
Du brauchst: die Arbeit — ein arXiv-Link oder ein Papiertitel reicht (dann folge reference/third-party.md, um Quelle, Code und Daten selbst zu finden); ein Repository, Pfad, Projektseite oder lesbarer Remote-Rechner funktioniert auch. Wessen Arbeit: Die eigene des Benutzers (erste Person erlaubt) oder die eines anderen (dritte Person, treu, mit Quellenangabe — reference/third-party.md). Sprachen und Plattformen (Standard: ein englischer Schnitt für YouTube und ein chinesischer Schnitt für Bilibili, beide 16:9, plus Thumbnails in mehreren Größen und Titel/Beschreibungen/Kapitel für beide), und Erzählung (siehe reference/voice.md; Standard: ElevenLabs, falls ein Schlüssel in env/.env verfügbar ist, andernfalls edge-tts, und dies mitteilen). Frage nur, was du nicht standardmäßig festlegen kannst. Frage auch einmal: erste Person („unser Papier“) oder dritte Person („dieses Papier“), und alles, was nicht erscheinen darf (unveröffentlichte Nebenprojekte, anonyme Einreichungen, private Daten).
Behandle jede entfernte/geteilte Ressource als schreibgeschützt, sofern nicht anders angegeben; liste Dateien und Größen auf, bevor du etwas Großes herunterlädst (bei ca. 500 MB nachfragen); drucke oder committe niemals Schlüssel.
1. Richte die Werkstatt ein
- Erstelle ein Remotion-Projekt in einem neuen Ordner (z. B.
npx create-video@latest --blank, oder kopiere die neueste leere Remotion-Vorlage); zwinge den Benutzer nicht, etwas von Hand zu installieren — installiere Node-Abhängigkeiten selbst und überprüfeffmpeg,python3unduv(installiereuvüber sein offizielles Skript oder pip, falls fehlend). - Installiere die offiziellen Remotion-Agent-Skills, falls sie noch nicht verfügbar sind (
~/.agents/skills/remotion-*oder in deinen Skills gelistet):npx -y skills add remotion-dev/skills(siehe remotion.dev/docs/ai für den aktuellen Befehl). Folge ihnen für Remotion-API-Details. - Kopiere
template/in das Projekt (mergepackage.additions.jsoninpackage.json,npm install), kopierescripts/nach<project>/scripts/, erstellenotes/,data/(roh, git-ignoriert),public/data/,out/(nur aktuelle Liefergegenstände, feste Namen:reference/platforms.md→ Dateien),review/(Wegwerf-Standbilder und Kontaktbögen) und eine Projekt-CLAUDE.md, die Folgendes festhält: das Ziel, Zielgruppen, Sprachen, Sprachauswahl, die „darf nicht erscheinen“-Liste, das Wahrheitsdokument und jegliches Benutzerfeedback, sobald es eintrifft (datierte Einträge). Halte es aktuell – so bleiben spätere Sitzungen (und Subagenten) konsistent. npx tsc --noEmitund rendere ein Standbild der Vorlage, um zu beweisen, dass die Toolchain funktioniert.- Erstellst du mehrere Videos? Verwende einen Arbeitsbereich: ein Ordner mit einer gemeinsamen
package.json/node_modules(eine Installation, ~400 MB statt einer pro Video; alle@remotion/*in einer Version) und einer gemeinsamen.env, plus einer Arbeitsbereichs-CLAUDE.mdmit den geltenden Regeln für jedes Video (Claude Code liest übergeordneteCLAUDE.md-Dateien). Jedes Video ist ein eigener Ordner (src/,public/,scenes.json,notes/,data/,out/,review/,audio_cache/,scripts/, eigeneCLAUDE.md) mitnode_modulesund.env, die auf das Arbeitsbereichs-Stammverzeichnis verlinkt sind;scripts/new_video.sh <ShortName>(kopiere es in das Arbeitsbereichs-Stammverzeichnis) erstellt eines als<NNN>_<ShortName>, nummeriert abwärts von 999, sodass eine Sortierung nach Namen die Videos zuerst auflistet, die neuesten oben. Nach Änderungen an den gemeinsamen Versionen jedes Video auf Typfehler prüfen und einige gerenderte Frames mit der endgültigen Datei vergleichen.
2. Verstehe die Arbeit, bevor du ein Wort schreibst
Sammle zuerst das Material (reference/third-party.md §1–2, wenn du nur einen Link oder Titel hast). Lies das Papier ganz durch (und den Anhang), die README / Projektseite und überfliege den Code, um zu sehen, woraus die Abbildungen bestehen. Finde das Kernergebnis und warum es überraschend ist, was die Arbeit sehenswert macht (die überraschendste Beobachtung, das klügste Experiment, das Beispiel, das zum Schmunzeln bringt), die Absicht der Autoren (die Frage, die jedes Experiment beantwortet, warum sie es so aufgebaut haben, was sie ausprobiert haben), die 2–4 Behauptungen, die die Geschichte tragen, und die Visualisierungen, die sie mit echten Daten zeigen können (Figurendaten-Exporte, Ergebnis-JSONs, protokollierte Metriken, Demo-Ausgaben). Bevorzuge exportierte Figurendaten oder Rohresultate gegenüber dem Digitalisieren von Plots. Schreibe notes/understanding.md: den Ein-Satz-Plot, die Behauptungen mit ihren Zahlen und Einstellungen, die Kandidaten-Visualisierungen und alles, was verwirrend ist oder leicht übertrieben werden kann.
3. Geschichte, Skript und Behauptungen
- Länge und Fokus zuerst. Standard: 3–4 Minuten pro Schnitt, höchstens 4:00, es sei denn, der Benutzer wünscht mehr – etwa 450–600 englische Wörter oder 1.100–1.300 chinesische Zeichen Erzählung. Ein Video ist keine Vorlesung des Papiers: Wähle die eine Erkenntnis, der der ganze Film dient, und die 2–3 Beweisstücke, die sie tragen, und gib allem anderen einen Satz oder überlasse es der Beschreibung. Treu bedeutet, dass nichts verzerrt wird, nicht dass jeder Abschnitt erscheint.
- Mach es unterhaltsam, zuerst rigoros. Wähle die interessantesten Experimente und Beispiele als die Beweis-Takte und zeige jedes so, wie die Autoren es aufgebaut haben – die Frage, was sie geändert haben, was passiert ist –, sodass der Zuschauer die Idee und die Absicht der Autoren versteht, nicht nur eine Zahl. Humor und Überraschung kommen aus dem echten Material (ein eindrucksvolles Beispiel, ein unerwartetes Ergebnis, eine clevere Kontrolle), niemals aus der Dehnung einer Behauptung; wenn eine lustige Zeile das Papier überstrapazieren würde, streiche sie.
- Zeitbudget für einen 4-minütigen Film: Hook 15–25 s (das Hauptergebnis des Papiers ist innerhalb der ersten 30 s als echte Daten auf dem Bildschirm) · Einführung 30–40 s · die Beweise ≥ 40 % des Films · Mechanismus/Theorie ≤ 20 % und nur, was gezeigt werden kann · Schlussfolgerung ≤ 15 s. Bei einem bekannten älteren Papier ein Wirkungs-Takt (≤ 20–30 s, vor der Schlussfolgerung): was es gestartet oder verändert hat, erzählt mit belegten Fakten – benannte Folgearbeiten mit Jahren, wo die Idee heute verwendet wird; eine Zitationszahl nur mit Quelle und Datum; keine unbelegten Superlative. Keine Einschränkungs-Szene standardmäßig: nur wenn das Papier selbst seine Einschränkungen als zentralen Teil behandelt (dann ≤ 20 s); andernfalls lebt der Umfang in den Einstellungen, die du bei jedem Ergebnis angibst. Ableitungen, zusätzliche Experimente und Listen von Implikationen erhalten nur dann eine Szene, wenn sie mit echten Daten in ≤ 20–30 s gezeigt werden können.
- Schneide, bevor du zahlst:
python3 scripts/vo.py build --lang <l> --dry-rungibt die geschätzte Filmlänge basierend auf der Lesegeschwindigkeit aus (innerhalb von ~5 % der gesprochenen Länge); kürze das Skript, bis es passt, generiere dann die Stimme. - Struktur (passe an, erzwinge nichts): Hook mit der stärksten echten Visualisierung (≤ ~15 s) → eine Titelkarte im Vollbild (
template/src/components/TitleCard.tsx: Titel des Papiers, Autoren und Institutionen, Veranstaltung oder arXiv-ID, sein Ein-Satz-Anspruch und „inoffizieller Erklärfilm“ bei fremden Papieren; plus, als abgedunkeltes Hintergrundelement, die erste Seite des Papier-PDFs – Titel, Autoren, Zugehörigkeiten, Zusammenfassung; der erste Bildschirm seiner Webseite nur, wenn es kein PDF gibt – Einblendung, während Titel und Institutionen vorgelesen werden:node scripts/paper_shot.mjs <arXiv id | PDF | URL>→public/shots/paper.png,TitleCard shot="shots/paper.png"; mittig-rechts bei 16:9, unter dem Titel bei 9:16; nicht auf den Thumbnails), während die Erzählung das Papier und die Institutionen der Autoren nennt (nicht die Namen der Autoren: TTS verschandelt sie, und ein Name, der in ein anderes Skript geraten ist, ist oft falsch – auf dem Bildschirm und in den Texten schreibe Namen genau so, wie das Papier oder arXiv sie schreibt, niemals transkribiert) – eine eigene Szene, spätestens ~20 s auf dem Bildschirm → eine Einführung, die einen Zuschauer ohne Vorwissen abholt (was ist die Aufgabe/das Objekt, in einfachen Worten, animiert) → das Problem, gezeigt mit Daten → die Idee → warum es funktioniert (Mechanismus) → Ergebnisse, jedes mit seiner Einstellung → Schlussfolgerung, die mit dem Punkt des Papiers endet. Kein „Links sind in der Beschreibung“ / 「论文和代码见简介」-Satz, weder gesprochen noch auf dem Bildschirm: Zuschauer wissen, wo Links leben, und es beendet den Film mit Füllmaterial (die Beschreibung und die Titelkarte tragen die Kennungen). Platziere gute Visualisierungen früh; hebe sie nicht für das Ende auf. - Schreibe für das Ohr: kurze Sätze, eine Zahl pro Satz, konkrete Substantive, keine „Nicht X, sondern Y“-Wiederholungen, keine fingierten Frage-und-Antwort, gleichmäßiger Ton über Szenengrenzen hinweg (ein abruptes „Jetzt kommt der lustige Teil!“ wirkt aufgesetzt). Gib Formeln und Diagrammen einen Takt Stille.
- Setze das Skript in
scenes.json(Schema:template/scenes.example.json): pro Szene und Sprache, Zeilen mittext(Untertitel),tts(was gesprochen wird: Umschreibungen, spärliche Audio-Tags),anchors(Wörter, die visuelle Takte zeitlich steuern), optionalpauseAfterMs; pro Szene optional einchapter. Schreibe jede Sprache muttersprachlich, anstatt Wort für Wort zu übersetzen; behalte technische Begriffe auf Englisch, wo das Publikum sie erwartet. - Starte jetzt
notes/claims.md(reference/rigor.md): jede Zahl und jeder Faktsatz → seine Quelle. Schreibenotes/storyboard.md: pro Szene die Visualisierung, die Anker-getriebenen Takte, die Datendatei, die Quellzeile.
4. Daten → public/data/*.json
Ein Agent (du oder ein Subagent) ist dafür verantwortlich, Rohmaterial in sauberes JSON mit einem source-Feld pro Datei umzuwandeln, und schreibt notes/data_report.md, das jede Schlagzeilenzahl mit dem Papier abgleicht und Abweichungen und Fallstricke auflistet (Metrikvarianten, umbenannte Begriffe, Rundungen). Szenen lesen nur public/data.
5. Ton zuerst, dann Bild
Baue die Erzählung vor der Animation (reference/voice.md): scripts/vo.py build --lang <l> erzeugt szenenweises Audio und public/data/vo.<l>.json mit Wortzeitsteuerungen und Anker-Frames. Das Bild wird dann an Anker gebunden, sodass beide Sprachen automatisch synchron bleiben. Überprüfe den Bericht: ASR-Rückübersetzungsfehler, seltsame Prosodie, fehlende Anker; korrigiere Formulierungen/Umschreibungen, generiere nur betroffene Szenen neu (Ausgaben werden nach Inhalts-Hash gecacht).
6. Baue die Szenen
- Baue zuerst das Theme, gemeinsame Komponenten und alles, was szenenübergreifend wiederverwendet wird (siehe
reference/visual-style.md); dann können Szenen mit expliziter Dateibesitz über Subagenten parallelisiert werden (ein Szenensatz pro Agent, niemand bearbeitet gemeinsame Dateien – sie melden gewünschte Änderungen an dich zurück). Gib jedem Agenten:CLAUDE.md, den Storyboard-Eintrag, diescenes.json-Zeilen und Ankernamen, die Datendateien, die Stilregeln, die Kapitelnummer und den Titel für jede seiner Szenen (parallele Agenten nummerieren sonst ihre Kapitel-Tags unabhängig) und die Anforderung, Standbilder in jeder Sprache zu rendern und zu inspizieren, bevor sie berichten (scripts/review.py). Führe danach einmalscripts/zh_font_subset.pyaus (neue chinesische Zeichen fallen bis dahin auf eine Systemschrift zurück) und, nach jedem chinesischen Sprachbau,scripts/zh_breaks.py(die Untertitel beider Schnitte brechen Chinesisch nur zwischen Wörtern). - Die Papierseite der Titelkarte: rendere sie, sobald das Papier feststeht (
node scripts/paper_shot.mjs <arXiv id>lädt das PDF herunter indata/und rendert Seite 1; ein lokales PDF oder eine Webartikel-URL funktioniert auch; niemals ein handgemachter Screenshot), übergebe es alsshot, bindebeats.shotan die Titelwörter und, bei 9:16,beats.shotDiman die Stelle, wo die Erzählung zu den Institutionen übergeht; überprüfe die Standbilder beider Schnitte (Text bleibt lesbar über der Seite, Untertitel klar). - Jede Szene: Überschrift, Takte, die von Ankern gesteuert werden (mit Fallbacks), eine Quellzeile bei Datenaufnahmen, SCHEMATIC bei Illustrationen, die Zeichenfolgen auf dem Bildschirm in beiden Sprachen, Inhalt frei vom Untertitelband.
- Überprüfe: rendere Standbilder bei Anker-basierten Frames für den gesamten Film in jeder Sprache und ordne sie zu Kontaktbögen (
scripts/review.py <Composition> <Schnitt> [--scenes ...], ein Paket für alle Frames), und schau – Überlappungen, Beschnitt, leere Frames, unleserlicher Text, alles, was nicht zur Botschaft passt. Überprüfe dann das Tempo, indem du die Bögen als die Geschichte liest, die ein Zuschauer bekommt: markiere jeden Abschnitt über ~20 s ohne neue echte Visualisierung, jede Liste von drei oder mehr vorgelesenen Elementen, jede Formel oder Theorie, die nicht an Daten auf dem Bildschirm gebunden ist, und jede Szene, die die eine Erkenntnis nicht voranbringt – komprimiere oder schneide diese. Iteriere.
7. Unabhängiger Faktencheck
Starte einen neuen Agenten, der nichts gebaut hat, um das Skript und jede Zeichenfolge/Zahl auf dem Bildschirm gegen das Papier zu prüfen (Aufforderung in reference/rigor.md). Ein leichter Durchgang reicht standardmäßig: das Skript und die Kopie direkt nach der Fertigstellung des Skripts (vor der bezahlten Stimme, wenn Formulierungskorrekturen am günstigsten sind) – Zahlen, Einstellungen, Übertreibungen. Überprüfe die Bildschirme selbst gegen notes/claims.md beim Überprüfen der Bögen; füge einen zweiten unabhängigen Durchgang (Bildschirme, geplottete Daten, Thumbnails) nur bei einem wichtigen Film oder auf Wunsch des Benutzers hinzu. Korrigiere MUSS-FIX-Punkte (einschließlich Voice-Over-Formulierungen, dann generiere diese Szenen neu und passe die Musik um: music.py --refit für einen generierten Teppich, das gleiche --file … --keep-ending N erneut für einen Bibliothekstitel) und die meisten SOLLTE-FIX-Punkte.
8. Ton, Render
…