Bewegte Seite zu Video
Dieses Verzeichnis ist das Werkzeug. Ein Headless-Browser durchläuft die bewegte Seite wie ein Leser (scrollt, klickt, zieht, der Mauszeiger ist sichtbar), zeichnet dabei den Bildschirm auf, fügt eine Sprachaufnahme hinzu und erzeugt ein 1080p MP4-Video.
Die Aufnahme und Synthese sind automatisch; das Drehbuch für jede bewegte Seite musst du selbst schreiben: Verstehe die Seite, entscheide, was du erzählen und was du weglassen willst, und bestimme, welche Aktionen auf der Seite bei welchem Schritt ausgeführt werden. Dies ist der Hauptaufwand.
lib/record.mjs– Aufzeichnungsmodul: Öffnet die Seite, injiziert Cursor und Untertitel, erfasst Einzelbilder, komprimiert sie zu einem Video und nimmt die Originalseiten-Sounds auf.lib/make.mjs– Rundum-Erklärmodus: Synthetisiert den Sprachkommentar → treibt die Aktionen basierend auf der Sprachdauer an → erzeugt das finale Video und die Untertitel.lib/voice.mjs+lib/tts.py– Stimmklonen mit IndexTTS-2.lib/subtitles.mjs– Untertitel-Segmentierung, Dauer-Schätzung, Statistik über stumme Abschnitte (mit Tests:npm test).examples/demo/– Ein sofort ausführbares Mini-Beispiel (eine kleine bewegte Seite + ihr Drehbuch). Führe es zuerst aus, um sicherzustellen, dass die Umgebung funktioniert.examples/– Zwei weitere echte Beispiele pro Typ, die jedoch nicht ohne die zugehörigen Seitendateien laufen. Sie dienen als Vorlage für die Schreibweise.
Die Umgebungsvorbereitung findest du in der README. Zwischendateien werden in work/, die finalen Videos in out/ im aktuellen Arbeitsverzeichnis gespeichert. Führe das Tool also in dem Verzeichnis aus, in dem du das Video haben möchtest.
Klassifizierung
| A: Erklärmodus | B: Eigen-Ton-Modus | |
|---|---|---|
| Eigenschaften der bewegten Seite | Keine menschliche Stimme; der Leser muss selbst lesen und interagieren | Enthält eigene Tonspur, Soundeffekte, Untertitel; läuft automatisch beim Scrollen ab |
| Video-Ton | Du schreibst einen separaten Kommentar und klonst die Stimme | Nimmt den Original-Ton der Seite auf; fügt nur synthetische Stimme für Textstellen ohne Ton hinzu |
| Beispiele | examples/explainer-involution.mjs | examples/selfvoiced-jensen.mjs |
| Befehl | node lib/make.mjs <Skript>.mjs | node <Skript>.mjs |
So erstellst du ein neues Projekt: Kopiere das entsprechende Beispiel und passe es an. Die Kommentare in den Beispielen erklären, was jeder Abschnitt tut.
Prinzipien
- Erstelle vollständige Erklärvideos, keine Vorschau-Clips.
- Halte das Tempo straff: Stumme Bildabschnitte sollten so kurz wie möglich sein. Prüfe nach der Erstellung die Liste der stummen Passagen – wenn sie länger als ein paar Sekunden sind, passe sie an oder entferne sie.
- Textstellen müssen von einer Stimme begleitet werden, nicht nur von Tippgeräuschen.
- Ändere oder entferne Inhalt auf der bewegten Seite, der im Video nicht gut wirkt (z. B. verkürze Minispiele, mache weniger Übungen). Ändere nur während der Aufnahme, nicht die Originaldatei der Seite (siehe Transform in Modus B).
- Erstelle die erste Version vollständig, bevor du sie jemandem zeigst. Frage nicht zwischendurch Schritt für Schritt nach.
A: Erklärmodus
- Lies die bewegte Seite vollständig und schreibe das Drehbuch:
url,hideCss(z. B. Navigation, Fortschrittsbalken ausblenden),setup,segments. Jeder Segment hat{ id, say, run }:sayist der Sprachkommentar (gleichzeitig auch Untertitel),run(ctx, t)sind die Aktionen während dieses Kommentars; verwendeawait t.at(0.5), um eine Aktion auszuführen, während der Kommentar zur Hälfte gesprochen wird.ctxbietetscrollTo / click / move / drag / wait / card. - Der Kommentar richtet sich an das Publikum, nicht an den Text auf der Seite. Lasse Teile weg, die im Video nicht funktionieren (z. B. frei erkundbare Experimente, lange Listen, Quellenangaben).
- Referenzaufnahme: Gib im Skript
voice: 'Pfad'an oder legevoice/ref.wavim aktuellen Verzeichnis ab. Sie sollte 10–30 Sekunden lang sein, leise und von einer einzelnen Person gesprochen. - Erstelle zuerst eine Version ohne Sprachsynthese:
node lib/make.mjs <Skript>.mjs --silent. Die Segmentdauer wird anhand der Wortanzahl geschätzt; es wird nur der Untertitel verwendet. Innerhalb weniger Minuten siehst du das gesamte Bild und das Timing. Die Sprachsynthese ist langsam; mache sie erst, wenn das visuelle Timing stimmt. - Wenn das visuelle Timing feststeht, entferne
--silentund führe die Sprachsynthese aus. Um bestimmte Segmente zu optimieren, verwende--only Segment-ID,Segment-ID.
lib/tts.py normalisiert die Sprechgeschwindigkeit aller Segmente, verkürzt Pausen innerhalb von Sätzen, entfernt Rauschen und gleicht die Lautstärke an. Wenn die Geschwindigkeit oder Klangfarbe unpassend ist, wird automatisch neu synthetisiert.
B: Eigen-Ton-Modus
- Lies den Quellcode der bewegten Seite und kläre drei Dinge: Wie navigiert man nach unten (Scrollen/Klicken)? Wo bleibt die Seite stehen, um auf Benutzerinteraktion zu warten? Welche Textteile haben keinen Ton?
- Kopiere das entsprechende Beispiel und passe es an:
serve: Stelle das lokale Verzeichnis als Website bereit (mit Request-Interception, kein Port nötig).INTERACTIONS: Jede Interaktion wird durch „Selektor + Aktion“ identifiziert. Verwende echte Mausbewegungen, Ziehen und Klicken. Wenn ein Timeout auftritt, verwende den seiteninternen „Skip“.- Hauptschleife: Scrolle mit dem Mausrad nach unten, wenn keine Interaktion erwartet wird; warte, wenn Text getippt wird; warte auch, wenn die Sprachausgabe noch nicht beendet ist.
transform: Temporäre Modifikation des Skripts beim Senden an den Browser (verkürze Minispiele, Pausen, füge Sprachkommentar ein). Die Originaldatei bleibt unverändert. Die Ersetzung erfolgt basierend auf Textübereinstimmung – wenn keine Übereinstimmung gefunden wird, gibt es einen Fehler, damit Änderungen nicht unbemerkt fehlschlagen.
- Textteile ohne Ton: Liste sie in
synthesize()auf; während der Aufnahme wird der Zeitpunkt des Erscheinens jedes Textes notiert, und am Ende wird der synthetisierte Ton an dieser Stelle eingefügt. Für Text mit menschlicher Stimme deaktiviere die Tippgeräusche; die Geschwindigkeit des Erscheinens passt sich der Dauer der Sprachaufnahme an. - Verwende
--max Sekunden, um zunächst nur den Anfang aufzunehmen;--from Position, um eine bestimmte Szene anzupassen; erst wenn alles stimmt, nimm das gesamte Video in Echtzeit auf (so lange wie die Videolänge).
Fallstricke
- Ton: Der Headless-Chrome muss mit
--disable-audio-outputgestartet werden (bereits inlib/record.mjsenthalten). Mit--mute-audiohängt die Audio-Engine am System-Audio-Gerät; wenn das System-Audio instabil wird, stoppt die Seitenwiedergabe, und die gesamte Aufnahme ist ungültig. - Auflösung: 1080p wird durch
--force-device-scale-factor=1.5+ 1280×720 Fenster erreicht. Verwende kein CSS-Zoom (100vh würde falsch positioniert, Sticky-Layout würde brechen). - Scroll-Narration: Bei Seiten mit GSAP ScrollTrigger etc. nach einer Höhenänderung (z. B. Expandieren eines Abschnitts) ein
resize-Event auslösen, sonst sind die Auslöser an alten Positionen. - Blockierung: Die Beispiele enthalten einen Watchdog; wenn die Seite oder der Ton länger als 40 Sekunden inaktiv ist, wird abgebrochen. Wenn „Blockiert“ auftritt, überprüfe die Ursache und starte neu – nicht einfach wiederholt starten und auf Glück hoffen.
- Sprachsynthese ist langsam: IndexTTS-2 benötigt auf einem Laptop einige Sekunden bis Minuten pro Satz. Für 30–40 Sätze solltest du mindestens eine halbe Stunde einplanen. Wenn auf dem Rechner nur eine solche Aufgabe gleichzeitig laufen soll, setze die Umgebungsvariable
HEAVY_LOCK. - Festplatte: Eine 20-minütige Aufnahme erzeugt etwa 1,5 GB an Zwischendateien.
Nach der Erstellung zwingend prüfen
Claude kann keine Audiodateien anhören. Dies muss dem Nutzer deutlich gesagt werden, nicht vage bleiben.
- Bildprüfung: Extrahiere 40–50 zufällige Einzelbilder aus dem gesamten Video und setze sie zu einem Raster zusammen. Prüfe jedes Interaktionsmoment separat, ob alles korrekt ausgeführt wurde und nicht in der Mitte hängen geblieben ist.
- Protokoll: Jede Interaktion wurde ausgeführt; keine „Fehler“, „Nicht selbst beendet, übersprungen“ oder „Blockiert“. Die Anzahl der Seitenfehler ist 0.
- Ton: Die Audiospur hat die gleiche Länge wie das Video; es gibt keine Unterbrechungen im Ton. Prüfe die Liste der stummen Passagen.
- Bericht: Gib genau an, was du überprüft hast und was nur durch menschliches Hören geprüft werden kann (Aussprache, Tonfall, gemischtsprachige Begriffe); welche Inhalte der bewegten Seite gelöscht oder geändert wurden; und welche stummen Passagen zu lang sind.
Ton-Richtlinien
- Es darf nur die eigene Stimme geklont werden oder eine Stimme, für die eine ausdrückliche Genehmigung vorliegt.
- Wenn synthetisierte Sprachkommentare und echte Original-Stimmen im selben Video gemischt werden, muss in der Videobeschreibung deutlich gemacht werden, dass die Kommentare synthetisiert sind.