Text → animiertes Video
Dies ist eine Fliki-ähnliche "Text-zu-Animation"-Pipeline (siehe references/fliki-notes.md), aber die Bilder werden in Code gezeichnet und in diesem Container gerendert, sodass keine Fliki- oder Modell-Credits, kein Wasserzeichen und keine 3-Minuten-Begrenzung vorhanden sind.
Eingabe: eines von
- eine einzeilige Idee
- ein Skript
- eine Blog-URL
- ein PDF oder PPT
- eine vorhandene Voiceover-MP3
Ausgabe: eine fertige MP4, plus eine WhatsApp-Kopie, im vom Benutzer gewählten Seitenverhältnis.
Schritte
-
Briefing. Sammle diese Angaben, verwende die Standardwerte, wenn der Benutzer nichts sagt:
- Sprache (Standard: die Sprache des Benutzers; Hinglish/Hindi ist in Ordnung)
- Tonfall (neutral)
- Dauer (60 s)
- Seitenverhältnis (9:16 für Reels/Shorts, 16:9 für YouTube, 1:1 für den Feed)
- Stilvorlage (siehe unten)
- Stimme: die MP3 des Benutzers, ElevenLabs oder keine
Frage nur nach dem, was du nicht standardmäßig vorgeben kannst.
-
Quelle → Skript.
- Idee: Schreibe es selbst.
- URL / PDF / PPT: Lies die Quelle, behalte nur Fakten, die sie unterstützt, und zitiere sie auf der Endkarte.
- Länge: Schreibe ein szenenweise segmentiertes Skript mit etwa 140 Wörtern/min für Englisch, 120 für Hindi.
- Struktur: Ein Haken in den ersten 3 s, eine Idee pro Szene, ein CTA am Ende.
- Prüfung: Zeige das Skript und warte auf OK, es sei denn, der Benutzer hat das Skript bereitgestellt.
-
Szenenplan. Schreibe
plan.json(Form siehe unten) mit 1 Szene pro 4–8 s und zeige es als kurze Tabelle an.{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<Sprachzeile>","visual":"<was gezeichnet wird>","motion":"<Kamera/Animation>","sfx":["whoosh:0.1"]}]} -
Stimme. Wähle eine aus:
- Benutzer-MP3: Verwende sie wie sie ist. Wenn sich Musik unter der Stimme befindet, trenne zuerst die Vocals (demucs) vor dem Ausrichten.
- ElevenLabs: Der Benutzer benötigt einen Schlüssel. Frage mit
request_credentialfür Hostapi.elevenlabs.io, Headerxi-api-key. Bitte sie niemals, den Schlüssel in den Chat einzufügen. Rufe dannPOST https://api.elevenlabs.io/v1/text-to-speech/{voice_id}auf mitmodel_ideleven_multilingual_v2(oder dem neuesten mehrsprachigen Modell, das die API auflistet), eine Anfrage pro Szene oder für das gesamte Skript. - Keine Stimme: Verwende nur Untertitel und Soundeffekte und takte jede Szene auf ihre geplante Länge.
-
Ausrichten.
python scripts/align.py voice.wav script.txt words.json 30liefert Wortzeiten, pluswords_mouth.jsonfür Lippen-Synchronisation.- Es benötigt
pip install --break-system-packages torch torchaudio uroman librosa soundfileund lädt sein Modell vondownload.pytorch.orgherunter, was diese Umgebung erlaubt. - Takte die
plan.json-Szenen auf die ausgerichteten Wörter um. Errate niemals Zeitangaben, wenn eine Stimme existiert.
-
Figurenblatt zuerst (wenn das Video Figuren hat). Zeichne jede Figur einmal als Funktion mit ein paar Posen (still, sprechen, zeigen, überrascht) und speichere ein PNG-Blatt. Verwende dieselben Funktionen in jeder Szene, damit die Figuren durchgehend identisch aussehen. Figuren müssen originell sein; kopiere niemals eine bestehende Cartoon- oder Anime-Figur.
-
Erstelle
scene.html.- Eine Leinwand der Größe W×H.
window.renderAt(t)muss deterministisch sein: gesetzter Zufall, keinDate.now(), keine CSS-Animation.window.readywird aufgelöst, nachdem Schriftarten geladen wurden. Verwende lokale woff2-Dateien: Baloo 2 oder Noto Sans Devanagari für Hindi, Inter/Anton/Bangers/Caveat je nach Stil.- Untertitel werden in die Leinwand gezeichnet:
- 2–5 Wörter pro Abschnitt, mit Unterbrechung bei Satzzeichen oder bei Pausen über 0,35 s
- das aktive Wort wird in dem Moment hervorgehoben, in dem es beginnt
- Text bleibt in der sicheren Zone; für 9:16 nichts in den oberen 250 px oder unteren 420 px
- Bewegung: beruhigte Bewegungen, Blinzeln alle 2–5 s, sanftes Wippen, ein langsamer Zoom pro Szene und eine Übergangsbewegung zwischen Szenen.
-
Standbildprüfung. Führe
node scripts/render.cjs stills scene.html <8–12 Mal> stills/ W Haus, ordne dann die Standbilder mit ffmpegtilezu einem Kontaktbogen an. Sieh dir den Bogen selbst an, behebe Probleme, zeige ihn dann dem Benutzer und warte auf OK vor dem vollständigen Rendern. -
Rendern und mischen.
- Video:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - Soundeffekte:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - Mische die Stimme bei 0 dB und die Soundeffekte etwa bei −12 dB. Verwende Musik nur, wenn der Benutzer sie bereitstellt; ducke sie unter die Stimme mit
sidechaincompress. - Multiplexe, dann
loudnorm=I=-14:TP=-1.5.
- Video:
-
Liefern.
- Überprüfe auf schwarze Bilder mit
blackdetect. - Erstelle eine WhatsApp/720p-Kopie unter 20 MB.
- Sende beide Dateien mit
SendUserFile. - Für andere Seitenverhältnisse schreibe das Layout als Funktion von (W,H) und rendere neu.
- Überprüfe auf schwarze Bilder mit
Stilvorlagen
| Vorlage | Aussehen | Bewegung |
|---|---|---|
2d-cartoon | Abgerundete Formen, flache Farbe mit einer Schattierung, dunkle 4–6 px Kontur, helle Hintergründe | Schwungvoll (Back/Elastic Easing), Stauchen bei Landungen |
anime-style | Große Augen, dicke klare Linien, flache Farbe + harter Schatten, Himmelsverläufe | Geschwindigkeitslinien, Impact Frames, kleiner Bildschirmwackler bei Treffern |
comic-book | Schwere schwarze Tinte, Halbton-Schattierung, Panels, Aufkleber (POW, WAAH!) | Panel-Einschläge, Zoom-Punch, Seitenumblätter-Übergänge |
storybook (Fantasy) | Weiche malerische Verläufe, Papierkörnung, warmes Licht, abgerundete Serifenschrift | Langsame Parallaxe, treibende Partikel, sanfte Überblendungen |
whiteboard | Weißes Brett, schwarze Marker-Striche mit stroke-dashoffset gezeichnet, eine Akzentfarbe | Eine Hand/ein Stift folgt dem Strich, der gezeichnet wird; Auswischen |
kinetic-type | Fette Schrift (Anton/Inter Black), 2–3 Farben, Formen als Akzente | Wörter knallen, gleiten und skalieren auf dem Beat; Masken und Match Cuts |
cinematic-2d | Semirealistische flache Illustration, einzelnes dramatisches Licht, gedämpfte Palette | Nur langsame Zooms und Schwenks; dokumentarische Erzählgeschwindigkeit |
Regeln
- In Code zeichnen. Alles wird in Code gezeichnet: kein Archivmaterial und keine Bild- oder Videogeneratoren, es sei denn, der Benutzer stellt Medien bereit oder bittet um generierte Clips (dann verwende
ai-video-generator). - Echte Menschen. Erstelle keine realistischen KI-Abbilder von echten, lebenden Persönlichkeiten des öffentlichen Lebens. Verwende symbolische Bilder, Silhouetten oder eine Karikatur des Benutzers, gezeichnet nach seinen Fotos.
- Fakten. Fakten auf dem Bildschirm müssen aus der Quelle des Benutzers oder einer verifizierten Suche stammen. Erfinde niemals Statistiken, Zitate oder Erfahrungsberichte.
- Überschreiben. Frage nach, bevor du eine vorhandene Ausgabedatei überschreibst.