Communitygithub.com

Text-zu-animiertem-Video

Verwandelt eine Idee, ein Skript, eine Blog-URL, ein PDF oder PPT in ein fertiges animiertes Video – mit Szenenskript, einheitlichem Stil (2D-Cartoon, Anime, Comic, Märchenbuch, Whiteboard, Kinetic Type), Voiceover, wortgenauen Untertiteln, Soundeffekten/Musik – in Code gezeichnet und als MP4 in 9:16, 16:9 oder 1:1 gerendert.

Was ist Text-zu-animiertem-Video?

Diese Fähigkeit implementiert eine vollständige „Text-zu-Animation“-Pipeline ähnlich wie Fliki, jedoch mit dem entscheidenden Unterschied, dass alle visuellen Elemente direkt in Code gezeichnet und im Container gerendert werden. Es werden keine Credits von Drittanbietern verbraucht, es gibt kein Wasserzeichen und keine 3-Minuten-Begrenzung. Die Pipeline unterstützt die Erstellung von animierten Erklärvideos, Lektionen, Geschichten, Kinder-Videos, „faceless“ YouTube-Episoden oder animierten Werbeanzeigen – solange kein vorhandenes Filmmaterial verwendet wird. Für Videos, die mit generativen Modellen wie Veo, Kling oder Seedance erstellt werden, sollte stattdessen der ai-video-generator verwendet werden; für kinetische Motion-Graphics-Showreels oder Launch-Filme kommt claude-motion-graphics zum Einsatz. Der Prozess gliedert sich in mehrere Schritte: Briefing (Sprache, Ton, Dauer, Seitenverhältnis, Stil, Stimme), Erstellung eines szenenweise segmentierten Skripts (ca. 140 Wörter/min für Englisch), Generierung eines Szenenplans als JSON, Sprachsynthese (per Benutzer-MP3, ElevenLabs oder ohne Stimme), Lippen-synchronisation (Alignment), Zeichnen eines Figurenblatts (bei Figuren im Video), Aufbau der Szene in einer HTML-Canvas mit deterministischem Rendering, eine Stichprobenprüfung mit Kontaktbogen, das vollständige Rendern des Videos inklusive Soundeffekten und die finale Auslieferung als MP4 sowie eine WhatsApp-kompatible Kopie unter 20 MB.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1Harsh88/Video-skill/tree/HEAD/.claude/skills/text-to-animated-video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Text → animiertes Video

Dies ist eine Fliki-ähnliche "Text-zu-Animation"-Pipeline (siehe references/fliki-notes.md), aber die Bilder werden in Code gezeichnet und in diesem Container gerendert, sodass keine Fliki- oder Modell-Credits, kein Wasserzeichen und keine 3-Minuten-Begrenzung vorhanden sind.

Eingabe: eines von

  • eine einzeilige Idee
  • ein Skript
  • eine Blog-URL
  • ein PDF oder PPT
  • eine vorhandene Voiceover-MP3

Ausgabe: eine fertige MP4, plus eine WhatsApp-Kopie, im vom Benutzer gewählten Seitenverhältnis.

Schritte

  1. Briefing. Sammle diese Angaben, verwende die Standardwerte, wenn der Benutzer nichts sagt:

    • Sprache (Standard: die Sprache des Benutzers; Hinglish/Hindi ist in Ordnung)
    • Tonfall (neutral)
    • Dauer (60 s)
    • Seitenverhältnis (9:16 für Reels/Shorts, 16:9 für YouTube, 1:1 für den Feed)
    • Stilvorlage (siehe unten)
    • Stimme: die MP3 des Benutzers, ElevenLabs oder keine

    Frage nur nach dem, was du nicht standardmäßig vorgeben kannst.

  2. Quelle → Skript.

    • Idee: Schreibe es selbst.
    • URL / PDF / PPT: Lies die Quelle, behalte nur Fakten, die sie unterstützt, und zitiere sie auf der Endkarte.
    • Länge: Schreibe ein szenenweise segmentiertes Skript mit etwa 140 Wörtern/min für Englisch, 120 für Hindi.
    • Struktur: Ein Haken in den ersten 3 s, eine Idee pro Szene, ein CTA am Ende.
    • Prüfung: Zeige das Skript und warte auf OK, es sei denn, der Benutzer hat das Skript bereitgestellt.
  3. Szenenplan. Schreibe plan.json (Form siehe unten) mit 1 Szene pro 4–8 s und zeige es als kurze Tabelle an.

    {"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[
      {"id":1,"t0":0,"t1":5.2,"text":"<Sprachzeile>","visual":"<was gezeichnet wird>","motion":"<Kamera/Animation>","sfx":["whoosh:0.1"]}]}
    
  4. Stimme. Wähle eine aus:

    • Benutzer-MP3: Verwende sie wie sie ist. Wenn sich Musik unter der Stimme befindet, trenne zuerst die Vocals (demucs) vor dem Ausrichten.
    • ElevenLabs: Der Benutzer benötigt einen Schlüssel. Frage mit request_credential für Host api.elevenlabs.io, Header xi-api-key. Bitte sie niemals, den Schlüssel in den Chat einzufügen. Rufe dann POST https://api.elevenlabs.io/v1/text-to-speech/{voice_id} auf mit model_id eleven_multilingual_v2 (oder dem neuesten mehrsprachigen Modell, das die API auflistet), eine Anfrage pro Szene oder für das gesamte Skript.
    • Keine Stimme: Verwende nur Untertitel und Soundeffekte und takte jede Szene auf ihre geplante Länge.
  5. Ausrichten.

    • python scripts/align.py voice.wav script.txt words.json 30 liefert Wortzeiten, plus words_mouth.json für Lippen-Synchronisation.
    • Es benötigt pip install --break-system-packages torch torchaudio uroman librosa soundfile und lädt sein Modell von download.pytorch.org herunter, was diese Umgebung erlaubt.
    • Takte die plan.json-Szenen auf die ausgerichteten Wörter um. Errate niemals Zeitangaben, wenn eine Stimme existiert.
  6. Figurenblatt zuerst (wenn das Video Figuren hat). Zeichne jede Figur einmal als Funktion mit ein paar Posen (still, sprechen, zeigen, überrascht) und speichere ein PNG-Blatt. Verwende dieselben Funktionen in jeder Szene, damit die Figuren durchgehend identisch aussehen. Figuren müssen originell sein; kopiere niemals eine bestehende Cartoon- oder Anime-Figur.

  7. Erstelle scene.html.

    • Eine Leinwand der Größe W×H.
    • window.renderAt(t) muss deterministisch sein: gesetzter Zufall, kein Date.now(), keine CSS-Animation.
    • window.ready wird aufgelöst, nachdem Schriftarten geladen wurden. Verwende lokale woff2-Dateien: Baloo 2 oder Noto Sans Devanagari für Hindi, Inter/Anton/Bangers/Caveat je nach Stil.
    • Untertitel werden in die Leinwand gezeichnet:
      • 2–5 Wörter pro Abschnitt, mit Unterbrechung bei Satzzeichen oder bei Pausen über 0,35 s
      • das aktive Wort wird in dem Moment hervorgehoben, in dem es beginnt
      • Text bleibt in der sicheren Zone; für 9:16 nichts in den oberen 250 px oder unteren 420 px
    • Bewegung: beruhigte Bewegungen, Blinzeln alle 2–5 s, sanftes Wippen, ein langsamer Zoom pro Szene und eine Übergangsbewegung zwischen Szenen.
  8. Standbildprüfung. Führe node scripts/render.cjs stills scene.html <8–12 Mal> stills/ W H aus, ordne dann die Standbilder mit ffmpeg tile zu einem Kontaktbogen an. Sieh dir den Bogen selbst an, behebe Probleme, zeige ihn dann dem Benutzer und warte auf OK vor dem vollständigen Rendern.

  9. Rendern und mischen.

    • Video: node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H
    • Soundeffekte: python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5
    • Mische die Stimme bei 0 dB und die Soundeffekte etwa bei −12 dB. Verwende Musik nur, wenn der Benutzer sie bereitstellt; ducke sie unter die Stimme mit sidechaincompress.
    • Multiplexe, dann loudnorm=I=-14:TP=-1.5.
  10. Liefern.

    • Überprüfe auf schwarze Bilder mit blackdetect.
    • Erstelle eine WhatsApp/720p-Kopie unter 20 MB.
    • Sende beide Dateien mit SendUserFile.
    • Für andere Seitenverhältnisse schreibe das Layout als Funktion von (W,H) und rendere neu.

Stilvorlagen

VorlageAussehenBewegung
2d-cartoonAbgerundete Formen, flache Farbe mit einer Schattierung, dunkle 4–6 px Kontur, helle HintergründeSchwungvoll (Back/Elastic Easing), Stauchen bei Landungen
anime-styleGroße Augen, dicke klare Linien, flache Farbe + harter Schatten, HimmelsverläufeGeschwindigkeitslinien, Impact Frames, kleiner Bildschirmwackler bei Treffern
comic-bookSchwere schwarze Tinte, Halbton-Schattierung, Panels, Aufkleber (POW, WAAH!)Panel-Einschläge, Zoom-Punch, Seitenumblätter-Übergänge
storybook (Fantasy)Weiche malerische Verläufe, Papierkörnung, warmes Licht, abgerundete SerifenschriftLangsame Parallaxe, treibende Partikel, sanfte Überblendungen
whiteboardWeißes Brett, schwarze Marker-Striche mit stroke-dashoffset gezeichnet, eine AkzentfarbeEine Hand/ein Stift folgt dem Strich, der gezeichnet wird; Auswischen
kinetic-typeFette Schrift (Anton/Inter Black), 2–3 Farben, Formen als AkzenteWörter knallen, gleiten und skalieren auf dem Beat; Masken und Match Cuts
cinematic-2dSemirealistische flache Illustration, einzelnes dramatisches Licht, gedämpfte PaletteNur langsame Zooms und Schwenks; dokumentarische Erzählgeschwindigkeit

Regeln

  • In Code zeichnen. Alles wird in Code gezeichnet: kein Archivmaterial und keine Bild- oder Videogeneratoren, es sei denn, der Benutzer stellt Medien bereit oder bittet um generierte Clips (dann verwende ai-video-generator).
  • Echte Menschen. Erstelle keine realistischen KI-Abbilder von echten, lebenden Persönlichkeiten des öffentlichen Lebens. Verwende symbolische Bilder, Silhouetten oder eine Karikatur des Benutzers, gezeichnet nach seinen Fotos.
  • Fakten. Fakten auf dem Bildschirm müssen aus der Quelle des Benutzers oder einer verifizierten Suche stammen. Erfinde niemals Statistiken, Zitate oder Erfahrungsberichte.
  • Überschreiben. Frage nach, bevor du eine vorhandene Ausgabedatei überschreibst.

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

Verwandte Skills