Communitygithub.com

RAW KINETIQ

Verwandelt eine Audiodatei in ein fertiges kinetisches Typografie-Lyrik-Video (MP4), bei dem jedes Wort im Takt landet und das gesamte Design auf der Songaussage und Stimmung basiert.

Was ist RAW KINETIQ?

RAW KINETIQ ist eine KI-Agenten-Fertigkeit, die eine Audiodatei in ein vollständig produziertes kinetisches Typografie-Lyrikvideo (MP4) umwandelt. Es ist für Entwickler und Content-Ersteller konzipiert, die professionelle animierte Lyrikvideos für YouTube, TikTok, Reels oder Shorts benötigen – ohne manuelle Bearbeitung. Die Fertigkeit nutzt Whisper zur Lyriktranskription und Demucs zur Vocal-Separation, synchronisiert die visuellen Elemente mit dem Beat und integriert benutzereigene Bilder. Der gesamte Look (Farben, Schriftarten, Bewegungen, Hintergründe) wird speziell auf den Song zugeschnitten – abgestimmt auf dessen Thema, Stimmung und Genre – und nicht auf eine vorgefertigte Vorlage gepresst. Unterstützt werden die Plattformen Claude Code, Cursor, Codex und ähnliche KI-Agenten. Die Pipeline umfasst Einrichtung, Analyse, Design, Benutzer-Assets, manuelle Timing-Korrektur, individuelle Effekte und abschließende Selbstprüfung vor dem Rendering mit Remotion. Der Agent erstellt eine Design-Datei (design.md) mit Storyboard, Bildsprache und Signature-Moves, die das Video einzigartig machen. Zwei ähnliche Songs sollen nie gleich aussehen. Die Fertigkeit ist ideal für Musiker, die ein Lyrikvideo für ihren eigenen Song benötigen, oder für Inhaltsersteller, die schnell animierte Lyrics erstellen möchten.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/bani4kaskashka/Claude-Skill-Raw-Kinetiq/tree/main/skills/raw-kinetiq

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht RAW KINETIQ?

Song rein, MP4 raus. Die Pipeline steht bereits; deine Aufgabe ist es, sie auszuführen, das Timing wie ein Cutter zu prüfen und zu korrigieren, was die Maschinen falsch gemacht haben. Das fertige Video soll sich so anfühlen, als ob jedes Wort genau dann landet, wenn es gesungen wird, und die Bilder atmen mit der Energie des Tracks.

Das Video wird um den Song herum gestaltet, nie der Song in eine Haus-Stilistik gequetscht. Was der Song aussagt, wie er sich anfühlt, sein Genre und Tempo entscheiden alles: die Farben, die Schriftarten, wie viele Wörter auf dem Bildschirm sind, wie sie kommen und gehen, wo sie sitzen, wie hart die Kamera einschlägt, was im Hintergrund lebt und wohin die eigenen Bilder des Benutzers platziert werden. Es gibt keine Presets zur Auswahl, nur einen Werkzeugkasten zum Mischen (references/toolkit.md), und wenn der Song ein Bild hat, das der Werkzeugkasten nicht bietet, baust du es für diesen Song. Zwei Songs sollten niemals gleich aussehen, und ein Video sollte aussehen, als ob es niemand anderem auf YouTube gehört. Sei kreativ, geh Risiken ein und überprüfe dann deine Arbeit (Schritt 5), damit die Risiken landen.

Dinge passieren darin, weil die Worte sie bedeuten. Ein Video, in dem sich nur der Hintergrund und die Schrift ändern, ist eine Diashow. Wenn eine Zeile etwas hält, hält es eine Hand; wenn sie einen Mund nennt, öffnet sich ein Mund und die Kamera geht hinein; wenn sie sagt "Ich kenne jeden Ausgang", rauschen Ausgangsschilder vorbei. Diese Momente werden von dir in Code gezeichnet (SVG-Formen, animiert in Remotion; niemals ein Bildgenerator), getimt zu ihren Wörtern (Schritt 4b).

Pfade unten: SKILL = der Ordner dieser Fertigkeit (${CLAUDE_SKILL_DIR}), PY = das Python, das setup_env.sh ausgibt (~/.raw-kinetiq/venv/Scripts/python.exe unter Windows, ~/.raw-kinetiq/venv/bin/python anderswo). Verwende das Bash-Tool für die .sh-Skripte (Git Bash auf Windows).

0. Was du vom Benutzer brauchst

Nur der Song ist erforderlich. Hol dir den Song (und ggf. die Lyrics), stelle dann die Look-Fragen einmal, gleich zu Beginn, in einem einzigen AskUserQuestion-Aufruf, damit der Benutzer auswählen und gehen kann, während die Analyse läuft. Überspringe jede Frage, die ihre Nachricht bereits beantwortet hat. Wenn sie "mach einfach" gesagt haben oder nicht da sind, verwende die Standardeinstellungen und gib an, welche du verwendet hast.

Frage (Kopfzeile)OptionenStandard
Format16:9 (1920x1080) (Empfohlen) / Vertikal 9:16 für TikTok, Reels, Shorts (1080x1920) / Quadratisch (1080x1080)16:9
FeelingVom Song entworfen (Empfohlen) / dann 2-3 konkrete Richtungen, die aus den eigenen Bildern dieses Songs abgeleitet sind, jede in einfachen Worten (für einen Song über Fieber: "Wörter, die in Hitzeflimmern zittern, schweißgelb auf Schwarz"). "Anderes" erlaubt ihnen, die Stimmung in eigenen Worten zu beschreibenvom Song entworfen
Einblendungen (Mehrfachauswahl)Künstlername (oben links) / Abschnittsnamen (unten links) / Timer + Fortschrittsbalken / BPM + Beat-Zähler. Sage in der Frage, dass die Auswahl von "keine" ein sauberes Musikvideo ergibtkeine
Assets"Hast du Bilder, die du im Video haben möchtest (Cover-Art, Fotos, ein Logo, ein Bild von dir)?" Nein, gestalte es vom Song aus (Empfohlen) / Ja, ich schicke sie hier / Ja, sie sind in einem Ordnernein

Die Antworten werden auf die Flags von new_project.sh abgebildet: --size und --overlays artist,section,timer,bpm (nur die ausgewählten). Immer 60 fps, es sei denn, sie fragen anders. Das Feeling ist von dir in Schritt 2b zu gestalten, gesteuert durch ihre Antwort.

Wenn sie Assets haben, antworte sofort: "Schick sie rüber (oder sag mir den Ordner) und ein Wort dazu, was jedes ist oder wo du es haben möchtest, falls du eine Präferenz hast." Beschreibungen sind optional: Öffne jedes Bild mit dem Read-Tool und sieh selbst, was es ist. Bringe sie in Schritt 2c ein.

Andere Eingaben, die keine Frage erfordern:

EingabeStandard
Lyricseingefügt > Datei-Tags (Suno schreibt sie) > Transkript, das du bereinigst
Titel / KünstlerDatei-Tags; wenn der Tag-Titel Schrott ist (z. B. [Rec] Okt 24 ...), verwende den Dateinamen
Hintergrundauto: Szenen folgen den Abschnitten und deinem Design
EndkarteTitel + Künstler über den letzten Sekunden; --no-endcard, wenn sie es nicht wollen

1. Einrichtung (einmal pro Maschine, danach sofort)

bash SKILL/scripts/setup_env.sh

Erstellt die gemeinsame Python-Umgebung (faster-whisper, Demucs, librosa, Pillow; CPU-Builds) und gibt ihren Python-Pfad aus. Benötigt Python 3.10+, Node 18+ und ffmpeg (mit ffprobe) im PATH; wenn etwas fehlt, sag dem Benutzer, was zu installieren ist, anstatt selbst Systemsoftware zu installieren. Der erste Lauf lädt ein paar GB herunter (CPU-Torch jetzt, die Whisper- und Demucs-Modelle beim ersten Gebrauch).

2. Analysiere den Song (zwischengespeichert, im Hintergrund ausgeführt)

Projektordner: <Song-Ordner>/<Songname> lyric video/ es sei denn, der Benutzer sagt etwas anderes. Wenn der Benutzer Lyrics eingefügt hat, speichere sie zuerst als <Projekt>/work/lyrics.txt, wobei [Abschnitt]-Tags erhalten bleiben.

PY SKILL/scripts/prepare.py "<song>" "<project>/work"

Dauert etwa 8-10 Minuten auf CPU für einen 3-Minuten-Song (Demucs, dann Whisper large-v3 zweimal). Jeder Schritt zwischenspeichert seine Ausgabe, sodass ein erneuter Lauf nur das tut, was fehlt. Lösche diese Ausgaben niemals, um "sauber zu starten"; um einen Schritt zu wiederholen, lösche nur diese Datei. Es gibt aus:

  • Dauer, BPM, Taktlänge (240 / BPM), Energie pro Sekunde (Drops sind Sprünge darin),
  • vocals present-Bereiche (Lücken = instrumental),
  • beide Whisper-Transkripte (voller Mix und der isolierte Vocal-Stem).

2b. Gestalte das Video dieses Songs

Starte vom Song, nicht vom Werkzeugkasten. Öffne den Werkzeugkasten noch nicht: Ein Menü fertiger Bewegungen zieht jeden Song in Richtung derselben Handvoll Looks. Arbeite zuerst heraus, was dieser Song ist, und schreibe es in <Projekt>/work/design.md:

  1. Der Song in ein paar Zeilen: die Geschichte, wer spricht und zu wem, der Ort, die Tageszeit, die Objekte und Bilder, zu denen die Lyrics immer zurückkehren, und wie es sich anfühlt (angespannt, zart, taub, trotzig, verspielt, paranoid). Das Gefühl bestimmt die Bewegung mehr als das Genre.
  2. Die Welt, in der er lebt. Lies das Vokabular, nicht nur die Geschichte: Lyrik-Wörter gruppieren sich zu einer Welt, und diese Gruppe sagt, wo der Song lebt, oft mehr als die Alltagsbedeutung des Titels. Ein Song voller "Urteil", "aussagen", "Strafe" lebt in einem Gerichtssaal; "Anker", "treiben", "Hafen" auf See; "Gleichgewicht", "schulden", "Zinsen" im Geld. Liste dann jede Bedeutung des Titels und des Hooks auf, einschließlich Slang und was die Wörter in Spielen, Filmen, Sport und Subkulturen bedeuten ("Geist" ist ein Spirit, jemand, der sich verzieht, und ein Spielerbegriff) und wähle die Bedeutung, die das Vokabular stützt, oder verschmelze zwei. Schreibe die Kandidaten und warum du einen gewählt hast.
  3. Das zentrale Bild, aus dieser Welt und den eigenen Wörtern der Lyrics, niemals aus dem Genre. Ein Song über Beobachtetwerden: Fenster, die eins nach dem anderen aufleuchten. Ein Song über Zeitmangel: eine Zündschnur, die den Rahmen herunterbrennt.
  4. Signature Moves: Was die Wörter selbst tun, in den Begriffen dieses Songs. Zwei oder drei, jeder in einem Satz: Wie ein Wort ankommt, wie es geht, was der Hook tut. Sie kommen vom zentralen Bild: In einem Song über Fieber treffen Wörter zitternd in Hitzeflimmern ein und kühlen zu Stillstand; in einem Song über ungesendete Briefe werden Wörter in Tinte geschrieben, die ausläuft, dann faltet die Seite sie weg. Der Test: Wenn der gleiche Move zu einem anderen zufälligen Song passen würde, ist es noch kein Signature. Mach es groß genug, um bemerkt zu werden: Nach einem Refrain sollte ein Zuschauer beschreiben können, was die Wörter getan haben. Ein feiner Glanz oder eine leichte Unschärfe für einen Sekundenbruchteil liest sich als nichts; lass den Move Platz und Zeit an den Höhepunkten einnehmen und halte ihn in den Strophen ruhiger. Du wirst diese als Effekte für diesen Song schreiben (video/src/custom, Werkzeugkasten "Die eigenen Stücke des Songs").
  5. Die Shot-Liste: Jeder Abschnitt mit seiner Szene, Kamera, Lyrik-Layout, Palette und welchem Move er verwendet. Das zentrale Bild entwickelt sich wie ein Kurzfilm dadurch (unten), und jeder Abschnitt wird anders gerahmt: Ein neuer Farbton oder ein paar mehr Lichter auf derselben Ansicht ist kein neuer Shot.
  6. Was du nicht tust: Nenne die offensichtlichen Moves für dieses Genre und diese Stimmung, die du vermeidest, damit du nicht zurück in sie abdriftest.
  7. Der Zeichenstil, den die Momente teilen werden (Schritt 4b), aus der Welt des Songs: Neon-Linienkunst, flaches Papier geschnitten, Tinte und Waschung, Blaupausenlinien, fette Silhouetten, Comic-Panels, Holzschnitt. Ein Stil für den ganzen Song, damit die Momente wie ein Film aussehen.

Die Fakten zum Lesen dafür: das BPM (beachte Halftime-Feeling: Ein 140 BPM Trap-Beat fühlt sich oft wie 70 an), vokale Dichte (Wörter pro Sekunde in whisper_full.json: schneller Rap braucht kurze Ausbrüche; langsamer, anhaltender Gesang kann Phrasen halten) und Energie pro Sekunde (wo sie springt, ändert sich das Video: Ein Refrain, der sich von der Strophe unterscheidet, eine Bridge, die das Muster bricht, ein letzter Refrain größer als der erste).

Lies jetzt references/toolkit.md und baue das Design:

  • Momente werden gezeichnet nachdem die Timeline existiert (Schritt 4b), aber plane sie jetzt: Das Storyboard formt die Shot-Liste, und ein um einen Moment herum gebauter Abschnitt kann dahinter einfach bleiben.
  • Die eigenen Stücke des Songs zuerst. Schreibe die Signature-Moves als effects, das zentrale Bild als layers (und einen Linienstil als modes, wenn ein Moment einen braucht) in video/src/custom/index.tsx. Verwende den Signature-Move an den Höhepunkten des Songs (mindestens die Refrains) und halte ihn im Zentrum des Videos, nicht als einmaligen Effekt.
  • Der Werkzeugkasten ist die Nebenbesetzung. Seine eingebauten Enters, Exits, Linienstile und Schichten tragen die Zwischenzeilen und füllen eine Szene. Viele wurden für frühere Songs gemacht (die Slams, Schrägstriche, Schnitte und Glitches für einen Phonk-Track, in der Hälfte geschnittene Gesänge, der Tunnel), und standardmäßig nach ihnen zu greifen, ist genau das, was zwei Videos gleich aussehen lässt. Verwende einen eingebauten Effekt nur, wenn er ehrlich zu diesem Songbild passt, und schreibe warum in design.md.
  • Palette: Farben aus der Welt des Songs oder den Benutzerbildern, mit abschnittsweisen Verschiebungen. Schreibe alle; starte nicht von einem Thema.
  • Schrift: Jede Google Font für display und eine kontrastierende alt, gewählt für die Stimme dieses Songs.
  • Kamera, Energie und React: Ein Move pro Abschnitt, wie hart die Kamera einschlägt, und ob die Bilder mit dem Beat oder mit der Stimme pulsieren.
  • Assets: Wohin jedes der Benutzerbilder geht und wie der Text dafür Platz macht (2c).

Ein Video ist eine Abfolge von Shots, niemals ein Bild mit Wörtern darauf. Eine zentrale Idee ist richtig, ein unveränderlicher Rahmen nicht. Plane den Song wie einen Kurzfilm, Abschnitt für Abschnitt: Was der Zuschauer im Intro sieht, wie die erste Strophe es rahmt, was sich im Refrain öffnet, was in der Bridge bricht, wie es sich auflöst. Das zentrale Bild sollte sich entwickeln: Ändere den Maßstab, den Winkel oder die Kamerabewegung, die Tageszeit, die Palette, was im Rahmen ist. Eine benutzerdefinierte Schicht bekommt den Abschnitt und seinen Fortschritt, sodass sie in verschiedenen Abschnitten verschiedene Dinge zeigen kann. Jeder Refrain muss klar anders aussehen als seine Strophe, und der letzte Refrain größer als der erste. Wenn zwei benachbarte Abschnitte Szene, Kamera, Layout und Palette teilen, ändere einen.

Ändere die Rahmung, nicht nur die Farben. Wenn eine benutzerdefinierte Schicht den Song trägt, gib ihr echte Shots: eine andere Kameraposition (von oben, von innen, auf Bodenniveau, nah an einem Detail), einen anderen Maßstab, ein anderes Subjekt im Rahmen. Die gleiche Ansicht neu einzufärben oder Lichter hinzuzufügen, liest sich immer noch als ein Shot, und der Check markiert eine Rahmung, die zu viel des Songs füllt (one-shot).

Platziere die Wörter mit dem Bild. Wo die Lyrics sitzen, ist Teil des Designs: auf der Oberfläche, die die Szene zeigt, im Fenster, neben dem Subjekt, bewegt sich zu einem neuen Ort mit jedem Ausbruch, wenn die Musik sich bewegt. Ein ganzer Abschnitt von Ausbrüchen an genau derselben Stelle ist ein Untertitel. Der burst-Hook eines Effekts kann einen Ausbruch überallhin bewegen (sein transform).

Langsam ist nicht statisch. Ein sanfter, langsamer oder geflüsterter Song bewegt sich langsam, aber niemals stoppt: Die Kamera driftet oder drückt, das Licht schwillt mit der Stimme an ("react": "voice", der Standard für sanfte Songs), Szenen ändern sich bei jedem Abschnitt. Behalte das Gefühl (zart bleibt zart) und mache trotzdem jeden Abschnitt zu einem neuen Bild. Gib langsamen Lyrics Raum, groß zu sein: Weniger Wörter auf einmal, groß gesetzt, mit Absicht platziert, nicht ein kleiner Untertitel auf derselben Zeile den ganzen Song.

Sei mutig: Leihe genresübergreifend (ein Soul-Song mit brutalistischer Schrift, ein Drill-Track in einer Serife) und geh Risiken ein; die Selbstprüfung (Schritt 5) fängt, was nicht landet. Sie markiert auch ein Video ohne design.md (no-design), Refrains, die nur eingebaute Moves verwenden (no-signature), von früheren Songs ausgeliehene eingebaute Effekte (borrowed) und einen Hintergrund, der nur aus eingebauten Schichten besteht (stock-world).

Sage dem Benutzer das Design in zwei oder drei einfachen Sätzen ("ein Song übers Beobachtetwerden, also sitzen die Wörter vor einem Gebäude bei Nacht, dessen Fenster eins nach dem anderen aufleuchten; jedes Wort schaltet sich wie ein Fenster ein, während es gesungen wird, und der Refrain dimmt die Straße auf einen beleuchteten Raum").

Richte dann das Videoprojekt ein (es verwendet ein vorhandenes wieder):

bash SKILL/scripts/new_project.sh "<song>" "<project>" --size 1920x1080 --fps 60 [--overlays artist,timer] [--no-endcard]

und schreibe das Design in video/src/data/config.json (Farben, Schriftarten, Bewegung, Szenen, Assets). Ein erneuter Lauf von new_project.sh behält alles, was du dort platziert hast. Für ein Projekt, das mit einer älteren Version dieser Fertigkeit erstellt wurde, füge --update hinzu: Es tauscht den aktuellen Vorlagencode ein und behält die Song-Daten, seine benutzerdefinierten Stücke und seine Assets.

2c. Die Benutzerbilder

PY SKILL/scripts/assets.py "<project>" <Bilddateien oder Ordner> [--cutout name1,name2 [--person]]

Kopiert sie in das Projekt (aufrecht, vernünftige Größe), gibt Form, Helligkeit und Hauptfarben jedes aus und schreibt video/public/assets/sheet.png. Sieh dir das Blatt an. Schneide die Subjekte aus, die ohne ihren Hintergrund im Rahmen stehen sollten (--cutout; füge --person hinzu, wenn es eine Person ist, sonst könnte das Modell nur eine Hand oder ein Gesicht behalten). Überprüfe jeden Ausschnitt auf dem Blatt; wenn die Kanten falsch sind, versuche das andere Modell oder verwende das Bild stattdessen als Hintergrund oder Poster.

Verwende, was der Benutzer über jedes Bild gesagt hat; wenn sie nichts gesagt haben, entscheide von dem, was du siehst. Platziere sie dort, wo der Song sie braucht (Werkzeugkasten, "Assets"): ein Porträt-Ausschnitt neben den Strophen, das Cover-Ar als Hintergrund für...

Verwandte Skills