Communitygithub.com

Animiertes Lyric-Video

Erstelle ein vertikales animiertes Lyric-Video (eine gezeichnete Geschichte mit Karaoke-Text direkt darunter) für YouTube Shorts, Instagram Reels oder TikTok, unter Verwendung des Remotion-Kits dieses Repositories. Verwende dies, wenn der Benutzer einen Song (Audiodatei und Text) bereitstellt und ein animiertes oder Lyric-Video davon wünscht.

Was ist Animiertes Lyric-Video?

Diese Fähigkeit ermöglicht es einem KI-Agenten, ein professionell animiertes Lyric-Video zu erstellen, das eine vertikale Leinwand (1080x1920) mit einer gezeichneten Geschichte im oberen Bereich und synchronisierten Karaoke-Texten im unteren Bereich kombiniert – perfekt für Kurzvideo-Plattformen wie YouTube Shorts, Instagram Reels und TikTok. Der Agent extrahiert zunächst die notwendigen Eingaben vom Benutzer (Audiodatei, Liedtext, Künstler, maximale Länge) und erstellt mit einem Remotion-basierten Toolkit ein Projektverzeichnis. Anschließend werden die Liedtexte transkribiert und mit Whisper ausgerichtet, ein optimaler Ausschnitt ausgewählt und ein Drehbuch erstellt, das die Geschichte Szene für Szene erzählt. Der Agent codiert dann die einzelnen Szenen mithilfe einer umfangreichen Bibliothek vorgefertigter Komponenten für Charaktere, Schauplätze und Objekte (alle benannt auf Spanisch), wobei er strenge stilistische Regeln befolgt: keine direkten Wiederholungen von Text auf dem Bildschirm, durchgehende Bewegung, Festhalten an wenigen wiederkehrenden Charakteren und präzises Timing der Animationen zu den betonten Wörtern. Nach dem Rendern prüft der Agent Standbilder auf Fehler und liefert dem Benutzer einen detaillierten Bericht.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Animiertes Lyric-Video?

Das Video ist ein Songausschnitt, eine kurze gezeichnete Geschichte, die dem Text folgt, und der Text wird zeilenweise unter der Animation angezeigt, wobei das gesungene Wort hervorgehoben wird. Die Shell (src/kit/LyricVideo.tsx) übernimmt Audio, Kopfzeile, Text, Credits, Social-Media-Handles und Überblendungen. Deine Aufgabe sind der Ausschnitt, die Timings und die Geschichte. Antworte in der Sprache des Benutzers.

0. Eingaben

Fordere an, was fehlt, nicht mehr:

  • Audiodatei und den Liedtext. Wenn sie nur einen Titel nennen, frage nach den Dateien. Lade keine Songs herunter.
  • Künstler, Songtitel, Credit-Zeile (z.B. „Text und Musik: …“), optionale Social-Media-Handles ({network: 'instagram' | 'youtube', handle}).
  • Maximale Länge. Standardmäßig 60 Sekunden, wenn nichts genannt wird.

Arbeite nur mit Songs, die der Benutzer besitzt oder für die er die Erlaubnis zur Nutzung hat. Lade niemals etwas hoch oder veröffentliche etwas.

1. Song erstellen

npm run new-song -- <kebab-id> --audio <datei> --title "…" --artist "…" --credit "…"

Dies erstellt src/songs/<id>/ (Konfiguration, Text, Szenen), kopiert die Audiodatei nach public/ und registriert die Komposition <id>.

2. Text, Transkription, Alignment

  1. Schreibe src/songs/<id>/lyrics.txt: eine Bildschirmzeile pro Zeile, in gesungener Reihenfolge, wiederholte Refrains werden erneut ausgeschrieben. 2–7 Wörter pro Zeile lesen sich gut; teile längere Zeilen an einer natürlichen Pause.
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>
  3. Wähle den Ausschnitt und setze start / end in config.ts:
    • Bleibe innerhalb der maximalen Länge;
    • Starte 2–3 s vor der ersten gesungenen Zeile, die du behältst (Platz für eine Titelszene);
    • Ende nach einer vollständigen Phrase, idealerweise einer Refrainzeile, plus ~1,5 s für die Ausblendung (die Shell blendet Audio und Bild über die letzten ~1,8 s aus);
    • Verwende die transcription.json-Segmentzeiten, um Phrasengrenzen zu finden.
  4. python scripts/align.py src/songs/<id> und lies den Bericht:
    • „not heard: timing estimated“: Whisper hat die Zeile übersprungen; die Zeit ist eine Schätzung. Versuche ein größeres Modell (--model mlx-community/whisper-large-v3-mlx oder --model large-v3) oder korrigiere es von Hand in lyrics.ts.
    • „Dropped“: Zeilen außerhalb des Ausschnitts. Erwartet, wenn der Benutzer den gesamten Song eingefügt hat.
    • Whispers Wörter sind oft falsch; die Lyrics des Benutzers haben Vorrang. „Korrigiere“ niemals die Lyrics des Benutzers, um sie an Whisper anzupassen. Wenn die Aufnahme eindeutig andere Wörter singt, informiere den Benutzer und frage, welche Version angezeigt werden soll.

3. Die Geschichte vor dem Code schreiben

Erstelle ein kurzes Beat-Blatt: ein Beat pro Zeile (oder pro Couplet) mit seiner Startzeit aus lyrics.ts. Wandle dann die Beats in Szenen um.

Stilregeln. Diese machen die Videos funktionierend; befolge sie:

  • Deute an, illustriere nicht Wort für Wort. Keine Wörter auf dem Bildschirm oder Lautmalereien, die den Text wiederholen: keine Schilder, Etiketten, Ziele, Sprechblasen, „WOOF“, „shhh“, „∞“. Erzähle es mit Handlung, Objekten, Licht, Wetter, Farbe und wiederkehrenden Motiven. Wenn eine Zeile ein Ding nennt (einen Zug, einen Hund, einen Telefonanruf), frage, was es in der Geschichte bedeutet, und zeige stattdessen das, oder zeige das Ding, ohne es zu benennen.
  • Eine Geschichte, eine Besetzung. Behalte dieselben Charaktere und einige wenige wiederkehrende Schauplätze und Requisiten, damit das Video wie eine Geschichte und nicht wie eine Diashow wirkt.
  • Triff die Schlüsselwörter. Timing von Erscheinungen, Einschlägen und Veränderungen auf den Start des wichtigen Wortes (pop(t, word.start), sacudida(t, word.start)).
  • Immer in Bewegung. Kein Frame länger als etwa eine Sekunde stillstehen lassen.
  • Respektiere das Layout. Zeichne die Szene zwischen y≈300 und y≈1100 auf der 1080x1920-Leinwand. Die Kopfzeile sitzt darüber, der Text beginnt bei y≈1150.
  • Szenen wechseln etwa 0,3–0,5 s vor der Zeile, die sie illustrieren; die Shell überblendet für 0,12 s.
  • Die erste Szene ist ein Titelbild (Künstler und Titel, vor dem Gesang). Die Kopfzeile erscheint, wenn die zweite Szene beginnt.

4. Die Szenen codieren

Bearbeite src/songs/<id>/scenes.tsx. Eine Szene ist eine Komponente, die t empfängt, die Songzeit in Sekunden, und innerhalb von <Lienzo> zeichnet:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 0→1 zwischen zwei Songsekunden
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

Kit-Referenz (Namen sind Spanisch; README.md enthält ein Glossar). Durchstöbere jedes Teil in der kit-gallery-Komposition.

  • Zeit-Helfer (kit.tsx): u(t, a, b) Fortschritt 0→1; lerp, lerp2; Easing eo (out), ei (in), eio (in-out), back (überschießend); pop(t, at) federndes Erscheinen; sacudida(t, at) gedämpftes Wackeln; rnd(i) deterministischer Zufall. Verwende niemals Math.random().
  • Charaktere: <Persona tipo="el" | "ella" x y s mira pose enMano>. x, y sind die Füße. mira 1 schaut nach rechts, -1 links. pose: bd/bt vorderer/hinterer Arm [Schulter°, Ellenbogen°] (0 nach unten, 90 nach vorne, 180 nach oben), paso + zancada (gehen), inclina (lehnen), cabeza (Kopfneigung), ojo: 'cerrado', beso, sonrojo (erröten). ikBrazo(...) zielt mit einer Hand auf einen Punkt; puntoMano, puntoCabeza geben Leinwandpunkte zurück. <Pareja k>: 0 getrennt, 1 küssend. <Perro>.
  • Schauplätze: FondoPuerto (Hafen, Paletten PAL.noche | ocaso | alba), FondoHuerto (Obstgarten), FondoTejados (Dächer), FachadaFondo + FachadaFrente (Balkon; Charaktere dazwischen zeichnen), FondoBar, FondoInfierno, FondoTapia (geweißte Wand), FondoEstacion (Bahnhof, übergib einen tren), FondoDescampado (Brachland bei Nacht). Boden ist bei y=985 in den meisten (MUELLE_Y, ANDEN_Y); Balkonboden BALCON_Y, Straße CALLE_Y.
  • Objekte: Barco, Tren + Humo, Coche (beschlagene Scheiben, Herz in den Beschlag gezeichnet), Casa, Arbol, Banco, Maleta, Polaroid, Corazon, Labios, Flor, Manzana, Anillo, NeonCopa, Gaviota, Destello, Estallido (Explosion aus Herzen und Lippen), Flotantes (schwebende Herzen), Recuerdo (Erinnerungsfilter), Luna, Estrellas, Mar, Cielo.

Faustregeln: Jeder Farbverlauf/Clip id muss im gesamten Video eindeutig sein (mit dem Szenennamen voranstellen); alles aus t berechnen (kein Zustand); von hinten nach vorne zeichnen.

Neue Teile kommen in src/kit/, im gleichen Stil: flache Farben, keine Konturen, um ihren eigenen Ursprung gezeichnet, mit einer s-Skalierungseigenschaft. Füge sie in Gallery.tsx hinzu.

5. Frames überprüfen

npm run typecheck
npm run stills -- <id> <sekunde> <sekunde> …

Fordere Frames zu Beginn und in der Mitte jeder Szene und bei jedem Schlüsselwort an. Es schreibt out/stills/<id>/sheet.jpg; schau es dir an und korrigiere vor dem Rendern: Lesbarkeit, nichts, das Gesichter verdeckt, nichts im Kopf- oder Textbereich, durchgehend dieselben Charaktere, keine wörtlichen Beschriftungen, der angezeigte Text stimmt mit dem Audiomoment überein.

6. Rendern und Bericht

npm run render -- <id>

Ausgabe: out/<id>.mp4, 1080x1920, 30 fps, H.264 + AAC. Überprüfe die Dauer mit ffprobe und berichte dem Benutzer: Dateipfad, Länge, den verwendeten Ausschnitt, die Geschichte in zwei oder drei Sätzen sowie jedes von dir geschätzte Timing oder jeden gefundenen Textzweifel. Sage, dass du Standbilder überprüft hast, nicht das abgespielte Video.

Verwandte Skills