Was macht Animiertes Lyric-Video?
Das Video ist ein Songausschnitt, eine kurze gezeichnete Geschichte, die dem Text folgt,
und der Text wird zeilenweise unter der Animation angezeigt, wobei das gesungene Wort
hervorgehoben wird. Die Shell (src/kit/LyricVideo.tsx) übernimmt Audio, Kopfzeile,
Text, Credits, Social-Media-Handles und Überblendungen. Deine Aufgabe sind der Ausschnitt, die Timings
und die Geschichte. Antworte in der Sprache des Benutzers.
0. Eingaben
Fordere an, was fehlt, nicht mehr:
- Audiodatei und den Liedtext. Wenn sie nur einen Titel nennen, frage nach den Dateien. Lade keine Songs herunter.
- Künstler, Songtitel, Credit-Zeile (z.B. „Text und Musik: …“), optionale Social-Media-Handles
(
{network: 'instagram' | 'youtube', handle}). - Maximale Länge. Standardmäßig 60 Sekunden, wenn nichts genannt wird.
Arbeite nur mit Songs, die der Benutzer besitzt oder für die er die Erlaubnis zur Nutzung hat. Lade niemals etwas hoch oder veröffentliche etwas.
1. Song erstellen
npm run new-song -- <kebab-id> --audio <datei> --title "…" --artist "…" --credit "…"
Dies erstellt src/songs/<id>/ (Konfiguration, Text, Szenen), kopiert die Audiodatei nach
public/ und registriert die Komposition <id>.
2. Text, Transkription, Alignment
- Schreibe
src/songs/<id>/lyrics.txt: eine Bildschirmzeile pro Zeile, in gesungener Reihenfolge, wiederholte Refrains werden erneut ausgeschrieben. 2–7 Wörter pro Zeile lesen sich gut; teile längere Zeilen an einer natürlichen Pause. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>- Wähle den Ausschnitt und setze
start/endinconfig.ts:- Bleibe innerhalb der maximalen Länge;
- Starte 2–3 s vor der ersten gesungenen Zeile, die du behältst (Platz für eine Titelszene);
- Ende nach einer vollständigen Phrase, idealerweise einer Refrainzeile, plus ~1,5 s für die Ausblendung (die Shell blendet Audio und Bild über die letzten ~1,8 s aus);
- Verwende die
transcription.json-Segmentzeiten, um Phrasengrenzen zu finden.
python scripts/align.py src/songs/<id>und lies den Bericht:- „not heard: timing estimated“: Whisper hat die Zeile übersprungen; die Zeit ist eine
Schätzung. Versuche ein größeres Modell (
--model mlx-community/whisper-large-v3-mlxoder--model large-v3) oder korrigiere es von Hand inlyrics.ts. - „Dropped“: Zeilen außerhalb des Ausschnitts. Erwartet, wenn der Benutzer den gesamten Song eingefügt hat.
- Whispers Wörter sind oft falsch; die Lyrics des Benutzers haben Vorrang. „Korrigiere“ niemals die Lyrics des Benutzers, um sie an Whisper anzupassen. Wenn die Aufnahme eindeutig andere Wörter singt, informiere den Benutzer und frage, welche Version angezeigt werden soll.
- „not heard: timing estimated“: Whisper hat die Zeile übersprungen; die Zeit ist eine
Schätzung. Versuche ein größeres Modell (
3. Die Geschichte vor dem Code schreiben
Erstelle ein kurzes Beat-Blatt: ein Beat pro Zeile (oder pro Couplet) mit seiner Startzeit
aus lyrics.ts. Wandle dann die Beats in Szenen um.
Stilregeln. Diese machen die Videos funktionierend; befolge sie:
- Deute an, illustriere nicht Wort für Wort. Keine Wörter auf dem Bildschirm oder Lautmalereien, die den Text wiederholen: keine Schilder, Etiketten, Ziele, Sprechblasen, „WOOF“, „shhh“, „∞“. Erzähle es mit Handlung, Objekten, Licht, Wetter, Farbe und wiederkehrenden Motiven. Wenn eine Zeile ein Ding nennt (einen Zug, einen Hund, einen Telefonanruf), frage, was es in der Geschichte bedeutet, und zeige stattdessen das, oder zeige das Ding, ohne es zu benennen.
- Eine Geschichte, eine Besetzung. Behalte dieselben Charaktere und einige wenige wiederkehrende Schauplätze und Requisiten, damit das Video wie eine Geschichte und nicht wie eine Diashow wirkt.
- Triff die Schlüsselwörter. Timing von Erscheinungen, Einschlägen und Veränderungen auf den Start des
wichtigen Wortes (
pop(t, word.start),sacudida(t, word.start)). - Immer in Bewegung. Kein Frame länger als etwa eine Sekunde stillstehen lassen.
- Respektiere das Layout. Zeichne die Szene zwischen y≈300 und y≈1100 auf der 1080x1920-Leinwand. Die Kopfzeile sitzt darüber, der Text beginnt bei y≈1150.
- Szenen wechseln etwa 0,3–0,5 s vor der Zeile, die sie illustrieren; die Shell überblendet für 0,12 s.
- Die erste Szene ist ein Titelbild (Künstler und Titel, vor dem Gesang). Die Kopfzeile erscheint, wenn die zweite Szene beginnt.
4. Die Szenen codieren
Bearbeite src/songs/<id>/scenes.tsx. Eine Szene ist eine Komponente, die t empfängt,
die Songzeit in Sekunden, und innerhalb von <Lienzo> zeichnet:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 0→1 zwischen zwei Songsekunden
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
Kit-Referenz (Namen sind Spanisch; README.md enthält ein Glossar). Durchstöbere jedes
Teil in der kit-gallery-Komposition.
- Zeit-Helfer (
kit.tsx):u(t, a, b)Fortschritt 0→1;lerp,lerp2; Easingeo(out),ei(in),eio(in-out),back(überschießend);pop(t, at)federndes Erscheinen;sacudida(t, at)gedämpftes Wackeln;rnd(i)deterministischer Zufall. Verwende niemalsMath.random(). - Charaktere:
<Persona tipo="el" | "ella" x y s mira pose enMano>.x, ysind die Füße.mira1 schaut nach rechts, -1 links.pose:bd/btvorderer/hinterer Arm[Schulter°, Ellenbogen°](0 nach unten, 90 nach vorne, 180 nach oben),paso+zancada(gehen),inclina(lehnen),cabeza(Kopfneigung),ojo: 'cerrado',beso,sonrojo(erröten).ikBrazo(...)zielt mit einer Hand auf einen Punkt;puntoMano,puntoCabezageben Leinwandpunkte zurück.<Pareja k>: 0 getrennt, 1 küssend.<Perro>. - Schauplätze:
FondoPuerto(Hafen, PalettenPAL.noche | ocaso | alba),FondoHuerto(Obstgarten),FondoTejados(Dächer),FachadaFondo+FachadaFrente(Balkon; Charaktere dazwischen zeichnen),FondoBar,FondoInfierno,FondoTapia(geweißte Wand),FondoEstacion(Bahnhof, übergib einentren),FondoDescampado(Brachland bei Nacht). Boden ist bei y=985 in den meisten (MUELLE_Y,ANDEN_Y); BalkonbodenBALCON_Y, StraßeCALLE_Y. - Objekte:
Barco,Tren+Humo,Coche(beschlagene Scheiben, Herz in den Beschlag gezeichnet),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(Explosion aus Herzen und Lippen),Flotantes(schwebende Herzen),Recuerdo(Erinnerungsfilter),Luna,Estrellas,Mar,Cielo.
Faustregeln: Jeder Farbverlauf/Clip id muss im gesamten Video eindeutig sein
(mit dem Szenennamen voranstellen); alles aus t berechnen (kein Zustand);
von hinten nach vorne zeichnen.
Neue Teile kommen in src/kit/, im gleichen Stil: flache Farben, keine Konturen,
um ihren eigenen Ursprung gezeichnet, mit einer s-Skalierungseigenschaft. Füge sie in
Gallery.tsx hinzu.
5. Frames überprüfen
npm run typecheck
npm run stills -- <id> <sekunde> <sekunde> …
Fordere Frames zu Beginn und in der Mitte jeder Szene und bei jedem Schlüsselwort an.
Es schreibt out/stills/<id>/sheet.jpg; schau es dir an und korrigiere vor dem Rendern:
Lesbarkeit, nichts, das Gesichter verdeckt, nichts im Kopf- oder Textbereich,
durchgehend dieselben Charaktere, keine wörtlichen Beschriftungen, der angezeigte Text
stimmt mit dem Audiomoment überein.
6. Rendern und Bericht
npm run render -- <id>
Ausgabe: out/<id>.mp4, 1080x1920, 30 fps, H.264 + AAC. Überprüfe die Dauer
mit ffprobe und berichte dem Benutzer: Dateipfad, Länge, den verwendeten Ausschnitt,
die Geschichte in zwei oder drei Sätzen sowie jedes von dir geschätzte Timing oder jeden
gefundenen Textzweifel. Sage, dass du Standbilder überprüft hast, nicht das abgespielte Video.