Was macht Personalisiertes Lied + Karaoke-Video?
Dieser Prozess wurde mit echten Bestellungen getestet (Geburtstage, Merengue – der Kunde sagte, es sei „spektakulär“ gewesen). Zwei Phasen: (A) Text für Suno und (B) vertikales Video 1080×1920 mit Fotos + Karaoke. Alles in lateinamerikanischem Spanisch (LATAM), warm und nahbar. Antworte dem Benutzer auf Spanisch.
Ordnerstruktur (einer pro Bestellung)
<Bestellordner>/cancion-<Name>/
letra-suno.md ← Phase A
fotos/ ← der Benutzer lädt die Fotos hoch
<Lied>.mp3 ← der Benutzer lädt die MP3 von Suno hoch (beliebiger Name)
video/ ← alles Technische (project.json, lines.txt, json, chunks…)
Feliz-Cumpleanos-<Name>.mp4 / -WhatsApp.mp4 ← Auslieferungsdateien
Skripte in ${CLAUDE_SKILL_DIR}/scripts/ (bezeichnet als $S). Ausführen mit normalem python
(NICHT python -I: dann werden faster_whisper/librosa in site-packages des Benutzers nicht gefunden).
Voraussetzungen: ffmpeg mit libass, Python mit faster-whisper, librosa, numpy, Pillow (pip install faster-whisper librosa numpy pillow). Überprüfe sie beim ersten Mal (ffmpeg -version, python -c "import faster_whisper, librosa") und installiere Fehlendes mit Erlaubnis der Person.
Schriften: Segoe UI Black (Text), Segoe Script (Titel) unter Windows; unter Mac/Linux installierte Äquivalente verwenden.
Phase A – Text für Suno
- Lies die Nachricht des Kunden: für wen, Beziehung, Anlass, Nachricht, gewünschtes Genre.
- Alle Ideen aus der Kunden-Nachricht in den Text einbauen (wenn er/sie sagt „Begleiter, Freund und Partner“, dann soll das genau so natürlich vorkommen). Das berührt die Beschenkte/n am meisten.
- Struktur:
[Intro]mit Ausruf/Widmung mit dem Namen →[Verse 1]8 Zeilen →[Pre-Chorus]2 →[Chorus]8 (der Name zu Beginn wiederholt: „¡Valentina, Valentina!“) →[Verse 2]→[Pre-Chorus]→[Chorus]→[Instrumental Break]→[Bridge]festlich („¡que suene la güira!“, „¡Felicidades!“) →[Final Chorus]→[Outro](„¡Te amo, X!“) →[End]. - Saubere Konsonanz/Assonanz, Verse mit 9–12 Silben, eingängiger Refrain.
- Gib 2 Stil-Prompts (auf Englisch, für „Style of Music“). Beispiele:
- Merengue:
festive dominican merengue, accordion, güira, tambora, bright saxophone section, warm joyful male vocal, party backing choir, romantic birthday celebration, danceable, 140 bpm, spanish - Cumbia:
colombian cumbia, accordion lead, guacharaca, caja vallenata, bass, warm romantic male vocal, festive choir shouts, birthday celebration, danceable, 95 bpm, spanish - Anpassen: Balada, Vallenato, Bachata, Ranchera, Salsa je nach Wunsch; männliche/weibliche Stimme je nach Schenkendem.
- Merengue:
- Speichern in
cancion-<Name>/letra-suno.md(Titel, Style A/B, Text als Codeblock, Tipps: 2–4 Versionen generieren, falls Name falsch ausgesprochen wird, phonetisch schreiben). Leeresfotos/erstellen und Fotos + MP3 anfordern.
Phase B – Karaoke-Video
B1. Analysieren (≈4–6 Min, im Hintergrund ausführen)
python $S/analizar.py <video_verzeichnis> <mp3_pfad> <fotos_verzeichnis> "<erste Zeilen des Texts als Prompt>"
Erzeugt words.json, beats.json, fotos.json, hoja-fotos.jpg und gibt die Transkription mit Zeitstempeln aus (= Kartenabschnitte).
B2. Fotos prüfen (hoja-fotos.jpg mit Read ansehen)
-
Klassifizieren: nur gefeierte Person, Paar/Familie, Gruppe/Party. Screenshots mit schwarzen Balken erkennen (render.py schneidet nur schwarze Balken weg).
-
Für jedes Foto
focusnotieren = horizontale Position (0..1) des Gesichts/der Hauptperson. Entscheidend, damit das Schwenken niemanden abschneidet. -
Horizontale Fotos (Breite/Höhe > 0.75) → werden als „Karte“ mit weißem Rand und Schwenk gezeigt; vertikale → Vollbild mit Ken Burns.
-
Screenshots von WhatsApp/Facebook-Status („Antworten“-Leiste, Statusleiste, Buttons): render.py schneidet nur reines Schwarz weg, NICHT die Benutzeroberfläche. Manuell zuschneiden zu
fotos-limpias/NN.jpg(Bruchteile oben/unten pro Foto),fotos.jsonmit diesen Namen undfotos_dir: "../fotos-limpias"neu schreiben. Duplikate verwerfen (gleiches Foto als Screenshot und Original).
B2b. Kundenvideo (optional)
Verschieben nach clip/video.mp4. In proyecto.json: "clip": "../clip/video.mp4" (optional clip_inicio), und einen Abschnitt mit Fotos ["clip"] und beats_por_foto 99, Dauer ≈ des Clips (wird in Echtzeit abgespielt, ohne Audio; vertikal = Vollbild). Ideal bei einem Instrumental + Beginn einer Strophe. focus akzeptiert "clip".
B3. video/lineas.txt schreiben
Offizieller Text in der exakten Reihenfolge, in der Suno ihn gesungen hat (siehe Transkription: Suno lässt manchmal Verse aus oder ändert sie – z. B. den zweiten „¡Valentina, Valentina!“ des Refrains weggelassen). Eine Zeile pro Reihe, komplette wiederholte Refrains, # für Abschnittskommentare.
B4. video/proyecto.json schreiben (siehe ejemplo-proyecto.json)
audio,fotos_dir,salida(relativ zuvideo/),nombre,titulo,cierre,lineas.focus:{"n": x}.pulso: "suave" (sanft) standardmäßig bei neuen Bestellungen = nur in Refrains, ein langsamer Atemzug pro Takt (der Zoom bei jedem Beat verwirrt – Fall María Paula).false= kein Puls;true= jeder Beat (nicht verwenden, es sei denn, es wird gewünscht).letra:falsefür den Cancionarte-Plan „Lied + Video mit Fotos“ (14.90): nur Titel, kein Karaoke. Plan Karaoke (19.90): weglassen odertrue.tema: "infantil"(Kinder/Babys): Luftballons an den Seiten, funkelnde Sterne, Blasen, sanftes Konfetti; Herzen in Refrains. Mit"fuente_titulo": "Segoe Print"(spielerischer als Segoe Script). Auch in Strophen 8 Beats pro Foto verwenden → dynamisch.tema: "nostalgia"(Abwesenheit, Distanz, Versöhnung, Trauer; Fall Mariana CNA-8YHTM2): sanfter Schnee + warmes, gedämpftes Licht in Refrains, kein Konfetti oder Herzen; Titel weiß/cremefarben mit dunklem Rand. Mit"pulso": false,"crossfade": 1.0, ohneflash, 12–16 Beats pro Foto. Vor der Wahl des Themas den Text lesen: Fotos als Kind ≠ Kinderlied.gaps: Titel in Instrumentalstücken[start, ende, "text"](z. B. "Ein Lied voller Liebe", "¡A bailar, mi reina!", "¡Que viva la cumpleañera!").sections:[start, ende, beats_por_foto, [fotos], flash, herzen]überdecken 0 bis Dauer lückenlos:- Strophen / Intro / Instrumentalstücke: 16 Beats pro Foto (~6–7 s bei 140 BPM).
- Refrains und Bridge: 8 Beats (~3,3 s) → dynamisch.
- Refrains:
corazones: true.flash: truebeim Eintritt jedes Abschnitts (außer Intro). - Erzählung: Intro → bestes Foto der gefeierten Person; Strophen der Bewunderung → Fotos nur von ihr; Refrains der Liebe → Paarfotos; Bridge/Party → Gruppenfotos; Abschluss → bestes Paarfoto (bleibt unter dem finalen Titel).
- Fotos wiederholen ist okay (17 Fotos in 4 Min → jedes erscheint ~2–3 Mal); nicht dasselbe Foto direkt hintereinander wiederholen.
B5. Timeline + Karaoke generieren
python $S/timeline.py <video_verzeichnis>
python $S/karaoke.py <video_verzeichnis> # muss "sin match: 0" oder fast anzeigen; sonst lineas.txt korrigieren
B6. Vorschau (~1 Min) – IMMER vor dem vollständigen Rendern
python $S/build.py <video_verzeichnis> --preview 62 70 # Einstieg eines Refrains
prev/preview.jpg ansehen (Read). Überprüfen: Gesichter nicht abgeschnitten, Text lesbar, nichts verdeckt Gesichter.
B7. Finales Rendern (im Hintergrund)
python $S/build.py <video_verzeichnis>
8 Blöcke parallel → zusammenführen → Karaoke + Audio einbrennen → WhatsApp-Version (crf 27, ~50 MB).
Gemessene Echtzeit (8 Kerne, Lied 4:00): ~15 Min Rendern + ~3 Min Final + ~2 Min WhatsApp ≈ 20 Min.
Warten mit until grep -q "FINAL\|rror" <ausgabe>; do sleep 5; done (Bash-Hintergrund), nicht mit sleep.
B8. Überprüfen und ausliefern
ffprobe(1080×1920, Dauer = Lied, h264+aac).- Blatt mit 8 Einzelbildern (2, 20, 45, …, Ende) → mit Read ansehen. Wenn ein Titel Gesichter verdeckt oder der Text fehlerhaft ist:
python $S/build.py <video_verzeichnis> --solo-karaoke(~5 Min, verwendet bereits gerenderte Fotos erneut). - Ausliefern mit Links zu den beiden MP4s (komplett für TV/IG, WhatsApp zum Verschicken), der benötigten Zeit und einer Zusammenfassung, was enthalten ist.
Visueller Stil (bereits in den Skripten implementiert)
- Hintergrund: dasselbe Foto, weichgezeichnet und abgedunkelt (niemals schwarze Balken).
- Zoom-Puls bei jedem Beat (stärker bei geraden Beats), Crossfade 0,35 s zwischen Fotos, weißer Blitz beim Start von Abschnitten.
- Buntes Konfetti im gesamten Video; rosafarbene Herzen in Refrains.
- Karaoke unten: aktuelle Zeile 74 px, goldene Füllung Wort für Wort (
\kf) mit Skalierungseffekt; nächste Zeile darunter in Grau. - Titel:
"<titel>"in rosa Segoe Script +"<name>"groß in Gold, unten (und 1400–1780), um Gesichter nicht zu verdecken; Abschluss mit"<name> ♥"+ Spruch.
Lebendige Bewegung (beim Hinzufügen neuer Titel, Themes oder Effekte)
Befolge die Regeln aus ${CLAUDE_SKILL_DIR}/../video-con-vida/references/principios.md:
- Neue Titel und Sticker kommen mit ease-out + 5–10 % Überschwung (Symbole/Herzen bis 20 %) und gehen mit ease-in; nichts ist linear außer der Karaoke-Füllung.
- Mehrere Elemente gleichzeitig → Staffelung 80–120 ms; die Wörter eines Titels, Buchstabe für Buchstabe 40–70 ms.
- Ken Burns immer mit ease-in-out, niemals linear; kein Foto vollkommen still (Zoom 1–3 % Minimum).
- Subtiler Gewinn: Der „Puls bei jedem Beat“ hat sich bereits als verwirrend erwiesen (Fall María Paula). Wenn eine Bewegung bewusst auffällt, reduziere sie.
- Wenn der Kunde ein eigenes Video mit einer Ansprache an die Kamera schickt (Widmung), können Effekte aus
video-con-vidaangewendet werden (z. B. 16 Titel mit dem Namen hinter dem Kopf, 14 lebendiges Gekritzel mit Herz), bevor es alsclipeingefügt wird.
Bereits gelöste Fehler (nicht wiederholen)
- Teiltransparente Partikel:
ImageDrawauf einem RGBA-Bild ersetzt Pixel (wird undurchsichtig). In einer separaten Ebene zeichnen undalpha_compositeverwenden (so macht esSnow). - Mosaike/Collagen des Kunden: Die weißen Streifen erkennen, jedes Foto zuschneiden, ×3 Lanczos + UnsharpMask skalieren; Doppelfotos trennen und Wasserzeichen entfernen.
- Whisper packt manchmal einen ganzen Vers in denselben Moment (alle Wörter mit demselben
s): Verteile sie manuell inwords.json(vorherwords-original.jsonsichern), bevor karaoke.py ausgeführt wird. - Luftballons in der Mitte verdeckten Gesichter → sie kommen an die Seiten (x <190 oder >890).
python -I→ ModuleNotFoundError für faster_whisper. Normales Python verwenden.- JSON als Argument in PowerShell zerstört Anführungszeichen → alles in
proyecto.json. - Starker Schwenk/Zoom bei horizontalen Fotos schnitt die Person ab → Karte mit 940 px Höhe +
focus. - Zentrierte Titel verdeckten Gesichter → sie kommen in den unteren Bereich (kein Karaoke in Intro und Abschluss).
- Sehr kurzes Endsegment eines Abschnitts (<60 % der normalen Länge) wird mit dem vorherigen verbunden (das macht timeline.py).