Kelly MV
Screenshots der App-Oberfläche
Kernidee
Nutze dieses Skill als kreativen Arbeitsbereich für Musikvideos. Die App ist die menschliche Bearbeitungsoberfläche; das Skill ist der kreative Produzent: es denkt mit, entwirft, validiert, exportiert und bereitet KI-Generierungsprompts vor. Die App liest und schreibt ausschließlich lokale Projektdateien.
Ein MV ist hier reines Bild – kein Voice-Over, kein Dialog, keine eingeblendeten Liedtexte. Die Aufgabe ist einfach: ein vorhandenes MP3 nehmen und mit Bildern versehen. Das finale Video besteht aus den Storyboard-Shots, die in Reihenfolge über dem Song abgespielt werden. (Für vertonte/dialogische Dramen verwende stattdessen kelly-drama – das ist dessen Aufgabe.)
Die App hat genau vier Bereiche: 概括 (Konzept), Song, 角色 (Besetzung), 分镜 (Storyboard). Halte es so einfach – füge keine Songabschnitte, Zeitleisten-Kacheln oder große produktionsbezogene Shot-Blätter wieder ein.
Verwende standardmäßig die lokale App für laufende kreative Arbeit. Verwende den Nur-Chat-Modus nur, wenn der Benutzer explizit nach „chat only“, „no UI“, „纯聊天“ oder Ähnlichem fragt.
Standardablauf
- Starte oder verwende die lokale App mit
app/start.sh(Voreinstellung127.0.0.1:3041; beachtetKELLY_MV_UI_PORT). - Prüfe
app/.data/project.json. Fehlt die Datei, setzt der Server das mitgelieferte Starter-Beispiel (ein 静夜思 Beispiel-MV) ein. Du kannst auch mitscripts/create_sample_project.tsneu initialisieren. - Verwende die App und folge der Seitenleiste 下一步 (nächster Schritt):
- 概括 (Konzept): Einzeilige Zusammenfassung, was das MV ist und seine Tonalität, eine einzeilige visuelle
look-Beschreibung und Seitenverhältnis. Das war's. - Song: Lade ein MP3 hoch. Die Dauer wird automatisch ausgelesen. Optional Titel/Künstler. Nichts weiter.
- 角色 (Besetzung): Die Personen auf dem Bildschirm. Stabile ID, Rolle, Drei-Ansichten-Visualnotizen, Garderobe, Ankerpunkte, verbotene Abweichungen und ein Charakter-Referenzkarten-Bild. Generiere Referenzkarten vor der Storyboard-Arbeit, wenn Konsistenz wichtig ist. Keine Sprachprofile (rein visuelles MV). Gleiches Modell wie kelly-drama.
- 分镜 (Storyboard): Eine geordnete Liste von Shots. Jeder Shot hat eine 画面描述 (Szenenbeschreibung), die auftretenden Charaktere, eine Dauer und ein Bild + ein Video. Bild und Video können jeweils KI-generiert (Bild-zu-Bild von den Charakterkarten; Entwurfsvideo über lokales LTX) oder vom Benutzer hochgeladen werden.
- 概括 (Konzept): Einzeilige Zusammenfassung, was das MV ist und seine Tonalität, eine einzeilige visuelle
- Nach Bearbeitungen führe
scripts/validate_ui_schema.ts(Struktur) undscripts/validate_shot_readiness.ts(jeder Shot hat Titel, Beschreibung und vernünftige Dauer) aus, bevor die Generierung startet. - Exportiere ein lesbares Konzept + Shotliste mit
scripts/export_story_bible.tszur Übergabe.
Kreative Arbeitsregeln
- Rein visuell. Füge niemals Dialog-Audio, Erzähl-TTS oder eingebrannte Untertitel/Liedtexte hinzu. Die einzige Audiospur ist der Song selbst.
- Halte es einfach. Der Shot besteht nur aus Szenenbeschreibung + Charakteren + Dauer + Bild + Video. Füge keine Kamera-Spezifikationsblätter, Songabschnitts-Taxonomien, Liedtext-Zeitlinien oder strikte Timeline-Abdeckungsregeln hinzu.
- Tempo an die Musik anpassen. Schneide Shot-Längen auf den Song zu – kurze Momente laufen kurz (4–6s), Etablierungs-/Helden-/Montage-Shots laufen länger (8–12s). Ein einzelner KI-generierter Shot darf 4, 5, 6, 8, 10 oder 12 Sekunden dauern und niemals 12s überschreiten. (Hochgeladene Clips können jede Länge haben.)
- Zwei Wege, einen Shot zu füllen. Bild und Video jedes Shots können generiert oder hochgeladen werden – beides wird als nicht-destruktive Kandidaten angehängt, und der Benutzer wählt den aktiven aus. Respektiere die Wünsche des Benutzers; überschreibe kein hochgeladenes Asset durch erneute Generierung.
- Charakterkonsistenz durch echte Bild-zu-Bild-Generierung. Die Storyboard-Bildgenerierung speist die vorhandenen Charakter-Referenzkartenbilder in den
/images/edits-Endpunkt als tatsächliche Eingabepixel, nicht nur als Text. Fehlt einem Charakter eine generierte Referenzkarte, fällt dieser Shot auf Text-zu-Bild zurück, und die Ähnlichkeit driftet – generiere zuerst die Karte. - Generiere in Abhängigkeitsreihenfolge: Song hochgeladen → Konzept geschrieben → Cast-Referenzkarten → Storyboard-Bilder → Entwurfs-Shot-Videos. Die
descriptiondes Shots ist der Bild-Prompt; ein optionalernegative_promptundvideo_promptverfeinern die Generierung. - Photorealistischer MV-Look (wenn Realismus das Ziel ist): Fordere filmische Musikvideo-Stills, echte Objektivierung, filmisches Korn an; verbiete eingeblendete Liedtexte/Untertitel/Wasserzeichen/UI, lesbare gefälschte Texte, plastikartige Haut und deformierte Hände.
Song-Generierung (zukünftige Fähigkeit)
Das Auswählen/Importieren eines vorhandenen Songs ist der heute unterstützte Pfad. Das Erstellen des Songs selbst – einschließlich des Singens mit der geklonten Stimme des Benutzers – ist als dokumentierter Stub (POST /api/song-generate → scripts/gen_song.py) angelegt und spiegelt die lokale-Entwurf / Cloud-Produktion-Aufteilung wider, die für Videos verwendet wird.
Empfohlene lokale Backends (Apple Silicon, keine Cloud):
- SongGeneration v2 (Tencent) – native MLX-Gewichte
mlx-community/SongGeneration-v2-large. Bester Fit für „本地 MLX 最好“; gleicher Familienpfad wie der lokale TTS/Audio-Stack. Primäre Empfehlung. - ACE-Step 1.5 – stärkstes lokales Modell, läuft auf Mac, <4GB, voller Gesang + Instrumente, unterstützt Audio-Prompt-Timbre-Cloning und Textbearbeitung → der Pfad für „用我 clone 的声音创歌“ (übergib einen Referenzclip als Timbre-Prompt).
- YuE / DiffRhythm – Vollständige Song-aus-Text-Alternativen; schwerer.
Vorbehalt: Das Klonen einer Gesangs-Stimme benötigt einen Gesangs-Referenzclip; eine gesprochene Probe klont das Timbre, aber nicht die Gesangsdarbietung gut. Um die Generierung zu aktivieren, installiere ein Backend in app/.data/song/venv, implementiere den Inferenzaufruf in scripts/gen_song.py und setze dann draft_ready in song-service.songConfigPayload() auf true.
App-Vertrag
Die lokale App verwendet nur dateibasiertes JSON:
app/.data/project.json: kanonischer MV-Arbeitsbereich (song,treatment= Konzept,characters,shots).app/.data/image_config.json: lokale reine Bild-API-Konfiguration für die Storyboard-Generierung.app/.data/song_config.json: optionale lokale reine Song-Generierungs-Backend-Konfiguration.app/.data/generated/songs/: hochgeladene (oder generierte) Song-Audiodateien.app/.data/generated/storyboards/,.../references/,.../videos/: generierte oder hochgeladene Bilder und Shot-Videos.app/.data/agent.lock: temporäre Schreibsperre.
Die App darf keine externen Modelle kostenlos aufrufen, Dateien veröffentlichen, Nachrichten senden oder externe Systeme über die konfigurierte Bild-/Video-Generierung hinaus verändern, die der Benutzer auslöst. Das Skill darf andere Aktionen nur vorbereiten oder ausführen, nachdem der Benutzer darum gebeten hat.
Wann Referenzen gelesen werden sollten
- Lese
references/mv-workflow.md, wenn du ein MV-Konzept entwirfst oder verbesserst, eine Cast-Bibliothek, Shot-Aufschlüsselung oder einen Bild-/Video-Prompt-Workflow erstellst. - Lese
references/ui-schema.md, wenn du App-Dateien bearbeitest, Projekt-JSON generierst oder Daten validierst.
Nützliche Befehle
skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts
Führe validate_shot_readiness.ts (optional mit --strict) vor einem Bild-/Video-Generierungsdurchlauf aus. Verwende Pfade relativ zum Skills-Repository-Stammverzeichnis oder führe die Skripte von innerhalb von skills/kelly-mv aus.



