Communitygithub.com

mr-kelly/skills

Agent-Fertigkeiten von mr-kelly

Was ist skills?

Dieses Skill namens **Kelly MV** fungiert als kreative Musikvideo-Werkstatt. Es ist ein intelligent gesteuerter „Creative Producer“, der parallel zu einer lokalen Web-App (Start mit `app/start.sh`, standardmäßig auf Port 3041) läuft. Die App dient als Benutzeroberfläche, das Skill übernimmt das logische Denken, Entwerfen, Validieren und Exportieren – und bereitet KI-generierte Prompts für Bilder und Videos vor. Das Skill arbeitet ausschließlich mit lokalen JSON-Dateien (`project.json` usw.) und ruft keine externen Dienste oder Modelle ohne Benutzeraufforderung auf. Es eignet sich besonders für Musikvideos, die rein visuell sind, also ohne Sprachausgabe, Dialoge oder eingebrannte Untertitel – die einzige Audiospur ist der hochgeladene MP3-Song. Das Skill führt in einer logischen Reihenfolge: Song hochladen → Konzept schreiben → Charakter-Referenzkarten generieren → Storyboard-Bilder generieren → Shot-Videos als Entwurf rendern. Es unterstützt Bild-zu-Bild-Generierung für konsistente Charaktere und lokale Backends wie MLX, ACE-Step oder YuE für die Song-Erzeugung. Zwei Validierungsskripte (`validate_ui_schema.ts` und `validate_shot_readiness.ts`) stellen die strukturelle und inhaltliche Korrektheit der Daten sicher, bevor die KI-Generierung startet. Damit ist Kelly MV die ideale Lösung für Kreative, die KI-gestützte Musikvideos mit konsistenten Charakteren und filmischer Ästhetik erstellen möchten – vollständig lokal und datenschutzfreundlich.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add mr-kelly/skills

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Vorschau

Aus dem Skill-README

skills preview
skills preview
skills preview
skills preview

Dokumentation

Kelly MV

Screenshots der App-Oberfläche

Kernidee

Nutze dieses Skill als kreativen Arbeitsbereich für Musikvideos. Die App ist die menschliche Bearbeitungsoberfläche; das Skill ist der kreative Produzent: es denkt mit, entwirft, validiert, exportiert und bereitet KI-Generierungsprompts vor. Die App liest und schreibt ausschließlich lokale Projektdateien.

Ein MV ist hier reines Bild – kein Voice-Over, kein Dialog, keine eingeblendeten Liedtexte. Die Aufgabe ist einfach: ein vorhandenes MP3 nehmen und mit Bildern versehen. Das finale Video besteht aus den Storyboard-Shots, die in Reihenfolge über dem Song abgespielt werden. (Für vertonte/dialogische Dramen verwende stattdessen kelly-drama – das ist dessen Aufgabe.)

Die App hat genau vier Bereiche: 概括 (Konzept), Song, 角色 (Besetzung), 分镜 (Storyboard). Halte es so einfach – füge keine Songabschnitte, Zeitleisten-Kacheln oder große produktionsbezogene Shot-Blätter wieder ein.

Verwende standardmäßig die lokale App für laufende kreative Arbeit. Verwende den Nur-Chat-Modus nur, wenn der Benutzer explizit nach „chat only“, „no UI“, „纯聊天“ oder Ähnlichem fragt.

Standardablauf

  1. Starte oder verwende die lokale App mit app/start.sh (Voreinstellung 127.0.0.1:3041; beachtet KELLY_MV_UI_PORT).
  2. Prüfe app/.data/project.json. Fehlt die Datei, setzt der Server das mitgelieferte Starter-Beispiel (ein 静夜思 Beispiel-MV) ein. Du kannst auch mit scripts/create_sample_project.ts neu initialisieren.
  3. Verwende die App und folge der Seitenleiste 下一步 (nächster Schritt):
    • 概括 (Konzept): Einzeilige Zusammenfassung, was das MV ist und seine Tonalität, eine einzeilige visuelle look-Beschreibung und Seitenverhältnis. Das war's.
    • Song: Lade ein MP3 hoch. Die Dauer wird automatisch ausgelesen. Optional Titel/Künstler. Nichts weiter.
    • 角色 (Besetzung): Die Personen auf dem Bildschirm. Stabile ID, Rolle, Drei-Ansichten-Visualnotizen, Garderobe, Ankerpunkte, verbotene Abweichungen und ein Charakter-Referenzkarten-Bild. Generiere Referenzkarten vor der Storyboard-Arbeit, wenn Konsistenz wichtig ist. Keine Sprachprofile (rein visuelles MV). Gleiches Modell wie kelly-drama.
    • 分镜 (Storyboard): Eine geordnete Liste von Shots. Jeder Shot hat eine 画面描述 (Szenenbeschreibung), die auftretenden Charaktere, eine Dauer und ein Bild + ein Video. Bild und Video können jeweils KI-generiert (Bild-zu-Bild von den Charakterkarten; Entwurfsvideo über lokales LTX) oder vom Benutzer hochgeladen werden.
  4. Nach Bearbeitungen führe scripts/validate_ui_schema.ts (Struktur) und scripts/validate_shot_readiness.ts (jeder Shot hat Titel, Beschreibung und vernünftige Dauer) aus, bevor die Generierung startet.
  5. Exportiere ein lesbares Konzept + Shotliste mit scripts/export_story_bible.ts zur Übergabe.

Kreative Arbeitsregeln

  • Rein visuell. Füge niemals Dialog-Audio, Erzähl-TTS oder eingebrannte Untertitel/Liedtexte hinzu. Die einzige Audiospur ist der Song selbst.
  • Halte es einfach. Der Shot besteht nur aus Szenenbeschreibung + Charakteren + Dauer + Bild + Video. Füge keine Kamera-Spezifikationsblätter, Songabschnitts-Taxonomien, Liedtext-Zeitlinien oder strikte Timeline-Abdeckungsregeln hinzu.
  • Tempo an die Musik anpassen. Schneide Shot-Längen auf den Song zu – kurze Momente laufen kurz (4–6s), Etablierungs-/Helden-/Montage-Shots laufen länger (8–12s). Ein einzelner KI-generierter Shot darf 4, 5, 6, 8, 10 oder 12 Sekunden dauern und niemals 12s überschreiten. (Hochgeladene Clips können jede Länge haben.)
  • Zwei Wege, einen Shot zu füllen. Bild und Video jedes Shots können generiert oder hochgeladen werden – beides wird als nicht-destruktive Kandidaten angehängt, und der Benutzer wählt den aktiven aus. Respektiere die Wünsche des Benutzers; überschreibe kein hochgeladenes Asset durch erneute Generierung.
  • Charakterkonsistenz durch echte Bild-zu-Bild-Generierung. Die Storyboard-Bildgenerierung speist die vorhandenen Charakter-Referenzkartenbilder in den /images/edits-Endpunkt als tatsächliche Eingabepixel, nicht nur als Text. Fehlt einem Charakter eine generierte Referenzkarte, fällt dieser Shot auf Text-zu-Bild zurück, und die Ähnlichkeit driftet – generiere zuerst die Karte.
  • Generiere in Abhängigkeitsreihenfolge: Song hochgeladen → Konzept geschrieben → Cast-Referenzkarten → Storyboard-Bilder → Entwurfs-Shot-Videos. Die description des Shots ist der Bild-Prompt; ein optionaler negative_prompt und video_prompt verfeinern die Generierung.
  • Photorealistischer MV-Look (wenn Realismus das Ziel ist): Fordere filmische Musikvideo-Stills, echte Objektivierung, filmisches Korn an; verbiete eingeblendete Liedtexte/Untertitel/Wasserzeichen/UI, lesbare gefälschte Texte, plastikartige Haut und deformierte Hände.

Song-Generierung (zukünftige Fähigkeit)

Das Auswählen/Importieren eines vorhandenen Songs ist der heute unterstützte Pfad. Das Erstellen des Songs selbst – einschließlich des Singens mit der geklonten Stimme des Benutzers – ist als dokumentierter Stub (POST /api/song-generate → scripts/gen_song.py) angelegt und spiegelt die lokale-Entwurf / Cloud-Produktion-Aufteilung wider, die für Videos verwendet wird.

Empfohlene lokale Backends (Apple Silicon, keine Cloud):

  • SongGeneration v2 (Tencent) – native MLX-Gewichte mlx-community/SongGeneration-v2-large. Bester Fit für „本地 MLX 最好“; gleicher Familienpfad wie der lokale TTS/Audio-Stack. Primäre Empfehlung.
  • ACE-Step 1.5 – stärkstes lokales Modell, läuft auf Mac, <4GB, voller Gesang + Instrumente, unterstützt Audio-Prompt-Timbre-Cloning und Textbearbeitung → der Pfad für „用我 clone 的声音创歌“ (übergib einen Referenzclip als Timbre-Prompt).
  • YuE / DiffRhythm – Vollständige Song-aus-Text-Alternativen; schwerer.

Vorbehalt: Das Klonen einer Gesangs-Stimme benötigt einen Gesangs-Referenzclip; eine gesprochene Probe klont das Timbre, aber nicht die Gesangsdarbietung gut. Um die Generierung zu aktivieren, installiere ein Backend in app/.data/song/venv, implementiere den Inferenzaufruf in scripts/gen_song.py und setze dann draft_ready in song-service.songConfigPayload() auf true.

App-Vertrag

Die lokale App verwendet nur dateibasiertes JSON:

  • app/.data/project.json: kanonischer MV-Arbeitsbereich (song, treatment = Konzept, characters, shots).
  • app/.data/image_config.json: lokale reine Bild-API-Konfiguration für die Storyboard-Generierung.
  • app/.data/song_config.json: optionale lokale reine Song-Generierungs-Backend-Konfiguration.
  • app/.data/generated/songs/: hochgeladene (oder generierte) Song-Audiodateien.
  • app/.data/generated/storyboards/, .../references/, .../videos/: generierte oder hochgeladene Bilder und Shot-Videos.
  • app/.data/agent.lock: temporäre Schreibsperre.

Die App darf keine externen Modelle kostenlos aufrufen, Dateien veröffentlichen, Nachrichten senden oder externe Systeme über die konfigurierte Bild-/Video-Generierung hinaus verändern, die der Benutzer auslöst. Das Skill darf andere Aktionen nur vorbereiten oder ausführen, nachdem der Benutzer darum gebeten hat.

Wann Referenzen gelesen werden sollten

  • Lese references/mv-workflow.md, wenn du ein MV-Konzept entwirfst oder verbesserst, eine Cast-Bibliothek, Shot-Aufschlüsselung oder einen Bild-/Video-Prompt-Workflow erstellst.
  • Lese references/ui-schema.md, wenn du App-Dateien bearbeitest, Projekt-JSON generierst oder Daten validierst.

Nützliche Befehle

skills/kelly-mv/app/start.sh
node skills/kelly-mv/scripts/create_sample_project.ts
node skills/kelly-mv/scripts/validate_ui_schema.ts
node skills/kelly-mv/scripts/validate_shot_readiness.ts
node skills/kelly-mv/scripts/export_story_bible.ts

Führe validate_shot_readiness.ts (optional mit --strict) vor einem Bild-/Video-Generierungsdurchlauf aus. Verwende Pfade relativ zum Skills-Repository-Stammverzeichnis oder führe die Skripte von innerhalb von skills/kelly-mv aus.

Verwandte Skills