Aus einer einzelnen Zeichnung einen beweglichen Vektor-Avatar erstellen
Diese Anleitung beschreibt, wie Sie dem Repository (vector-avator) einen neuen Charakter hinzufügen. Ausgehend von einer einzelnen Zeichnung des Charakters wird eine frontale Standfigur im einheitlichen Stil sowie Charakterblätter erstellt, die Teile werden von Fable 5.2 als Vektorgrafiken gezeichnet, geprüft und schließlich im Viewer animiert.
Das Beispiel ist der temporäre Hase (Charakter-ID usagi; Originalzeichnung in inputs/kariusagi/). Die fertigen Dateien der einzelnen Schritte finden Sie in public/characters/usagi/vector/ und tools/vector/sheets/characters/usagi.* – vergleichen Sie bei Unklarheiten.
0. Voraussetzungen
Das Arbeitsverzeichnis ist die Wurzel dieses Repositorys. Alle folgenden Befehle verwenden relative Pfade ausgehend von der Wurzel.
| Werkzeug | Behandlung | Verwendungsschritt | Überprüfung |
|---|---|---|---|
| Claude Code + Fable 5.2 | Erforderlich | 5. Aufteilung in Teile (Sub-Agent) | Der Sub-Agent muss mit Fable 5.2 als Modell konfiguriert sein |
| Codex CLI (imagegen) | Erforderlich | 2. Stilkonvertierung, 4. Blätter | codex --version, codex login (funktioniert mit ChatGPT-Plan, kein API-Key nötig) |
| Node 22, npm | Erforderlich | 7. Viewer, 8. Video | npm install ausgeführt |
| Python 3.10+ | Erforderlich | 2–6 | python3 -m venv .venv && .venv/bin/pip install -r requirements.txt |
| resvg | Erforderlich | 6. Überprüfungsbilder | resvg --version (z.B. cargo install resvg) |
| Playwrights Chromium, ffmpeg | Erforderlich | 7–8. Aufnahme, Video | npx playwright install chromium, ffmpeg -version |
| MiniMax H3 (ComfyUI) | Optional | 3. Winkelbeispiele | ComfyUI-API (Standard http://127.0.0.1:8188). Fehlt sie, Schritt 3 überspringen |
| TTS | Optional | 8. Lippen-Sync-Audio | Fehlt es, wird der Charakter mit Text-Lippen-Sync animiert |
Wenn Fable 5.2 oder Codex imagegen nicht verfügbar sind, informieren Sie den Benutzer und brechen Sie ab. Es hat sich gezeigt, dass die Qualität der Teileaufteilung mit anderen Modellen nicht ausreicht.
Port des Entwicklungsservers: Standard ist 5280 (npm run dev). Wenn dieser Port belegt ist, starten Sie mit npx vite --port <Port> --strictPort und hängen Sie VIEWER_URL=http://127.0.0.1:<Port>/ an alle Befehle für Aufnahme und Videoexport (viewer_shots.mjs, record.mjs). Geben Sie die URL auch in der Anfrage an Fable an.
Kosten- und Zeitrichtwerte (gemessen)
Gemessen bei der Erstellung des temporären Hasen (47 Teile). Für den zweiten und weitere Charaktere beträgt die Bearbeitungszeit inklusive Wartezeit etwa 1–1,5 Stunden pro Charakter. Die manuelle Arbeit beschränkt sich auf das Auflisten der Charaktermerkmale und die Überprüfung.
| Schritt | Zuständig | Zeit | Anzahl |
|---|---|---|---|
| 1. Charakterbeschreibung | Claude (Haupt-Agent) | ca. 10 min | — |
| 2. Frontale Standfigur | Codex imagegen | ca. 4,7 min | 2 Generierungen, 1 angenommen |
| 3. Winkelbeispiele (optional) | MiniMax H3 | ca. 7 min | 1 Durchlauf |
| 4. Zwei Charakterblätter | Codex imagegen | ca. 5 min | Je 1 Durchlauf |
| 5. Aufteilung in Teile | Fable 5.2 | ca. 16 min + Korrektur ca. 2,5 min | 1 + 1 Korrektur |
| 6–7. Prüfung, Bestätigung, Anpassung | Claude (Haupt-Agent) | ca. 20 min | — |
- Codex imagegen benötigt pro Bild etwa 2–2,5 Minuten. Wenn das Nutzungslimit des ChatGPT-Plans erreicht ist, kann es mehrere Stunden dauern. Pro Charakter sind 1–2 frontale Ansichten und 2 Blätter erforderlich.
- Die Aufteilung durch Fable 5.2 dauerte bei zwei anderen Charakteren ca. 22 Minuten (49 Teile) bzw. ca. 24 Minuten (61 Teile).
- Als ein Agent ohne Vorkenntnisse mit diesem Skill einen einzelnen Charakter (63 Teile) erstellte, dauerte es insgesamt ca. 43 Minuten (4 imagegen-Durchläufe, 1 Fable-Durchlauf mit ca. 24 Minuten / ca. 280.000 Token, 0 Überarbeitungen), wobei die Winkelbeispiele übersprungen wurden.
- Tokenanzahl und Kosten wurden nicht gemessen.
Gesamtablauf
| Schritt | Inhalt | Werkzeug | Ausgabe |
|---|---|---|---|
| 1 | Charakterbeschreibung (zu erhaltende Merkmale) schreiben | Manuell | tools/vector/sheets/characters/<id>.md und .json |
| 2 | Original in gemeinsamen Stil konvertieren, frontale A-Pose erstellen | make.py gen <id> restyle | ref/front.png |
| 3 | Einzelbilder aus 360-Grad-Drehvideo extrahieren (optional) | turntable.sh <id> | ref/turntable.mp4, ref/angle_*.png |
| 4 | Zwei Blätter (Vieransichten + Handformen, Gesichtsausdrücke) | make.py gen <id> sheet_turnaround / sheet_face | ref/sheet_turnaround.png, ref/sheet_face.png |
| 5 | Nur gefüllte Teile zeichnen, verdeckte Bereiche ergänzen | Fable 5.2 + references/fable-brief.md | vector.json |
| 6 | Strukturprüfung und Sichtkontrolle der Prüfbilder | check_parts.py <id> | 0 Fehler |
| 7 | Im Viewer testen und anpassen | npm run dev, viewer_shots.mjs | Angepasstes vector.json |
| 8 | Videoexport und Lippen-Sync | record.mjs, lipsync.py | MP4 |
ref/ steht für public/characters/<id>/vector/ref/. Die Charakter-ID verwendet nur Kleinbuchstaben und Ziffern (z.B. usagi). Versuchsbilder und Arbeitsdateien von Fable werden in var/vector/<id>/ gesammelt (nicht versioniert).
1. Charakterbeschreibung schreiben
Schreiben Sie in tools/vector/sheets/characters/<id>.md stichpunktartig die Merkmale, die auch nach der Stiländerung erhalten bleiben sollen. In <id>.json notieren Sie den Pfad zum Originalbild und dessen Rolle. Das Originalbild wird in inputs/<id>/ oder ähnlich abgelegt.
- Schreibweise und Beispiel finden Sie in
references/character-notes.md. Beispiel für den temporären Hasen:tools/vector/sheets/characters/usagi.mdundusagi.json. - Farben werden als ungefähre Werte (
#RRGGBB) angegeben. - Der gemeinsame Stil (
tools/vector/sheets/style_base.md) zeichnet den Charakter als „Tier/Lebewesen“. Punkte, bei denen der Charakter dadurch ungewollt verändert würde (z.B. Fellbüschel bei einem haarlosen Charakter, oder ein nicht-menschlicher Charakter wird als Tier gezeichnet), werden in der Beschreibung explizit mit „nicht zeichnen“ oder „nicht anwenden“ zurückgesetzt. Die Datei des gemeinsamen Stils wird nicht verändert. - Auch wenn das Originalbild eine bewegte Pose (Körperverdrehung, Armbeugung) zeigt, wird die frontale A-Pose durch
layouts/restyle.mdvorgegeben. Dies muss nicht in der Beschreibung erwähnt werden; ein Hinweis „Pose nicht als Referenz nehmen“ in derroles-Eigenschaft von<id>.jsonsorgt für Stabilität.
Registrieren Sie den Charakter gleichzeitig im Viewer. Dies wird benötigt, wenn Fable in Schritt 5 den Viewer zur Überprüfung nutzt. data/characters/<id>.json:
{ "id": "<id>", "label": "<Charaktername>", "vector": { "url": "characters/<id>/vector/vector.json" } }
2. Frontale Standfigur (Codex imagegen)
.venv/bin/python tools/vector/sheets/make.py gen <id> restyle --count 2
.venv/bin/python tools/vector/sheets/make.py log <id>
.venv/bin/python tools/vector/sheets/make.py adopt <id> restyle <Nummer>
- Der Prompt wird aus „gemeinsamer Stil + Charakterbeschreibung + zu zeichnendes Objekt (
layouts/restyle.md)“ zusammengesetzt und übercodex execan imagegen übergeben. Versuche bleiben invar/vector/<id>/gen/zusammen mit Prompt und benötigter Zeit erhalten. - Betrachten Sie die generierten Bilder zwingend visuell und vergleichen Sie sie mit dem Original. Achten Sie auf: Ist der Charakter erkennbar? 2–2,5 Kopfgrößen? Echte Frontalansicht in A-Pose mit Zwischenraum unter den Armen? Keine Glanzlichter in den Augen? Nicht schielend?
- Passt es nicht, korrigieren Sie mit
--note "zusätzliche Anweisung"oder überarbeiten Sie die Charakterbeschreibung (Beispiel: Der temporäre Hase sah durch die gemeinsame „Haarfülle“ wie ein anderer Charakter aus, daher wurde dies in der Beschreibung zurückgesetzt). Notieren Sie die Änderung in der Beschreibung. adoptlegt das angenommene Bild einheitlich alsref/front.png(1024×1536) ab.
3. Winkelbeispiele (optional: MiniMax H3)
bash tools/vector/sheets/turntable.sh <id> # COMFY_SERVER zum Ändern der ComfyUI-URL
- Erstellen Sie zuerst
tools/vector/sheets/h3/<id>.txt(Prompt für das Drehvideo) basierend auf der Vorlageh3/usagi.txt. Ersetzen Sie nur den Teil mit der Charakterbeschreibung. - Die Ausgaben
angle_045.png,angle_090.png,angle_180.pngwerden automatisch als Referenzbilder für die Blatterstellung in Schritt 4 hinzugefügt. Da die Drehung von H3 nicht gleichmäßig ist, sind die Winkel nur Richtwerte. - Wenn ComfyUI und H3 nicht verfügbar sind, überspringen Sie diesen Schritt. Die Aufteilung in Teile ist auch ohne die Winkelbeispiele möglich.
4. Zwei Charakterblätter (Codex imagegen)
.venv/bin/python tools/vector/sheets/make.py gen <id> sheet_turnaround
.venv/bin/python tools/vector/sheets/make.py adopt <id> sheet_turnaround 1
.venv/bin/python tools/vector/sheets/make.py gen <id> sheet_face
.venv/bin/python tools/vector/sheets/make.py adopt <id> sheet_face 1
- Das erste Blatt zeigt eine Vieransicht (Front, Schrägansicht, Seite, Rückansicht) und vier Handformen (offen, Zeigefinger, Faust, Handfläche). Das zweite Blatt zeigt Gesichtsausdrücke (Augen: offen, halb, geschlossen; Mund: zu, a, i, u, e, o; Ausdrücke: neutral, lächelnd, überrascht, traurig/verlegen).
- Die Schräg- und Seitenansicht zeigen das Gesicht nach links (gleiche Drehrichtung wie H3).
- Überprüfen Sie visuell, ob der Charakter mit der frontalen Standfigur übereinstimmt und die Ausdrücke konsistent sind (z.B. ist die Iris bei halb geschlossenen Augen nicht gequetscht). Bei Unstimmigkeiten korrigieren Sie mit
--noteund generieren neu.
5. Aufteilung in Teile (Sub-Agent mit Fable 5.2)
- Fügen Sie in die Vorlage
references/fable-brief.mddie Charakter-ID, den Charakternamen, charakterspezifische Hinweise und die Viewer-URL (Standardhttp://127.0.0.1:5280/) ein. Speichern Sie das Ergebnis alsvar/vector/<id>/fable/brief.md. Hinweise und Beispiel (temporärer Hase) finden Sie inreferences/character-notes.md. - Starten Sie einen Sub-Agenten mit Fable 5.2 und übergeben Sie den vollständigen Inhalt von
brief.md. Fable erstellt gemäßreferences/parts-spec.mdmit einem Zeichnungsskriptpublic/characters/<id>/vector/vector.json, prüft es selbstständig und berichtet. - Lesen Sie den Bericht, führen Sie die Prüfung aus Schritt 6 und die Bestätigung aus Schritt 7 durch. Bei Korrekturbedarf beauftragen Sie denselben Sub-Agenten (ein neuer Start würde den Kontext verlieren).
Was eingehalten werden muss (steht in der Vorlage):
- Teile von Grund auf neu zeichnen – keine Pixelausschnitte oder automatische Konturen zur Formfindung.
- Nur mit Füllungen zeichnen – Linien werden beim Rendern automatisch hinzugefügt.
- Auch verdeckte Bereiche ergänzen (Stirn unter Pony, Kopf unter Ohrenansatz, Rumpf bei abgenommenen Armen, Hals, Schwanzansatz usw.).
- Arme nicht zeichnen (werden beim Rendern generiert). Stattdessen Skelettmarkierungen sowie Armstärke und -farbe messen und notieren.
_Lund_Rbeziehen sich auf die Seite des Charakters selbst (in der Frontansicht ist_Lrechts im Bild).
6. Prüfung
.venv/bin/python tools/vector/check_parts.py <id>
- 0 Fehler = bestanden. Warnungen je nach Inhalt bewerten.
- Betrachten Sie die Prüfbilder (
var/vector/<id>/check/) visuell. Prüfpunkte finden Sie inreferences/visual-qa.md. Achten Sie besonders auf: Löcher oder Schnittkanten bei ausgeblendeten vorderen Teilen (qa_*.png), Übereinstimmung der Variationen (variants.png,expressions.png) mit den Charakterblättern sowie Übereinstimmung der Gelenke im Skelett (skeleton.png) mit der Zeichnung. - Die Prüfbilder enthalten keine automatischen Konturen und keine generierten Arme. Das endgültige Erscheinungsbild wird in Schritt 7 überprüft.
7. Im Viewer testen
-
Stellen Sie sicher, dass
data/characters/<id>.json(in Schritt 1 erstellt) vorhanden ist. -
Starten Sie den Entwicklungsserver mit
npm run devund öffnen Siehttp://localhost:5280/?char=<id>(bei mehr als einem Charakter erscheint eine Auswahl). -
Testen Sie durch Aufnahmen (während der Entwicklungsserver läuft):
DSF=2 node tools/capture/viewer_shots.mjs var/vector/<id>/check/viewer \ neutral="char=<id>" face30="char=<id>&framing=face&yaw=30&blink=0" faceM30="char=<id>&framing=face&yaw=-30&blink=0" \ explain="char=<id>&motion=explain&t=1.0" spread="char=<id>&motion=spread&t=1.2" \ half="char=<id>&framing=face&eye=half&blink=0" point="char=<id>&motion=point&t=1.5" -
Achten Sie auf: Keine unerwünschten Linien an Teilübergängen bei weißen Charakteren? Treten die Augen bei ±30° Kopfdrehung nicht aus dem Gesichtsumriss? Lösen sich Ohr-/Haaransätze nicht vom Kopf? Stimmen Arm- und Handstärke sowie -farbe? Ist die Bewegung von mitschwingenden Teilen natürlich?
-
Anpassungen erfolgen über Werte in
vector.json. Testen Sie Werte zunächst über URL-Parameter, bevor Sie sie übernehmen. Eine Liste der anpassbaren Werte finden Sie inreferences/tuning.md, häufige Probleme und Lösungen inreferences/troubleshooting.md.
8. Videoexport und Lippen-Sync
# Video (während der Entwicklungsserver läuft)
node tools/vector/record.mjs --out out/<id>_explain --motion explain --query "char=<id>"
# Lippen-Sync: aus WAV und Text (Japanisch in Kana). TTS-Typ beliebig
.venv/bin/python tools/lipsync/lipsync.py line.wav --text "こんにちは、よろしくおねがいします。" -o line.json
node tools/vector/record.mjs --out out/<id>_hello --motion talk_demo --lipsync line.json --audio line.wav --query "char=<id>"
- Ohne TTS kann ein Video mit Text-Lippen-Sync erstellt werden:
node tools/vector/record.mjs --out out/<id>_hello --motion talk_demo --seconds 6 --query "char=<id>&say=こんにちは、よろしくね。". Der Text wird im Takt der Uhr wiederholt. Die Videolänge wird durch die Bewegungslänge (bei nicht-loopenden Bewegungen durch--seconds) bestimmt. Zum Stoppen nach der Textlänge geben Sie--secondsan (Richtwert: 1 Mora 0,15 s, Satzzeichen 0,3 s). - Für englischen Text:
--lang en, für Lautstärke ohne Text:--method rms, bei Whisper-Wortzeitmarken:--whisper whisper.json. - Hintergrundfarbe:
--query "bg=ffd3e0"; handgezeichnete Linien:vHand=0–4(keine, schwach, mittel, stark, handgezeichnet+; Standard stark). - Auch im Viewer können Lippen-Sync-JSON und Audiodatei geladen und abgespielt werden.
Nach Abschluss
Melden Sie dem Benutzer:
- Die erstellten Dateien (
ref/-Bilder,vector.json,data/characters/<id>.json) sowie Speicherorte der Prüfbilder und Videos - Zeitaufwand und Anzahl der Generierungen/Überarbeitungen pro Schritt
- Prüfergebnis und verbleibende Probleme (unsichere Teile, nicht vollständig korrigierte Erscheinungsbilder)