Was macht avatar-studio?
Pipeline: head (Sprechkopf: Porträt zu head.glb + head.json) → audio (Kokoro-Stimme, gemessene Wortzeiten, Lautstärke jedes Frames) → plan (Mundbewegung aus Lautstärke, deterministisches Blinzeln und Wackeln, Nicken bei betonten Wörtern, Blicke zur Seitenleiste, Layout über die Zeit) → render (jeder Frame als reine Funktion von t, gerendert in headless Chrome, an ffmpeg weitergeleitet) → MP4 + Untertitel + Web-Kopie.
Skill-Ordner: ~/.claude/skills/avatar-studio/ (im Folgenden als $A geschrieben). Jeder Befehl ist $A/avatar <befehl> <projekt>. $A/avatar help zeigt alle Befehle an. Es benötigt das installierte talking-head-Skill (Standard: ~/.claude/skills/talking-head; setze TALKING_HEAD_DIR, um einen anderen Ordner zu verwenden).
$A/avatar die Befehlszeile (check, new, lint, head, audio, sheet, stills, video, build, test)
$A/engine/gen_audio.py Stimme, Wortzeiten, Lautstärke pro Frame (ausgeführt von "avatar audio")
$A/engine/lib/ reine, unit-getestete Module: envelope (Mund), motion (Bewegung), layout, plan, lint, captions
$A/engine/page/frame.js zeichnet einen Frame: Hintergrund, Kopf (talking-head-Viewer), Titel, Panel, Untertitel, Label
$A/references/script.md alle Skriptfelder
$A/examples/juno/ ein fertiges Beispiel (Juno, eine fiktive Figur aus talking-head)
Vor allem: die Regeln für Gesichter und Worte
Diese sind nicht optional. Sage sie dem Benutzer, wenn sie zutreffen.
- Wessen Gesicht ist das? Wenn das Porträt eine reale Person zeigt oder von einer solchen abgeleitet ist, muss diese Person der Nutzung zugestimmt haben. Frage den Benutzer. Wenn er die Zustimmung nicht bestätigen kann, brich ab. Erstelle niemals ein Video von einer öffentlichen Person, einem Kollegen, einem Ex-Partner, einem Kind oder von jemandem, für den der Benutzer nicht sprechen kann. Setze im Skript
"character": { "likeness": "real-person-with-consent", "consent": true }nur, nachdem der Benutzer zugestimmt hat; andernfalls"likeness": "original"(eine erfundene Figur) oder"licensed". - Niemals identitätstäuschend. Die Figur darf nicht so tun, als wäre sie eine reale Person, und das Skript darf einer realen Person keine Worte in den Mund legen oder Zeilen als deren echte Aussagen, Zitate, Empfehlungen oder Entschuldigungen präsentieren. Wenn der Benutzer dies verlangt, lehne diesen Teil ab und biete eine Originalsfigur oder eine eindeutig fiktive Rahmung an.
- Kennzeichnen. Jeder Frame trägt ein sichtbares Label (Standard: „Computergenerierte Figur“; lint weist ein leeres Label zurück) und die Endkarte sagt, dass Figur und Stimme computergeneriert sind. Weise den Benutzer an, überall, wo er das Video veröffentlicht (Untertitel, Beschreibung, Seitentext), einen ähnlichen Hinweis zu hinterlegen und die Plattformregeln für synthetische Medien zu befolgen.
- Behauptungen auflisten. Vor dem Rendern liste jede faktische Behauptung im Skript auf (Zahlen, Produkteigenschaften, Preise, Daten, Vergleiche, gesundheitliche/rechtliche/finanzielle Aussagen) und bitte den Benutzer, jede zu bestätigen. Die Figur spricht sie mit einer selbstbewussten Stimme; der Benutzer steht dahinter.
- Nichts verlässt den Rechner, außer mit dem Ja des Benutzers:
avatar head --source spacelädt das Porträt in einen öffentlichen Hugging Face Space hoch und benötigt--yes, nachdem der Benutzer zugestimmt hat (die Lizenzlimits stehen in talking-heads SKILL.md). Stimme, Frames und Video werden alle lokal erstellt.
Arbeitsablauf
- Prüfen:
$A/avatar check. Es sagt, was fehlt (talking-head, three.js, Kokoro, ffmpeg, Playwright, ein Browser mit WebGL). - Starten:
$A/avatar new <verz> --portrait bild.png(ein Kopf wird erstellt) oder--head <ordner mit head.glb und head.json>(einen vorhandenen wiederverwenden, z.B.$A/examples/juno/head). - Kopf (nur mit Porträt):
$A/avatar head <verz>. Führt talking-head aus (new,mark --auto,shape --source inflate,build,preview) in<verz>/build/headund kopiert das Ergebnis nach<verz>/head/. Wenn das Porträt seit der Markierung geändert wurde, bricht es ab: Wiederhole mit--force(neue automatische Markierungen) oder--marks DATEI. Jeweils ein Blender-Prozess; es dauert ein bis zwei Minuten. Dann lies<verz>/build/head/out/preview.pngund bewerte es wie in talking-heads SKILL.md beschrieben (Augen beim Blinzeln bedeckt, Mund öffnet sich an der Lippenlinie). Korrigiere Markierungen mit talking-headsmark --pageoder übergib--marks DATEIund führeavatar headerneut aus. - Skript: bearbeite
<verz>/script.json(Felder inreferences/script.md). Halte Zeilen auf ein bis zwei Sätze. Stichpunkte (Points) bestehen aus 2 bis 6 Wörtern und hängen an einem Wort in derselben Zeile ("at": "wort"). Markiere ein betontes Wort pro Satz wie*dieses*für ein Nicken. Führe dann$A/avatar lint <verz>aus, bis keine Fehler mehr vorhanden sind (sheet,stills,videoundbuildführen lint selbst aus und verweigern das Rendern bei Fehlern: fehlendescharacter.likeness, eine reale Person ohneconsent: true, ein leeres oder zu langes Label, ein Kopf-Ordner außerhalb des Projekts). Führe jetzt Regel 4 (Behauptungen auflisten) aus. - Stimme:
$A/avatar audio <verz>. Führe es erneut aus, nachdem du etwas geändert hast, das die Stimme oder das Timing beeinflusst (Zeilen, Stimme, Geschwindigkeit, Sprache, Aussprache, fps, Vorlauf, Lücke, Nachlauf, Pause; Hinzufügen oder Ändern eines Titels oder einer Endkarte); die Render-Befehle lehnen eine veraltete Stimme ab und geben eine Meldung aus. Es gibt Start und Länge jeder Zeile aus sowie ob die Wortzeiten aus dem Modell gemessen wurden („aus den Phonemdauern des Modells“) oder geschätzt; bei geschätzten Zeiten warnen die Render-Befehle, dass Stichpunkte und Untertitel leicht daneben liegen können. Strebe 20 bis 60 Sekunden an. - Aussehen:
$A/avatar sheet <verz>, dann liesstills/<name>-sheet.png(ein Frame pro Takt: Titel, jede Zeile bei weitestem Mund, jeder Stichpunkt, ein Blinzeln, die Endkarte). Etwaige ausgegebenelayout:-Zeilen sind Text, der nicht passt: kürze ihn. Prüfe: kein Text über dem Gesicht, Untertitel lesbar und nicht über dem Mund, Paneltext innerhalb seiner Zeilen, das Label sichtbar, nichts am Bildrand abgeschnitten. Für Details verwende$A/avatar stills <verz> 4.2 11und lies diese PNGs. Sage niemals, es sieht richtig aus, ohne es anzusehen. - Rendern:
$A/avatar video <verz> --web(oderavatar build <verz>für lint + audio + sheet + video + web + Endlosschleife). Es gibt eine Sync-Zeile aus, gemessen aus der fertigen Datei: die Korrelationrzwischen dem gezeichneten Mund und der aus dem MP4 rückgewonnenen Schallenergie sowie die beste Verzögerung in Frames. Erwarte r über 0,75 und eine Verzögerung von 0 oder -1 (der Mund geht absichtlich einen Frame voraus). Gib diese Zahlen an; du kannst das Audio nicht hören. - Andere Formate:
--format verticaloder--format squarebeisheet,stills,videoundbuild. Dateien erhalten-<format>im Namen. Sieh dir das Blatt auch für jedes Format an. - Teile dem Benutzer mit, wo die Dateien sind (
out/<name>.mp4,.vtt,.srt,out/web/), die Sync-Zahlen, die unten genannten Einschränkungen und die Regeln 3 und 4.
Ehrlich gesagt: Was zu erwarten ist
- Der Mund folgt der Lautstärke, nicht den Phonemen: er öffnet sich bei lauten Geräuschen und schließt sich in Pausen. Gut für Cartoons, nicht zum Lippenlesen.
- Nur illustrierte, von vorne gezeigte Köpfe funktionieren gut (talking-heads Einschränkungen gelten: pummeliges Profil mit der Offline-Form, einfache Seiten ab etwa 35 Grad). Kopfdrehungen werden daher klein gehalten.
- In der Praxis eine Stimme pro Video (eine Zeile kann ihre eigene
voicesetzen, aber es ist eine Figur auf dem Bildschirm). - Das Rendern ist Software-WebGL: etwa 4 bis 5 Bilder pro Sekunde mit 2 Seiten, daher dauert ein 30-Sekunden-Querformatvideo etwa 3 Minuten.
Regeln
- Maximal 2 Browserseiten (
--workers 1|2) und jeweils ein Blender-Prozess. - Führe die Ordner
build/,stills/oderout/eines Projekts nur dann ins Commit auf, wenn der Benutzer die Renderings behalten möchte. - Nach Änderungen an
engine/lib/führe$A/avatar testaus.