¿Qué hace avatar-studio?
Pipeline: head (cabeza parlante: retrato a head.glb + head.json) → audio (voz Kokoro, tiempos de palabras medidos, sonoridad de cada fotograma) → plan (boca a partir de sonoridad, parpadeos y balanceo basados en semilla, asentimientos en palabras acentuadas, miradas al panel lateral, diseño a lo largo del tiempo) → render (cada fotograma es una función pura de t, dibujado en headless Chrome, enviado a ffmpeg) → MP4 + subtítulos + copia web.
Carpeta de la habilidad: ~/.claude/skills/avatar-studio/ (escrito $A a continuación). Cada comando es $A/avatar <comando> <proyecto>. $A/avatar help los lista. Necesita la habilidad talking-head instalada (por defecto ~/.claude/skills/talking-head; usa TALKING_HEAD_DIR para usar otra carpeta).
$A/avatar la línea de comandos (check, new, lint, head, audio, sheet, stills, video, build, test)
$A/engine/gen_audio.py voz, tiempos de palabras, sonoridad por fotograma (ejecutado por "avatar audio")
$A/engine/lib/ módulos puros y probados: envelope (boca), motion, layout, plan, lint, captions
$A/engine/page/frame.js dibuja un fotograma: fondo, cabeza (visor de talking-head), título, panel, subtítulos, etiqueta
$A/references/script.md todos los campos del guion
$A/examples/juno/ un ejemplo completo (Juno, un personaje ficticio de talking-head)
Antes de todo: las reglas sobre rostros y palabras
No son opcionales. Díselas al usuario cuando apliquen.
- ¿De quién es esa cara? Si el retrato muestra o está dibujado a partir de una persona real, esa persona debe haber aceptado este uso. Pregunta al usuario. Si no puede confirmar el consentimiento, detente. Nunca hagas un video de una figura pública, un colega, un ex, un menor, ni de nadie por quien el usuario no pueda hablar. En el guion, establece
"character": { "likeness": "real-person-with-consent", "consent": true }solo después de que el usuario confirme; de lo contrario,"likeness": "original"(un personaje inventado) o"licensed". - Nunca suplantes identidad. El personaje no debe hacerse pasar por una persona real, y el guion no debe poner palabras en boca de una persona real ni presentar líneas como declaraciones, citas, respaldos o disculpas reales de alguien. Si el usuario lo pide, rechaza esa parte y ofrece un personaje original o un marco claramente ficticio.
- Etiquétalo. Cada fotograma lleva una etiqueta en pantalla (por defecto "Personaje generado por computadora"; lint rechaza una etiqueta vacía) y la tarjeta final dice que el personaje y la voz son generados por computadora. Dile al usuario que mantenga una nota similar donde publique el video (subtítulo, descripción, texto de página) y que siga las reglas de la plataforma para contenido sintético.
- Enumera las afirmaciones. Antes de renderizar, enumera cada afirmación fáctica que hace el guion (números, capacidades de productos, precios, fechas, comparaciones, declaraciones de salud/legales/financieras) y pide al usuario confirmar cada una. El personaje lo dice con voz segura; el usuario es quien lo respalda.
- Nada sale de la máquina excepto con el sí del usuario:
avatar head --source spacesube el retrato a un Hugging Face Space público y necesita--yesdespués de que el usuario haya aceptado (el SKILL.md de talking-head explica los límites de la licencia). La voz, los fotogramas y el video se generan localmente.
Flujo de trabajo
- Verificar:
$A/avatar check. Dice cómo solucionar lo que falta (talking-head, three.js, Kokoro, ffmpeg, Playwright, un navegador con WebGL). - Iniciar:
$A/avatar new <dir> --portrait picture.png(se construirá una cabeza) o--head <carpeta con head.glb y head.json>(reutilizar una, como$A/examples/juno/head). - Cabeza (solo con retrato):
$A/avatar head <dir>. Ejecuta talking-head (new,mark --auto,shape --source inflate,build,preview) en<dir>/build/heady copia el resultado a<dir>/head/. Si el retrato ha cambiado desde que se hicieron sus marcas, se detiene: vuelve a ejecutar con--force(nuevas marcas automáticas) o--marks FILE. Un solo proceso Blender a la vez; toma uno o dos minutos. Luego Lee<dir>/build/head/out/preview.pngy evalúalo como dice el SKILL.md de talking-head (ojos cubiertos al parpadear, boca abriéndose en la línea de labios). Corrige las marcas conmark --pagede talking-head, o pasa--marks FILE, y ejecutaavatar headde nuevo. - Guion: edita
<dir>/script.json(campos enreferences/script.md). Mantén las líneas en una o dos oraciones. Los puntos son de 2 a 6 palabras y se enganchan en una palabra dicha en la misma línea ("at": "palabra"). Marca una palabra acentuada por oración como*esta*para un asentimiento. Luego ejecuta$A/avatar lint <dir>hasta que no haya errores (sheet,stills,videoybuildejecutan lint ellos mismos y se niegan a renderizar con errores: sincharacter.likeness, una persona real sinconsent: true, una etiqueta vacía o demasiado larga, una carpeta head fuera del proyecto). Haz la regla 4 (enumera las afirmaciones) ahora. - Voz:
$A/avatar audio <dir>. Vuelve a ejecutarlo después de cambiar cualquier cosa que afecte la voz o el tiempo (líneas, voz, velocidad, idioma, pronunciación, fps, lead, gap, tail, pausa, añadir o cambiar un título o tarjeta final); los comandos de renderizado rechazan una voz desactualizada y lo indican. Imprime el inicio y la duración de cada línea, y si los tiempos de palabras se midieron del modelo ("de las duraciones de fonemas del modelo") o se estimaron; con tiempos estimados, los comandos de renderizado advierten que los puntos y subtítulos pueden quedar ligeramente desviados. Apunta a 20 a 60 segundos. - Revisar:
$A/avatar sheet <dir>, luego Leestills/<nombre>-sheet.png(un fotograma por beat: título, cada línea en su boca más abierta, cada punto, un parpadeo, la tarjeta final). Cualquier línealayout:impresa es texto que no cupo: acórtalo. Verifica: sin texto sobre la cara, subtítulos legibles y no sobre la boca, texto del panel dentro de sus filas, la etiqueta visible, nada cortado en el borde del fotograma. Para detalle usa$A/avatar stills <dir> 4.2 11y lee esos PNG. Nunca digas que se ve bien sin haberlo visto. - Renderizar:
$A/avatar video <dir> --web(oavatar build <dir>para lint + audio + sheet + video + web + previsualización en bucle). Imprime una línea de sincronía medida del archivo final: la correlaciónrentre la boca dibujada y la energía de sonido decodificada del MP4, y el mejor desfase en fotogramas. Espera r por encima de 0.75 y un desfase de 0 o -1 (la boca adelanta un fotograma a propósito). Reporta estos números; no puedes oír el audio. - Otras formas:
--format verticalo--format squareensheet,stills,videoybuild. Los archivos obtienen-<formato>en sus nombres. Revisa la hoja de nuevo para cada formato. - Dile al usuario dónde están los archivos (
out/<nombre>.mp4,.vtt,.srt,out/web/), los números de sincronía, los límites a continuación, y las reglas 3 y 4.
Qué esperar, honestamente
- La boca sigue la sonoridad, no los fonemas: se abre en sonidos fuertes y se cierra en pausas. Bueno para dibujos animados, no para lectura de labios.
- Solo funcionan bien cabezas ilustradas y de frente (aplican los límites de talking-head: perfil abultado con la forma offline, lados planos después de unos 35 grados). Los giros de cabeza se mantienen pequeños por esa razón.
- En la práctica, una voz por video (una línea puede tener su propia
voice, pero solo hay un personaje en pantalla). - El renderizado es WebGL por software: alrededor de 4 a 5 fotogramas por segundo con 2 páginas, por lo que un video horizontal de 30 segundos toma unos 3 minutos.
Reglas
- Máximo 2 páginas de navegador (
--workers 1|2) y un proceso Blender a la vez. - No subas las carpetas
build/,stills/oout/de un proyecto a menos que el usuario quiera conservar los renders. - Después de cambiar algo en
engine/lib/, ejecuta$A/avatar test.