De uma ilustração a um avatar vetorial animado
Este é o procedimento para adicionar um novo personagem a este repositório (vector-avator). A partir de uma única ilustração do personagem, crie uma pose frontal em pé e uma folha de personagem com o estilo alinhado, faça o Fable 5.2 desenhar as partes vetoriais, verifique-as e, em seguida, mova o avatar no visualizador.
O exemplo é o coelho temporário (ID do personagem usagi. A arte original está em inputs/kariusagi/). Os arquivos concluídos de cada etapa estão em public/characters/usagi/vector/ e tools/vector/sheets/characters/usagi.*, então compare-os se tiver dúvidas.
0. Pré-requisitos
O diretório de trabalho é a raiz deste repositório. Todos os comandos abaixo são caminhos relativos à raiz.
| Ferramenta | Uso | Etapa | Como verificar |
|---|---|---|---|
| Claude Code + Fable 5.2 | Obrigatório | 5. Divisão em partes (subagente) | O modelo do subagente pode ser definido como Fable 5.2 |
| Codex CLI (imagegen) | Obrigatório | 2. Conversão de estilo, 4. Folhas | codex --version, codex login concluído (funciona com o plano ChatGPT, nenhuma chave de API necessária) |
| Node 22, npm | Obrigatório | 7. Visualizador, 8. Vídeo | npm install concluído |
| Python 3.10+ | Obrigatório | 2–6 | python3 -m venv .venv && .venv/bin/pip install -r requirements.txt |
| resvg | Obrigatório | 6. Imagem de verificação | resvg --version (ex.: cargo install resvg) |
| Chromium do Playwright, ffmpeg | Obrigatório | 7–8. Captura/Vídeo | npx playwright install chromium, ffmpeg -version |
| MiniMax H3 (ComfyUI) | Opcional | 3. Amostras de ângulo | API do ComfyUI (padrão http://127.0.0.1:8188). Pule a etapa 3 se não tiver |
| TTS | Opcional | 8. Áudio para sincronização labial | Se não tiver, mova o avatar com sincronização labial de texto |
Se o Fable 5.2 ou Codex imagegen não estiverem disponíveis, informe o usuário e pare. Substituir a divisão em partes por outro modelo resulta em qualidade insuficiente, conforme constatado.
Porta do servidor de desenvolvimento: O padrão é 5280 (npm run dev). Se estiver em uso, inicie com npx vite --port <porta> --strictPort e anexe VIEWER_URL=http://127.0.0.1:<porta>/ a todos os comandos de captura e exportação de vídeo (viewer_shots.mjs, record.mjs). Inclua essa URL na solicitação ao Fable.
Custos e tempo estimado (medições reais)
Medições reais ao criar o coelho temporário (47 partes). Para o segundo personagem em diante, incluindo tempo de espera, levou de 1 a 1,5 horas por personagem. O trabalho humano envolve apenas a listagem de características e a revisão.
| Etapa | Responsável | Tempo | Tentativas |
|---|---|---|---|
| 1. Notas do personagem | Claude (principal) | Aprox. 10 min | — |
| 2. Pose frontal em pé | Codex imagegen | Aprox. 4,7 min | 2 gerações, 1 adotada |
| 3. Amostras de ângulo (opcional) | MiniMax H3 | Aprox. 7 min | 1 vez |
| 4. Duas folhas de personagem | Codex imagegen | Aprox. 5 min | 1 cada |
| 5. Divisão em partes | Fable 5.2 | Aprox. 16 min + correção aprox. 2,5 min | 1 + 1 correção |
| 6–7. Verificação, confirmação, ajuste | Claude (principal) | Aprox. 20 min | — |
- Codex imagegen leva cerca de 2 a 2,5 minutos por imagem. Se o limite de uso do plano ChatGPT for atingido, pode levar várias horas de espera. Para um personagem, são necessárias 1 a 2 imagens frontais e 2 folhas.
- A divisão em partes do Fable 5.2 levou cerca de 22 minutos (49 partes) e 24 minutos (61 partes) para outros dois personagens.
- Quando um agente sem conhecimento prévio criou um personagem (63 partes) usando apenas este Skill, pulou as amostras de ângulo e levou cerca de 43 minutos no total (4 imagegen, 1 Fable com aprox. 24 min e ~280k tokens, 0 retrabalhos).
- Tokens e custos não foram medidos.
Fluxo geral
| Etapa | Conteúdo | Ferramenta | Saída |
|---|---|---|---|
| 1 | Escreva as notas do personagem (características a preservar) | Escrita manual | tools/vector/sheets/characters/<id>.md · .json |
| 2 | Converta a arte original para um estilo comum e crie uma pose frontal em pé (pose A) | make.py gen <id> restyle | ref/front.png |
| 3 | Extraia quadros de um vídeo de rotação de 360° (opcional) | turntable.sh <id> | ref/turntable.mp4, ref/angle_*.png |
| 4 | Duas folhas (vistas de 360° + formas de mão, variações faciais) | make.py gen <id> sheet_turnaround · sheet_face | ref/sheet_turnaround.png, ref/sheet_face.png |
| 5 | Desenhe partes apenas com preenchimento, completando regiões ocultas | Fable 5.2 + references/fable-brief.md | vector.json |
| 6 | Verificação estrutural e inspeção visual das imagens de verificação | check_parts.py <id> | 0 erros |
| 7 | Mova e ajuste no visualizador | npm run dev, viewer_shots.mjs | vector.json ajustado |
| 8 | Exportação de vídeo e sincronização labial | record.mjs, lipsync.py | MP4 |
ref/ é public/characters/<id>/vector/ref/. O ID do personagem deve ser alfanumérico em minúsculas (ex.: usagi). Imagens de teste e arquivos de trabalho do Fable são armazenados em var/vector/<id>/ (não comprometidos).
1. Escreva as notas do personagem
Em tools/vector/sheets/characters/<id>.md, liste em tópicos as características que devem ser preservadas mesmo após a mudança de estilo. Em <id>.json, escreva o caminho da arte original e sua função. Coloque a arte original em inputs/<id>/, etc.
- O formato e o exemplo estão em
references/character-notes.md. Exemplo do coelho temporário:tools/vector/sheets/characters/usagi.md·usagi.json. - Escreva as cores como valores aproximados (
#RRGGBB). - O estilo comum (
tools/vector/sheets/style_base.md) faz o personagem ser desenhado como "animal/criatura". Se isso mudar o personagem (ex.: pelos aparecendo em personagens sem pelos, redesenhar um personagem não humano como animal), anule mencionando especificamente "não desenhar ~" ou "não aplicar ~" nas notas. Não altere o arquivo de estilo comum. - Mesmo que a arte original esteja em uma pose em movimento (torção do corpo, braços dobrados), o redesenho para a pose frontal A é instruído por
layouts/restyle.md. Não precisa escrever nas notas; adicionar "não usar a pose como referência" emrolesdo<id>.jsonajuda a estabilizar.
Ao mesmo tempo, registre o personagem no visualizador. Isso é necessário quando o Fable verificar no visualizador na etapa 5. data/characters/<id>.json:
{ "id": "<id>", "label": "<Nome do Personagem>", "vector": { "url": "characters/<id>/vector/vector.json" } }
2. Pose frontal em pé (Codex imagegen)
.venv/bin/python tools/vector/sheets/make.py gen <id> restyle --count 2
.venv/bin/python tools/vector/sheets/make.py log <id>
.venv/bin/python tools/vector/sheets/make.py adopt <id> restyle <número>
- O prompt é montado combinando "estilo comum + notas do personagem + o que desenhar (
layouts/restyle.md)" e passado para o imagegen viacodex exec. As tentativas são salvas emvar/vector/<id>/gen/com o prompt e o tempo gasto. - Sempre inspecione visualmente as imagens geradas, comparando-as lado a lado com a arte original. Pontos a verificar: reconhecível como o personagem, proporção de 2 a 2,5 cabeças, pose frontal A com espaço nas axilas, sem destaque nos olhos, sem olhos vesgos.
- Se não corresponder, corrija com
--note "instrução adicional"ou reescreva as notas do personagem (ex.: o coelho temporário parecia um personagem diferente devido ao "volume de pelo" comum, então foi anulado nas notas). Mantenha a correção registrada nas notas. adoptcoloca a imagem adotada emref/front.png(1024×1536).
3. Amostras de ângulo (opcional: MiniMax H3)
bash tools/vector/sheets/turntable.sh <id> # Altere a URL do ComfyUI com COMFY_SERVER
- Primeiro, escreva
tools/vector/sheets/h3/<id>.txt(o prompt do vídeo de rotação) usandoh3/usagi.txtcomo modelo. Substitua apenas a parte da descrição do personagem. - As saídas
angle_045.png,angle_090.png,angle_180.pngsão automaticamente adicionadas como imagens de referência na geração da folha da etapa 4. Como a rotação do H3 não é uniforme, os ângulos são aproximados. - Se não tiver ComfyUI e H3, pule esta etapa. A divisão em partes pode ser feita apenas com as folhas.
4. Duas folhas de personagem (Codex imagegen)
.venv/bin/python tools/vector/sheets/make.py gen <id> sheet_turnaround
.venv/bin/python tools/vector/sheets/make.py adopt <id> sheet_turnaround 1
.venv/bin/python tools/vector/sheets/make.py gen <id> sheet_face
.venv/bin/python tools/vector/sheets/make.py adopt <id> sheet_face 1
- A primeira folha contém 4 vistas (frontal, oblíqua, lateral, traseira) e 4 formas de mão (aberta, apontando, punho, palma). A segunda folha contém variações faciais (olhos: abertos, semiabertos, fechados; boca: fechada, a, i, u, e, o; expressões: normal, sorriso, surpresa, preocupação).
- A vista oblíqua e lateral devem ser desenhadas com o rosto voltado para a esquerda da tela (mesma direção da rotação do H3).
- Inspecione visualmente para verificar se é o mesmo personagem da pose frontal e se as variações são consistentes (ex.: a íris não está achatada nos olhos semiabertos). Se não corresponder, corrija com
--notee gere novamente.
5. Divisão em partes (subagente Fable 5.2)
- No modelo de
references/fable-brief.md, insira o ID do personagem, nome do personagem, observações específicas do personagem e a URL do visualizador (padrãohttp://127.0.0.1:5280/), e salve emvar/vector/<id>/fable/brief.md. O formato e o exemplo (coelho temporário) para as observações específicas estão emreferences/character-notes.md. - Inicie um subagente com Fable 5.2 especificado e passe o conteúdo completo de
brief.md. O Fable, seguindoreferences/parts-spec.md, criapublic/characters/<id>/vector/vector.jsoncom um script de desenho, verifica a si mesmo e relata. - Leia o relatório, realize a verificação da etapa 6 e a confirmação da etapa 7. Se houver pontos a corrigir, solicite ao mesmo subagente em sequência (iniciar um novo perde o contexto).
O que deve ser garantido (escrito no modelo):
- Desenhe as partes do zero como unidades de significado. Não use recorte de pixels ou traçado automático para determinar formas.
- Desenhe apenas com preenchimento. As linhas são desenhadas automaticamente durante a renderização.
- Complete as regiões ocultas (testa sob a franja, cabeça sob a base das orelhas, tronco sem braços, pescoço, base da cauda, etc.).
- Não desenhe a imagem dos braços (eles são gerados durante a renderização). Em vez disso, meça e anote os marcadores do esqueleto e a espessura/cor dos braços.
_Le_Rreferem-se aos lados esquerdo e direito do próprio personagem (na vista frontal,_Lestá à direita da tela).
6. Verificação
.venv/bin/python tools/vector/check_parts.py <id>
- Aprovado com 0 erros. Julgue os avisos com base no conteúdo.
- Inspecione visualmente as imagens de verificação (
var/vector/<id>/check/). Os pontos a verificar estão emreferences/visual-qa.md. Em particular, verifique se há buracos ou cortes com as partes da frente ocultas (qa_*.png), se as variações (variants.png·expressions.png) correspondem às folhas, e se as articulações do esqueleto (skeleton.png) correspondem ao desenho. - As imagens de verificação não incluem linhas de contorno automáticas ou braços gerados. A aparência final é confirmada na etapa 7.
7. Mova no visualizador
-
Verifique se
data/characters/<id>.json(criado na etapa 1) existe. -
Inicie o servidor de desenvolvimento com
npm run deve abrahttp://localhost:5280/?char=<id>(se houver 2 ou mais personagens, um seletor aparecerá na tela). -
Confirme capturando imagens (com o servidor de desenvolvimento em execução):
DSF=2 node tools/capture/viewer_shots.mjs var/vector/<id>/check/viewer \ neutral="char=<id>" face30="char=<id>&framing=face&yaw=30&blink=0" faceM30="char=<id>&framing=face&yaw=-30&blink=0" \ explain="char=<id>&motion=explain&t=1.0" spread="char=<id>&motion=spread&t=1.2" \ half="char=<id>&framing=face&eye=half&blink=0" point="char=<id>&motion=point&t=1.5" -
Pontos a verificar: linhas extras indesejadas nas bordas das partes de personagens brancos, olhos não saindo do contorno do rosto ao virar a cabeça ±30°, orelhas/cabelo não se soltando da cabeça, espessura/cor dos braços e mãos consistentes, movimento de objetos que balançam.
-
Os ajustes são feitos nos valores de
vector.json. Teste os valores com parâmetros de URL antes de gravá-los. Uma lista de valores ajustáveis está emreferences/tuning.md, e problemas comuns com soluções estão emreferences/troubleshooting.md.
8. Exportação de vídeo e sincronização labial
# Vídeo (com o servidor de desenvolvimento em execução)
node tools/vector/record.mjs --out out/<id>_explain --motion explain --query "char=<id>"
# Sincronização labial: a partir de um arquivo wav e texto (hiragana para japonês). O tipo de TTS não importa
.venv/bin/python tools/lipsync/lipsync.py line.wav --text "こんにちは、よろしくおねがいします。" -o line.json
node tools/vector/record.mjs --out out/<id>_hello --motion talk_demo --lipsync line.json --audio line.wav --query "char=<id>"
- Se não houver TTS, você pode criar um vídeo com sincronização labial de texto:
node tools/vector/record.mjs --out out/<id>_hello --motion talk_demo --seconds 6 --query "char=<id>&say=こんにちは、よろしくね。". O diálogo é repetido conforme o relógio, e a duração do vídeo é determinada pela duração do movimento (para movimentos que não se repetem, use--seconds). Para parar exatamente na duração do diálogo, especifique--seconds(estimativa: 0,15 segundos por mora, 0,3 segundos para pontuação). - Para diálogo em inglês, use
--lang en. Para apenas volume sem texto, use--method rms. Se houver timestamps de palavras do Whisper, use--whisper whisper.json. - A cor de fundo pode ser definida com
--query "bg=ffd3e0". Linhas de traço manual podem ser definidas comvHand=0~4(nenhum, fraco, médio, forte, traço manual +; o padrão é forte). - No visualizador, você também pode carregar o JSON de sincronização labial e o arquivo de áudio para reprodução.
Ao finalizar
Relate ao usuário:
- Os arquivos criados (imagens
ref/,vector.json,data/characters/<id>.json) e os locais das imagens de verificação e vídeo - O tempo gasto em cada etapa e o número de gerações/retrabalhos
- O resultado da verificação e quaisquer problemas restantes (partes com baixa confiança, aparência que não pôde ser totalmente corrigida)