curiositech/windags-skills

Descoberta Autônoma de Habilidades para Agentes

Versão: 1.0
Domínio: Sistemas de Aprendizagem Autônoma, Arquitetura de IA, Aprendizado por Reforço

Conceito Central

A descoberta autônoma de habilidades resolve o problema do ovo e da galinha: aprender o que constitui sucesso enquanto se aprende como alcançá-lo. O sistema deve ser tanto aluno quanto professor, criando dependências circulares que exigem separação arquitetural entre proposta e validação.

Pontos de Decisão

Árvore de Decisão para Seleção de Arquitetura

Se a tarefa tem critérios de sucesso objetivos (ex.: navegação, manipulação com metas claras) → Usar Arquitetura de Modelo Único com avaliação rápida por LLM → Custo: Baixo | Precisão: ~75% | Caso de uso: Tarefas predeterminadas

Se a tarefa requer descoberta aberta de habilidades (ex.: tarefas criativas, exploração) → Usar Arquitetura de Processo Duplo (Sistema 1/Sistema 2) → Sistema 1: Avaliação rápida por LLM para loops de treinamento → Sistema 2: Validação independente por VLM para admissão na biblioteca → Custo: Alto | Precisão: ~76% | Caso de uso: Aprendizagem autônoma

Se for desejado comportamento complexo de várias etapas → Decomposição Top-Down de Missões → Começar com tarefa complexa falha → decompor em subtarefas → aprender pré-requisitos faltantes → Taxa de sucesso: 43,75% vs 12,50% para encadeamento bottom-up

Se estiver construindo biblioteca de habilidades a partir de primitivas → Encadeamento Bottom-Up de Habilidades apenas se as primitivas estiverem bem alinhadas com os objetivos finais → Risco: Explosão combinatória e falta de "habilidades intermediárias" → Fallback: Mudar para top-down quando a composição falhar

Se o desempenho estagnar com a abordagem atual → Verificar dependências circulares (mesmo modelo propondo e avaliando) → Se detectado: Implementar separação arquitetural → Se não detectado: Adicionar RAG com padrões de habilidades bem-sucedidas para destilação de conhecimento ambiental

Tabela de Decisão de Estratégia de Validação

Cenário	Avaliação Rápida (Sistema 1)	Avaliação Lenta (Sistema 2)	Regra de Admissão na Biblioteca
Loops de treinamento	Funções de sucesso geradas por LLM	Nenhuma	Não aplicável
Validação de habilidade	Avaliação por LLM	Verificação por VLM	Exigir que ambos passem
Risco de contaminação da biblioteca	Alta tolerância	Tolerância zero	Substituição pelo Sistema 2 necessária
Restrições de custo	Otimizar para velocidade	Otimizar para precisão	Aceitação assimétrica de custos

Modos de Falha

1. Avaliação Carimbo de Borracha

Sintomas: Altas taxas de sucesso relatadas, mas baixa conclusão de tarefas; biblioteca crescendo rapidamente Regra de Detecção: Se o mesmo modelo gera recompensas E avalia sucesso, existe dependência circular Causa Raiz: LLM atuando tanto como jogador quanto como árbitro cria viés de avaliação Correção: Implementar separação arquitetural com validador independente (ex.: VLM para tarefas visuais)

2. Paralisia por Explosão de Primitivas

Sintomas: Grande biblioteca de habilidades, mas incapacidade de resolver tarefas complexas; habilidades não compõem efetivamente Regra de Detecção: Se o número de habilidades cresce, mas a taxa de sucesso em tarefas complexas permanece estável, existe o problema de "habilidades intermediárias" Causa Raiz: Encadeamento bottom-up não consegue descobrir habilidades entre primitivas e objetivos complexos Correção: Mudar para decomposição top-down de missões a partir de comportamentos complexos desejados

3. Desperdício de RAG sem Contexto

Sintomas: Recuperação RAG ocorrendo, mas sem melhoria de desempenho; tratamento da recuperação como exemplos genéricos Regra de Detecção: Se o RAG não melhora o aprendizado de restrições (ex.: compreensão de física), é apenas um prompting caro Causa Raiz: Mecanismo de destilação de conhecimento ambiental ausente Correção: Estruturar a biblioteca de habilidades como um modelo progressivo de affordances ambientais, não apenas como uma coleção de exemplos

4. Contaminação em Cascata da Biblioteca

Sintomas: Desempenho degrada ao longo do tempo conforme a biblioteca cresce; falsos positivos se acumulam Regra de Detecção: Se a admissão na biblioteca usa a mesma avaliação que os loops de treinamento, a contaminação irá em cascata Causa Raiz: Habilidades ruins permitem composições ruins; erros na biblioteca se acumulam, diferentemente de ruído de treinamento Correção: Usar validação independente cara para admissão na biblioteca, avaliação barata apenas para treinamento

5. Sobrescrita Manual de Granularidade

Sintomas: Habilidades parecem desconectadas de fronteiras semânticas naturais; níveis de abstração forçados Regra de Detecção: Se especificar manualmente a granularidade da habilidade contradiz propostas do LLM, verificar alinhamento com o domínio Causa Raiz: LLMs codificam fronteiras semânticas de tarefas a partir de dados de treinamento Correção: Deixar o sistema propor habilidades livremente, observar a granularidade descoberta, ajustar apenas para necessidades específicas do domínio

Exemplos Práticos

Exemplo 1: Abertura de Gaveta Robótica com Validação de Processo Duplo

Cenário: O agente deve aprender a abrir vários tipos de gaveta sem critérios de sucesso predefinidos.

Processo do Sistema 1 (Rápido):

1. LLM gera proposta de habilidade: "agarrar_macaneta_gaveta"
2. LLM cria função de sucesso: macaneta_gaveta_agarrada = distância_garra < 0.02
3. Treinamento RL usa essa função por 100 episódios
4. LLM avalia: "Sucesso! A garra alcança consistentemente a maçaneta"
5. Ponto de Decisão: Admitir na biblioteca? NÃO - requer Sistema 2

Processo do Sistema 2 (Lento):

1. VLM analisa quadros de vídeo finais dos 10 melhores episódios
2. Veredito do VLM: "A garra toca a maçaneta, mas não mantém a pegada - os dedos não fecham"
3. Detecção: Falso positivo do Sistema 1 capturado
4. Ação: Rejeitar admissão na biblioteca, refinar função de sucesso
5. Iteração: Adicionar requisito de pressão de pegada à função de sucesso

Especialista vs Iniciante:

• Iniciante erra: Confia na autoavaliação do LLM, admite habilidade mal aprendida
• Especialista acerta: O mesmo modelo não pode avaliar o que propôs; precisa de validação independente

Resultado: Biblioteca mantém 76% de precisão vs 46% sem o Sistema 2

Exemplo 2: Decomposição Top-Down de Missões para Tarefa de Múltiplas Etapas

Cenário: "Preparar café" falha com encadeamento bottom-up de habilidades, apesar de ter primitivas como "agarrar_xicara", "derramar_liquido"

Análise de Falha Bottom-Up:

• Habilidades disponíveis: agarrar_xicara, derramar_liquido, mover_bracos, detectar_objeto
• Tentativas de composição: Todas as 16 possíveis cadeias de 2 habilidades testadas
• Habilidades intermediárias faltantes: "alinhar_xicara_com_bico", "detectar_nivel_liquido", "coordenar_despejo_bimanual"
• Ponto de Decisão: Bottom-up não consegue descobri-las - não são composições de primitivas

Decomposição Top-Down:

1. Tarefa falha: "preparar_cafe"
2. Decompor em: [aquecer_agua] → [moer_graos] → [alinhar_xicara] → [derramar_agua] → [adicionar_graos]
3. Análise de lacunas: "alinhar_xicara" faltando na biblioteca
4. Aprendizado sob demanda: Aprender "alinhar_xicara" com estado inicial = estado final de "moer_graos"
5. Encadeamento: O estado de sucesso de cada subtarefa torna-se condição inicial da próxima tarefa

Análise de Trade-off:

• Bottom-up: Taxa de sucesso de 12,50%, explora combinações de habilidades desnecessárias
• Top-down: Taxa de sucesso de 43,75%, aprende apenas os pré-requisitos necessários
• Custo: Top-down requer capacidade de decomposição de tarefas; bottom-up requer exploração exaustiva

Quando Top-Down Sai pela Culatra:

• Se a decomposição da tarefa estiver errada, aprende habilidades para subtarefas incorretas
• Se os estados iniciais não podem ser configurados de forma confiável, o encadeamento quebra
• Mitigação: Validar decomposição antes do aprendizado da habilidade; implementar verificação de configuração de estado

Exemplo 3: Destilação de Conhecimento Ambiental via RAG

Cenário: O agente deve aprender habilidades de manipulação em novo ambiente sem restrições físicas explícitas

Sem RAG (taxa de sucesso de 25%):

1. LLM gera recompensa: recompensa = distancia_ao_alvo
2. Agente aprende a se aproximar, mas não leva em conta limites de colisão
3. Falha: Nenhum conhecimento de que a garra deve estar a 5cm da superfície antes de agarrar

Com RAG (taxa de sucesso de 46%):

1. Recuperar sucesso anterior: função de recompensa "alcancar_cubo_A"
2. Padrão detectado: Todos os alcances bem-sucedidos incluem restrição altura_garra > 0.05
3. LLM incorpora: recompensa = distancia_ao_alvo se altura_garra > 0.05 else -10
4. Conhecimento destilado: Affordance ambiental aprendida implicitamente

Especialista vs Iniciante:

• Iniciante erra: Trata RAG como fornecimento de exemplo, não reconhece aprendizado de restrições
• Especialista acerta: RAG permite destilação de conhecimento ambiental através de reconhecimento de padrões

Quando RAG Sai pela Culatra:

• Se os padrões recuperados forem de ambientes diferentes, restrições erradas são aprendidas
• Se os exemplos bem-sucedidos forem muito esparsos, padrões não são estatisticamente significativos
• Mitigação: Filtrar recuperação por similaridade de ambiente; exigir tamanho mínimo de amostra para extração de padrões

Gates de Qualidade

• Proposta e validação usam diferentes capacidades de modelo (ex.: LLM propõe, VLM valida)
• Precisão da avaliação rápida >45% e precisão da avaliação lenta >75% medidas em conjunto de teste reservado
• Admissão na biblioteca requer validação independente, não apenas sucesso no loop de treinamento
• Decomposição de tarefas complexas gera 3-7 subtarefas significativas com ordenação de dependência clara
• Recuperação por RAG melhora o aprendizado de restrições em >15% em relação à linha de base sem RAG
• Análise de granularidade de habilidades mostra agrupamento semântico, não enumeração paramétrica
• Sistema pode detectar e se recuperar de modos de falha de dependência circular
• Taxa de contaminação da biblioteca <25% verificada por avaliação independente
• Decomposição top-down supera encadeamento bottom-up em >2x em tarefas complexas
• Destilação de conhecimento ambiental demonstra aprendizado de restrições a partir de padrões de sucesso

Limitações (NÃO-FOR Boundaries)

NÃO use esta habilidade para:

• Tarefas predeterminadas com critérios de sucesso conhecidos → Use RL padrão com recompensas artesanais
• Tarefas de manipulação de etapa única → Use aprendizado supervisionado com dados de demonstração
• Tarefas que exigem desempenho em tempo real → Validação de processo duplo muito lenta; use biblioteca de habilidades em cache
• Domínios sem feedback visual → Validação por VLM indisponível; projete validadores independentes específicos do domínio
• Ambientes com recursos limitados → Validação do Sistema 2 cara; aceite menor precisão ou use validação hierárquica

Delegue para estas habilidades:

• Engenharia de recompensa padrão → Para tarefas com métricas de sucesso claras
• Aprendizado por imitação → Para tarefas com dados de demonstração abundantes
• RL hierárquico → Para tarefas com decomposição de habilidades conhecida
• Meta-aprendizado → Para adaptação rápida a novas distribuições de tarefas
• IA Constitucional → Para tarefas que exigem alinhamento de valores e restrições de segurança