latent-briefing

Briefing Latente e Compartilhamento de Memória via Cache KV

Sistemas hierárquicos multi-agente frequentemente pagam duas vezes pelo mesmo contexto. O orquestrador acumula uma longa trajetória de raciocínio, mas cada trabalhador geralmente recebe apenas um repasse textual estreito, como um prompt de subtarefa mais fatias de documentos brutos. Passar a trajetória completa resolve a cobertura, mas eleva o custo de tokens em cada chamada de trabalhador. A sumarização introduz latência e perda de informação. A recuperação (RAG) ajuda no acesso a documentos, mas não preserva o estado de raciocínio em evolução do orquestrador.

O Briefing Latente aborda isso compartilhando memória no nível de representação em vez do nível textual. A ideia central é compactar a trajetória do orquestrador no cache KV do modelo trabalhador, mantendo as posições mais relevantes para a tarefa atual do trabalhador. O método baseia-se na compactação de cache KV por Correspondência de Atenção (Attention Matching - AM) e a adapta para o repasse multi-agente em tempo de inferência com consultas guiadas pela tarefa, uma máscara de tokens compartilhada entre cabeças e um limiar robusto.

Quando Ativar

Ative esta habilidade quando:

• Projetando sistemas orquestrador-trabalhador ou supervisor-especialista onde os trabalhadores precisam de acesso ao estado anterior do orquestrador sem reproduzir a trajetória completa como texto
• Avaliando alternativas à sumarização por LLM ou RAG para transferência de estado entre agentes
• Implementando ou estudando compactação de cache KV como uma primitiva de inferência de primeira classe, não apenas cache de prefixo de prompts idênticos
• Depurando explosão de tokens em grafos de agentes recursivos, hierárquicos ou com uso intenso de ferramentas
• Interpretando benchmarks que relatam economia de tokens do trabalhador, economia total de tokens, sobrecarga de compactação e precisão em conjunto

Não ative esta habilidade para trabalhos adjacentes cobertos por outras habilidades:

• Stacks exclusivamente de API onde tensores KV internos são inacessíveis: use context-compression, memory-systems ou multi-agent-patterns.
• Memória persistente comum, rastreamento de entidades ou recuperação em grafo: memory-systems.
• Topologia multi-agente geral sem compartilhamento de estado em nível de representação: multi-agent-patterns.
• Cache de prefixo, mascaramento ou política de orçamento que não transforma o estado KV: context-optimization.

Conceitos Centrais

O padrão de explosão de tokens. Em sistemas recursivos ou estilo REPL, o orquestrador chama repetidamente um trabalhador para inspecionar evidências, verificar hipóteses ou responder subperguntas. A trajetória do orquestrador cresce com conclusões parciais, becos sem saída, saídas de ferramentas e respostas anteriores do trabalhador. Se essa trajetória for passada na íntegra em cada chamada de trabalhador, o custo aumenta rapidamente.

Compartilhamento em nível de representação. Em vez de sumarizar a trajetória em linguagem natural, o sistema opera no cache KV do modelo trabalhador. Ele retém as posições que o trabalhador consideraria relevantes para a tarefa atual e descarta o restante. Isso é mais específico do que o cache de prefixo comum: o cache de prefixo reutiliza prefixos idênticos, enquanto o Briefing Latente também realiza retenção seletiva condicionada à tarefa dentro da trajetória reutilizada.

Correspondência de Atenção como motor de compactação. AM busca um cache menor cujas saídas de atenção aproximam o cache completo. O Briefing Latente adapta AM para inferência multi-agente alterando o sinal de pontuação e a estratégia de loteamento:

1. Use vetores de consulta guiados pela tarefa derivados do prompt atual do trabalhador.
2. Agregue pontuações em uma máscara global compartilhada em vez de subconjuntos independentes por cabeça.
3. Use um limiar robusto como mediana + tau * MAD em vez de top-k fixo por cabeça.

Forma do resultado de referência. O artigo público relata redução substancial de tokens do trabalhador, economia total de tokens significativa e sobrecarga de compactação de alguns segundos em cargas de trabalho de QA de documentos longos (claim-latent-briefing-public-results). Trate esses números como evidência específica da carga de trabalho, não como uma garantia geral.

Tópicos Detalhados

Por que Mitigações Apenas Textuais São Insuficientes

Abordagem	Fraqueza principal
Sumarização por LLM	Alta latência, abstração lossy e nenhuma garantia de que o resumo preserva o que a próxima subtarefa precisa
Recuperação / RAG	Depende de chunking e embeddings; pode perder dependências entre chunks ou etapas
Passar trajetória completa	Custo escala com cada chamada de trabalhador e contexto irrelevante pode degradar a qualidade do trabalhador

O Briefing Latente é útil quando o gargalo não é a recuperação de documentos em si, mas como transferir o estado do orquestrador para um trabalhador de forma eficiente e precisa.

Forma Recursiva Orquestrador-Trabalhador

Frameworks como Modelos de Linguagem Recursivos tratam o contexto longo como um ambiente e recorrem sobre ele: um orquestrador decompõe o trabalho e delega aos trabalhadores. O Briefing Latente se encaixa na lacuna onde o orquestrador já construiu um estado específico da tarefa que deve informar o trabalhador, mas re-serializar esse estado como texto é muito caro ou ruidoso.

Na configuração ideal, o trabalhador mantém um estado KV persistente para a trajetória do orquestrador. Novos tokens de trajetória estendem esse estado, então a compactação é executada pouco antes da geração para a subtarefa atual.

Três Modificações em Tempo de Inferência

1. Vetores de consulta guiados pela tarefa. Use consultas do prompt da tarefa atual do trabalhador, não amostras genéricas do contexto. Passe a trajetória mais a tarefa atual pelo modelo trabalhador e pontue as posições da trajetória por quão fortemente a tarefa atende a elas.

2. Seleção de tokens compartilhada. Agregue pontuações entre camadas e cabeças em uma única pontuação por posição. Uma máscara compartilhada permite operações em lote e evita centenas de soluções por cabeça incompatíveis.

3. Limiar MAD. Mantenha posições acima de um limiar outlier robusto como mediana + tau * MAD. Um tau mais alto é mais agressivo. As configurações ideais dependem do regime da tarefa, qualidade da trajetória e comprimento do documento.

Pré-condições de Infraestrutura

O Briefing Latente só é prático quando o sistema controla o runtime de inferência do trabalhador com proximidade suficiente para inspecionar ou transformar o estado KV. É um padrão ruim para stacks exclusivamente de API onde tensores KV internos são inacessíveis. Também assume que a trajetória do orquestrador pode ser representada no espaço do modelo do trabalhador. Se orquestrador e trabalhador diferirem materialmente em tokenizador, arquitetura ou layout de atenção, o compartilhamento direto de representação pode não ser viável.

Estrutura de Decisão

Escolha o mecanismo que corresponde ao gargalo:

Necessidade	Prefira	Por que
Prefixo estável e repetido com mudanças mínimas de lógica	Cache de prefixo	Otimização mais barata; sem perda de informação
Estado entre etapas legível e auditável por humanos	Notas estruturadas ou sumarização	Fácil de inspecionar e armazenar
Consulta esparsa em um grande corpus externo	Recuperação / RAG	Encontra documentos de forma eficiente
Trabalhador precisa de fatias específicas do estado do orquestrador e acesso ao runtime existe	Briefing Latente	Transfere estado latente relevante sem reproduzir todo o texto

O Briefing Latente não é um substituto universal para sumarização ou recuperação. É uma otimização especializada para sistemas que já executam uma pilha orquestrador-trabalhador controlável.

Regimes de Limiar

Resultados relatados de QA de documentos longos sugerem:

• Documentos mais longos: compactação mais leve pode preservar cobertura de evidências mais ampla enquanto ainda economiza tokens.
• Perguntas mais difíceis: compactação mais agressiva pode ajudar quando a trajetória do orquestrador contém ramos especulativos ou de baixo valor.
• Contextos mais curtos e fáceis: compactação moderada pode remover redundância sem descartar evidências necessárias.

Estas são hipóteses de ajuste, não leis portáveis. Meça novamente na carga de trabalho alvo.

Orientação Prática

• Defina primeiro o limite da memória compartilhada. Decida exatamente o que entra no cache da trajetória: respostas anteriores do trabalhador, saída de ferramentas, cadeia de pensamento ou apenas artefatos selecionados. A qualidade da compactação depende do que é permitido entrar no cache em primeiro lugar.
• Ajuste com dados de validação, não anedotas. Acompanhe a precisão da tarefa, tokens do trabalhador, tokens totais, taxa de retenção e sobrecarga de compactação em conjunto.
• Meça a latência de ponta a ponta. A compactação só vale a pena se compactação mais geração superar a melhor alternativa textual para o mesmo alvo de qualidade.
• Use linhas de base fortes. Compare com cache de prefixo, notas estruturadas, recuperação e repasse textual seletivo, não apenas "enviar tudo".
• Espere variância do orquestrador. Se a estratégia de decomposição mudar de execução para execução, faça a média sobre tentativas suficientes para separar os efeitos da compactação do ruído do orquestrador.

Exemplos

Cenário: trajetória do orquestrador cresce entre chamadas de trabalhador

Chamada 1: trajetória T1 -> trabalhador responde subpergunta A
Chamada 2: trajetória T2 = T1 + novo raciocínio + resposta A
           compactar KV(T2) usando o prompt da tarefa para B
           trabalhador responde subpergunta B

O prompt da tarefa para B decide quais partes de T2 sobrevivem no estado compactado do trabalhador.

Exemplo negativo: trabalhador apenas via API

Se o trabalhador opera atrás de uma API de geração de texto hospedada que não expõe tensores KV, o Briefing Latente não pode ser implementado diretamente. Use um repasse textual estruturado de context-compression ou recupere o estado de memory-systems.

Diretrizes

1. Prefira Briefing Latente quando o principal desperdício vier da repetição do estado do orquestrador para os trabalhadores, não da recuperação de documentos de origem.
2. Prefira repasse textual simples quando auditabilidade, portabilidade ou APIs de modelo fechado forem mais importantes que a eficiência de tokens.
3. Co-projete a compactação com avaliação. Uma pequena queda na qualidade pode anular grandes economias de tokens.
4. Exponha a agressividade da compactação como um parâmetro controlado, não uma constante oculta.

Armadilhas

1. Acesso à infraestrutura é o primeiro obstáculo. Se o runtime não puder inspecionar e reescrever o estado KV do trabalhador, o Briefing Latente é uma ideia de pesquisa, não uma técnica implantável.
2. Espaço de modelo compartilhado é importante. A compactação KV é definida no espaço de atenção de um modelo específico. Não presuma que o repasse latente funcione perfeitamente entre famílias de modelos não relacionadas.
3. O limiar depende da carga de trabalho. Um único tau global raramente funciona em contextos longos vs curtos e tarefas fáceis vs difíceis. Espere quedas abruptas de precisão quando a compactação se tornar muito agressiva.
4. O escopo do benchmark é estreito. Os resultados públicos focam em QA de documentos longos. Geração de código, matemática e síntese de múltiplos documentos podem se comportar de forma diferente.
5. A variância do orquestrador pode esconder o sinal. Um orquestrador estocástico pode mudar a trajetória o suficiente para sobrecarregar pequenos ganhos ou perdas de compactação.
6. Linhas de base fracas inflam o ganho aparente. Compare com alternativas textuais fortes antes de reivindicar uma vantagem em nível de sistema.

Integração

• context-optimization - Cache de prefixo e mascaramento de observação continuam sendo os primeiros movimentos padrão; Briefing Latente é uma otimização mais especializada para pilhas orquestrador-trabalhador compatíveis.
• multi-agent-patterns - Aplica-se quando o custo de tokens multi-agente é impulsionado pela repetição da trajetória do supervisor, não apenas pela sobrecarga de coordenação.
• context-compression - Resumos em nível textual continuam preferíveis quando o estado legível por humanos, portabilidade ou logs de auditoria são importantes.
• memory-systems - Ajuda a decidir quando manter o estado entre etapas em memória externa versus no estado latente do trabalhador.
• tool-design - As formas de chamada do trabalhador e os prompts da tarefa determinam quais tokens pontuam alto durante a compactação.

Referências

Referência interna:

• Formulação de Correspondência de Atenção e pontuação guiada por tarefa - Leia quando: precisar do objetivo AM, como a pontuação guiada pela tarefa muda a fonte da consulta, ou por que uma máscara global compartilhada é importante para loteamento

Habilidades relacionadas nesta coleção:

• context-optimization - Leia quando: a necessidade principal é cache de prefixo, mascaramento de observação ou compactação em nível textual, em vez de manipulação do KV do trabalhador
• multi-agent-patterns - Leia quando: decidindo se a arquitetura deve ser orquestrador-trabalhador
• context-compression - Leia quando: resumos legíveis por humanos podem ser mais adequados que transferência latente
• memory-systems - Leia quando: comparando estado latente no modelo com memória persistente externa

Recursos externos:

• Anúncio Ramp Labs: Latent Briefing: Efficient Memory Sharing for Multi-Agent Systems via KV Cache Compaction
• Correspondência de Atenção (AM): Fast KV Compaction via Attention Matching
• Modelos de Linguagem Recursivos: Recursive Language Models

---

Metadados da Habilidade

Criada: 2026-04-14 Última Atualização: 2026-05-15 Autor: Contribuidores do Agent Skills for Context Engineering; fonte técnica principal Ramp Labs (post público) Versão: 1.2.0

---

Nota de Tradução: Os nomes das habilidades de referência (context-optimization, multi-agent-patterns, context-compression, memory-systems, tool-design) e o termo "Attention Matching" foram mantidos intencionalmente em inglês para consistência técnica com o ecossistema original.