wshobson/embedding-strategies

O que embedding-strategies faz?

Selecione e otimize modelos de embedding para busca semântica e aplicações RAG. Use ao escolher modelos de embedding, implementar estratégias de chunking ou otimizar a qualidade dos embeddings para domínios específicos.

Visão Geral

Esta habilidade fornece orientações para selecionar o modelo de embedding ideal, implementar estratégias de chunking e avaliar a qualidade dos embeddings em tarefas de busca semântica e RAG (Geração Aumentada por Recuperação).

Quando Usar

• Ao escolher um modelo de embedding para um novo projeto.
• Ao implementar ou refinar estratégias de chunking de documentos.
• Ao otimizar a qualidade da recuperação para domínios específicos (jurídico, médico, técnico, etc.).
• Ao comparar diferentes modelos de embedding para equilibrar desempenho e custo.

Estratégias Suportadas

1. Seleção de Modelo

• Modelos Populares: OpenAI text-embedding-ada-002, Cohere embed-english-v3.0, Hugging Face sentence-transformers/all-MiniLM-L6-v2.
• Critérios de Seleção: Idioma suportado, dimensionalidade, tamanho do contexto, latência, custo e desempenho em benchmarks.

2. Estratégias de Chunking

• Por Sentença: Divide o texto em sentenças individuais. Bom para busca precisa.
• Por Parágrafo: Agrupa sentenças em parágrafos. Bom para contexto.
• Janela Deslizante: Cria chunks sobrepostos para preservar contexto entre limites.
• Híbrido: Combina múltiplas estratégias (ex.: sentenças + parágrafos) e pondera a relevância.

3. Avaliação de Qualidade

• Recall@k: Mede a fração de documentos relevantes recuperados nos top-k resultados.
• Precisão Média (MAP): Média da precisão em diferentes níveis de recall.
• Testes de Domínio: Avalie manualmente com exemplos específicos do seu domínio.

Exemplo de Uso

# Exemplo: selecionar modelo e configurar chunking
from sentence_transformers import SentenceTransformer

modelo = SentenceTransformer('all-MiniLM-L6-v2')

def chunk_text(texto, estrategia='sentenca', tamanho_max=512):
    if estrategia == 'sentenca':
        from nltk import sent_tokenize
        return sent_tokenize(texto)
    elif estrategia == 'paragrafo':
        return [p for p in texto.split('\n\n') if p.strip()]
    # ... outras estratégias

chunks = chunk_text(documento, estrategia='sentenca')
embeddings = modelo.encode(chunks)

Integração com Plataformas

• Claude Code: Use esta habilidade como referência ao responder perguntas sobre embeddings.
• Cursor/Codex: Incorpore as estratégias em sugestões de código ao implementar pipelines RAG.
• Dica: Sempre teste a qualidade dos embeddings com dados do seu domínio antes de implantar.

Recursos Adicionais

• OpenAI Embeddings Guide
• Cohere Embeddings
• Sentence Transformers

Boas Práticas

1. Dimensione bem: Modelos com maior dimensionalidade podem ser mais precisos, mas custam mais armazenamento e latência.
2. Teste com dados reais: Benchmarks genéricos nem sempre refletem o desempenho no seu domínio.
3. Use embeddings em cache: Evite recalcular embeddings para documentos estáticos.
4. Monitore a deriva: Reavalie a qualidade periodicamente, especialmente se o corpus mudar.