lizhiyao/oh-my-knowledge

Framework de avaliação para entradas de conhecimento de LLMs — prompts, corpora RAG, skills, workflows de agentes. Corrija o modelo, varie o artefato. Rigor estatístico integrado: IC bootstrap, α de Krippendorff, correção de viés de comprimento, curvas de saturação.

O que é oh-my-knowledge?

O **oh-my-knowledge** é um framework de avaliação projetado para testar e comparar sistematicamente diferentes entradas de conhecimento em Large Language Models (LLMs). Em vez de ajustar o modelo, você mantém o modelo fixo e varia os artefatos de conhecimento — como prompts, bases de dados RAG (Retrieval-Augmented Generation), skills (habilidades) e workflows de agentes — para entender como cada um impacta o desempenho final. O framework oferece rigor estatístico nativo, incluindo intervalos de confiança via bootstrap, o coeficiente α de Krippendorff para confiabilidade entre avaliadores, correção automática de viés de comprimento e curvas de saturação para determinar se mais dados trazem ganhos reais. Ele é útil para engenheiros de prompt, desenvolvedores de agentes e pesquisadores que precisam tomar decisões baseadas em dados sobre quais prompts, corpora ou skills otimizar. Compatível com plataformas como Claude Code, Cursor e Codex, o projeto fornece uma maneira padronizada e reproduzível de medir a qualidade do conhecimento injetado, evitando conclusões enganosas por amostragem pequena ou viés de comprimento.

Funciona com~Claude Code~Codex CLI~Cursor