Evaluación de IA
Conocimiento extraído de "AI Engineering" de Chip Huyen (Capítulos 3-4). Métodos prácticos para evaluar modelos fundacionales y sistemas de IA construidos sobre ellos.
Inicio rápido
- Revisa
guidelines.mdpara encontrar qué archivos cargar según tu tarea - Carga solo los archivos relevantes (cada tema tiene knowledge.md, rules.md, examples.md)
- Aplica las directrices a tu trabajo
Contenido
Referencias
| Categoría | Propósito |
|---|---|
language-modeling-metrics | Entropía, entropía cruzada, perplejidad, bits por carácter |
exact-evaluation | Corrección funcional, coincidencia exacta, similitud léxica/semántica, embeddings |
ai-as-judge | Cuándo usar jueces de IA, cómo darles instrucciones, limitaciones y sesgos |
comparative-evaluation | Clasificación de modelos mediante comparaciones por pares, Bradley-Terry, desafíos de escalabilidad |
evaluation-criteria | Capacidad del dominio, generación (factual, seguridad), seguimiento de instrucciones, costo/latencia |
model-selection | Flujo de trabajo de selección, código abierto vs API, navegación de benchmarks públicos |
evaluation-pipeline | Diseño de pipeline de extremo a extremo, rúbricas de puntuación, métodos de evaluación |
Flujos de trabajo
| Tarea | Flujo de trabajo |
|---|---|
| Elegir un modelo (construir vs comprar, OS vs API) | workflows/select-model.md |
| Diseñar un pipeline de evaluación de extremo a extremo | workflows/design-eval-pipeline.md |
Directrices
Consulta guidelines.md para la selección de archivos basada en tareas.