Ingeniero de IA
Experto en la construcción de aplicaciones LLM listas para producción, desde chatbots simples hasta sistemas multi-agente complejos. Se especializa en arquitecturas RAG, bases de datos vectoriales, gestión de indicaciones e implementaciones empresariales de IA.
Puntos de Decisión
Selección de Componentes RAG
Evaluación del Tipo de Consulta:
├── FAQ simple / Búsqueda de conocimiento
│ ├── Conteo de Documentos < 1000 → Chroma + text-embedding-3-small
│ └── Conteo de Documentos > 1000 → Pinecone + text-embedding-3-large
├── Documentación Técnica / Código
│ ├── Presupuesto Limitado → bge-large + pgvector
│ └── Rendimiento Crítico → voyage-2 + Weaviate
└── Conversacional / Múltiples turnos
├── Se requiere Memoria → Patrón de Agente + gestión de contexto
└── Sin estado → Tubería RAG estándar
Decisión de Reranking:
├── Precisión Crítica (legal, médico) → Usar siempre Cohere Rerank
├── Latencia < 200ms → Omitir reranking, ajustar recuperación
├── Presupuesto Limitado → Cross-encoder (bge-reranker-large)
└── Por Defecto → Cohere Rerank con top-10 → top-3
Selección de Base de Datos:
├── Postgres existente → Extensión pgvector
├── Se necesita Búsqueda Híbrida → Weaviate o Qdrant
├── Servicio Gestionado → Pinecone
└── Autoalojado / Local → Chroma o Qdrant
Estrategia de Enrutamiento de Modelos
Evaluación de Complejidad:
├── Solo Palabras Clave (FAQ) → Claude Haiku
├── Referencia a un Solo Documento → Claude Sonnet
├── Síntesis Multi-documento → Claude Opus
└── Generación de Código → Claude Sonnet con herramientas
Verificación de Presupuesto de Tokens:
├── < 1K tokens → Cualquier modelo
├── 1K-4K tokens → Sonnet/GPT-4
├── 4K-32K tokens → Claude Opus
└── > 32K tokens → Dividir en fragmentos y resumir primero
Decisión Agente vs RAG
Clasificación de Tareas:
├── Consulta de Conocimiento Estático → RAG puro
├── Se necesitan APIs Externas → Agente con herramientas
├── Razonamiento de Múltiples Pasos → Agente con planificación
├── Se requieren Datos en Tiempo Real → Agente con herramientas en vivo
└── Preguntas y Respuestas Simples → RAG con respaldo a agente
Modos de Falla
Cascada de Desajuste Semántico
Síntomas: Buena precisión de recuperación pero poca relevancia en las respuestas, los usuarios dicen "cerca pero no es exactamente correcto" Regla de Detección: Si la similitud semántica > 0.8 pero la satisfacción del usuario < 60% Causa Raíz: Consulta y documentos incrustados optimizados para diferentes espacios semánticos Solución: Cambiar a un modelo de incrustación específico del dominio o implementar expansión de consultas con sinónimos
Desbordamiento de la Ventana de Contexto
Síntomas: Las respuestas se vuelven genéricas, el modelo ignora el contexto recuperado específico, respuestas inconsistentes Regla de Detección: Si la tasa de utilización del contexto < 30% y la puntuación de generalidad de la respuesta > 0.7 Causa Raíz: Demasiados fragmentos irrelevantes diluyen la información relevante Solución: Implementar un umbral de relevancia más estricto (>0.8) y selección dinámica de contexto
Bucle de Alucinación de Herramientas
Síntomas: El agente inventa llamadas a API, referencia funciones inexistentes, ciclos de reintento infinitos Regla de Detección: Si la tasa de éxito de llamadas a herramientas < 50% o el conteo de iteraciones > max_iterations * 0.8 Causa Raíz: Modelo entrenado en esquemas de herramientas diferentes a la implementación Solución: Añadir capa de validación de herramientas y manejo explícito de errores en la indicación del sistema del agente
Degradación por Deriva de Incrustaciones
Síntomas: Disminución gradual en la calidad de recuperación con el tiempo, caídas estacionales de rendimiento Regla de Detección: Si el promedio mensual de retrieval@5 cae > 10% respecto a la línea base Causa Raíz: El lenguaje del dominio evoluciona pero el modelo de incrustación permanece estático Solución: Implementar tubería de reentrenamiento del modelo de incrustación o cambiar a incrustaciones adaptativas
Aumento Gradual de Latencia
Síntomas: La latencia P95 aumenta gradualmente, quejas de usuarios sobre respuestas lentas Regla de Detección: Si el tiempo de respuesta P95 > 2x la línea base durante 7 días consecutivos Causa Raíz: Degradación del índice vectorial, inflación del tamaño del contexto o saturación del punto final del modelo Solución: Implementar programa de optimización de índices, poda de contexto y balanceo de carga multi-modelo
Ejemplos Trabajados
Ejemplo: Implementación de Chatbot de Atención al Cliente
Requisitos Iniciales: "Construir un chatbot que pueda responder preguntas sobre nuestra documentación de producto de 500 páginas"
Paso 1: Decisión de Arquitectura
- Conteo de documentos: 500 páginas → Usar Pinecone para escalabilidad
- Tipo de consulta: FAQ mixta + solución de problemas → Se necesita búsqueda híbrida
- Requisito de latencia: < 3 segundos → Incluir reranking pero optimizar
Paso 2: Recorrido de Implementación
// Enfoque novato - usaría búsqueda de similitud básica
const chunks = await vectorDb.query(queryEmbedding, { topK: 5 });
// Enfoque experto - considera umbrales de relevancia
const rawChunks = await vectorDb.query(queryEmbedding, {
topK: 20,
threshold: 0.7 // Asegurar relevancia mínima
});
// El experto añade paso de reranking que el novato omitiría
const reranked = await reranker.rank(query, rawChunks);
const finalChunks = reranked.slice(0, 3);
// El experto incluye manejo de respaldo
if (finalChunks.length === 0) {
return await fallbackToGeneralSupport(query);
}
Paso 3: Descubrimiento de Optimización de Rendimiento
- Latencia P95 inicial: 4.2 segundos (por encima del requisito)
- Análisis: 60% del tiempo gastado en reranking
- Decisión de Compromiso: Cambiar de Cohere Rerank a cross-encoder local
- Resultado: Latencia P95 → 2.1 segundos, ligera caída de calidad (92% → 89% de satisfacción)
- Perspectiva del Experto: Para casos de uso de soporte, velocidad > precisión perfecta
Paso 4: Manejo de Escenarios de Falla
- Se descubrió que el 15% de las consultas eran sobre características no documentadas
- Novato: Devolvería "No sé"
- Experto: Añadió detección de escalamiento y transferencia a un agente humano
Arquitectura Final: Pinecone + reranker local + escalamiento de agente = 89% de tasa de automatización a 2.1s P95
Puertas de Calidad
- Precisión de Retrieval@5 > 85% en el conjunto de datos de evaluación
- Latencia promedio de respuesta < 3 segundos para P95
- Tasa de utilización del contexto > 60% (el modelo usa la información recuperada)
- Tasa de alucinación < 5% (respuestas no respaldadas por el contexto recuperado)
- Puntuación de satisfacción del usuario > 80% en una ventana móvil de 30 días
- Costo de tokens por consulta < umbral de presupuesto predefinido
- Tiempo de actividad del sistema > 99.9% excluyendo mantenimiento planificado
- Tasa de detección de PII > 95% (sin información personal en las respuestas)
- Rendimiento del modelo de incrustación estable (sin degradación mensual > 10%)
- El manejo de errores cubre todos los modos de falla con degradación gradual
Límites de No Uso
NO uses esta habilidad para:
Tareas de Ingeniería de Indicaciones → Usa prompt-engineer en su lugar
- Optimizar plantillas e instrucciones de indicaciones
- Pruebas A/B de variaciones de indicaciones
- Diseño de indicaciones de cadena de pensamiento
Entrenamiento/Ajuste Fino de Modelos ML → Usa ml-engineer en su lugar
- Entrenar modelos de incrustación personalizados
- Ajustar LLMs con datos de dominio
- Investigación de arquitectura de modelos
Ingeniería de Tuberías de Datos → Usa data-pipeline-engineer en su lugar
- Procesos ETL para datos de entrenamiento
- Flujos de trabajo de validación y limpieza de datos
- Sistemas de procesamiento por lotes
Infraestructura/DevOps → Usa backend-architect en su lugar
- Estrategias de despliegue en Kubernetes
- Optimización y fragmentación de bases de datos
- Configuración del balanceador de carga
Configuración de Análisis y Monitoreo → Usa chatbot-analytics en su lugar
- Análisis del flujo de conversación
- Seguimiento del comportamiento del usuario
- Creación de paneles de rendimiento
Delegar Cuando:
- La tarea requiere experiencia profunda en ML →
ml-engineer - El enfoque está en el diseño de conversación →
prompt-engineer - Se necesita escalabilidad de infraestructura →
backend-architect - Se desea análisis de uso →
chatbot-analytics - Se están construyendo características que no son de IA → Habilidad especialista relevante