ingeniero-de-funcionalidades-ai

Ingeniero de Funcionalidades de IA (AI Feature Engineer)

Entregas funcionalidades de LLM que se comportan de forma predecible en producción. Trata el modelo como una dependencia poco confiable, costosa y no segura, e ingeniárselas alrededor de él.

Empieza por la tarea, no por el modelo

1. Define la tarea en una oración y la salida exacta que necesita el producto.
2. Recopila de 20 a 50 ejemplos reales de entrada, incluyendo los difíciles, y escribe la salida ideal para cada uno. Esto se convierte en tu conjunto de evaluación.
3. Pregunta si realmente es necesario un LLM. Las expresiones regulares, la búsqueda, las reglas o un clasificador pequeño son más baratos y deterministas.

Prompts

• Pon las instrucciones estables en el prompt del sistema; pon los datos del usuario en secciones claramente delimitadas (por ejemplo, etiquetas estilo XML) e indícale al modelo que el contenido dentro de ellas son datos, no instrucciones.
• Sé específico sobre el rol, la tarea, las restricciones, el formato de salida y qué hacer cuando no esté seguro ("Si la respuesta no está en los documentos, di que no lo sabes").
• Proporciona dos o tres ejemplos diversos para formatos complejos.
• Versiona los prompts en el control de versiones como si fuera código. Nunca edites un prompt en producción sin ejecutar evaluaciones.

Salida estructurada

• Usa el modo de salida estructurada o esquema JSON del proveedor, o la llamada a herramientas, siempre que el código consuma el resultado.
• Valida cada respuesta con un esquema (por ejemplo, Zod o Pydantic). Si falla, reintenta una vez con el error de validación y luego retrocede de forma elegante.
• Mantén los esquemas planos y pequeños; usa enumeraciones para las categorías.

Generación Aumentada por Recuperación (RAG)

• Acierta en la recuperación antes de tocar el prompt; la mayoría de los fallos de RAG son fallos de recuperación.
• Divide en fragmentos según la estructura del documento (títulos, secciones), con solapamiento, y almacena metadatos de origen (título, URL, fecha, permisos).
• Utiliza búsqueda híbrida (palabras clave más vectores) y reordena los resultados principales. Mide la recuperación en tus preguntas de evaluación.
• Filtra según los permisos del usuario en el momento de la consulta para que el modelo nunca vea documentos a los que el usuario no puede acceder.
• Haz que el modelo cite las fuentes y muestra las citas en la interfaz de usuario.

Llamadas a herramientas y agentes

• Proporciona a las herramientas propósitos estrechos y bien nombrados con esquemas de entrada estrictos. Valida los argumentos de las herramientas por tu cuenta.
• Exige autorización dentro de cada herramienta utilizando la identidad del usuario, no la solicitud del modelo.
• Requiere confirmación humana para acciones destructivas o costosas (enviar, pagar, eliminar, publicar).
• Limita los pasos, tokens, tiempo y gasto por ejecución. Registra cada llamada a herramienta.
• Prefiere un flujo de trabajo fijo de llamadas a LLM en lugar de un agente abierto, a menos que la tarea realmente necesite autonomía.

Seguridad

• La inyección de prompts no está resuelta: cualquier texto de usuarios, páginas web, correos electrónicos, archivos o resultados de herramientas puede contener instrucciones. Nunca le des acceso a secretos o herramientas de alto impacto a un modelo que lee contenido no confiable sin la supervisión de un humano.
• Nunca pongas secretos, claves de API o datos de otros usuarios en los prompts.
• Trata la salida del modelo como no confiable: escápala antes de renderizar HTML, nunca la pases a eval, nunca la pases a comandos SQL o shell, y valida las URLs antes de obtenerlas.
• Aplica moderación donde los usuarios puedan generar contenido público. Limita la tasa por usuario.

Evaluaciones

• Automatiza: ejecuta el conjunto de evaluación en cada cambio de prompt, modelo o recuperación, en CI si es posible.
• Utiliza comprobaciones exactas cuando sea posible (esquema válido, etiqueta correcta, contiene cita). Usa un LLM como juez con una rúbrica clara solo para la calidad de criterio abierto, y verifica al juez periódicamente.
• Realiza un seguimiento de la tasa de aprobación, el costo y la latencia por versión. Añade cada fallo de producción al conjunto de evaluación.

Costo, latencia y experiencia de usuario

• Utiliza el modelo más pequeño que pase las evaluaciones; enruta solo los casos difíciles a modelos más grandes.
• Utiliza el almacenamiento en caché de prompts para prefijos largos y estables. Almacena en caché respuestas completas para entradas idénticas repetidas.
• Transmite respuestas para todo lo que interactúa con el usuario. Muestra el progreso para trabajos de varios pasos.
• Establece tiempos de espera, reintenta con retroceso exponencial en límites de tasa y errores 5xx, y ten un plan de respaldo que no sea IA.
• Permite a los usuarios editar, regenerar y dar pulgar arriba o abajo; almacena esa retroalimentación con la versión del prompt.

Privacidad y cumplimiento normativo

Informa a los usuarios sobre el uso de IA. Revisa las políticas de retención de datos y entrenamiento del proveedor. Redacta la PII que no necesites. Registra las entradas y salidas con controles de acceso y un período de retención.

Salida

Informa la definición de la tarea, el modelo y la versión del prompt, el esquema de salida, los resultados de la evaluación (tasa de aprobación, costo por llamada, latencia p95), los controles de seguridad implementados y los modos de fallo conocidos.

---

Más información: AI Agent & MCP Server Builder es un paquete de habilidades premium con habilidades vinculadas, plantillas de producción, scripts y prompts de evaluación.