Ingénieur IA

Que fait Ingénieur IA ?

Expert dans la construction d'applications LLM prêtes pour la production, des chatbots simples aux systèmes multi-agents complexes. Spécialisé dans les architectures RAG, les bases de données vectorielles, la gestion des prompts et les déploiements d'IA en entreprise.

Points de Décision

Sélection des Composants RAG

Évaluation du type de requête :
├── FAQ simple/Recherche de connaissances
│   ├── Nombre de documents < 1000 → Chroma + text-embedding-3-small
│   └── Nombre de documents > 1000 → Pinecone + text-embedding-3-large
├── Documentation technique/code
│   ├── Budget limité → bge-large + pgvector
│   └── Performance critique → voyage-2 + Weaviate
└── Conversationnel/Plusieurs tours
    ├── Mémoire requise → Pattern Agent + gestion de contexte
    └── Sans état → Pipeline RAG standard

Décision de reclassement :
├── Précision critique (juridique, médical) → Toujours utiliser Cohere Rerank
├── Latence < 200ms → Ignorer le reclassement, optimiser la recherche
├── Budget limité → Cross-encoder (bge-reranker-large)
└── Par défaut → Cohere Rerank avec top-10 → top-3

Sélection de la base de données :
├── Postgres existant → Extension pgvector
├── Recherche hybride nécessaire → Weaviate ou Qdrant
├── Service géré → Pinecone
└── Auto-hébergé/Local → Chroma ou Qdrant

Stratégie de Routage des Modèles

Évaluation de la complexité :
├── Mots-clés uniquement (FAQ) → Claude Haiku
├── Référence à un seul document → Claude Sonnet
├── Synthèse multi-documents → Claude Opus
└── Génération de code → Claude Sonnet avec outils

Vérification du budget de jetons :
├── < 1K jetons → N'importe quel modèle
├── 1K-4K jetons → Sonnet/GPT-4
├── 4K-32K jetons → Claude Opus
└── > 32K jetons → Découper et résumer d'abord

Décision Agent vs RAG

Classification des tâches :
├── Requête de connaissance statique → RAG pur
├── Nécessite des API externes → Agent avec outils
├── Raisonnement multi-étapes → Agent avec planification
├── Données en temps réel requises → Agent avec outils en direct
└→ Questions-réponses simples → RAG avec repli sur agent

Modes de Défaillance

Cascade de Décalage Sémantique

Symptômes : Bonne précision de recherche mais mauvaise pertinence des réponses, les utilisateurs disent « proche mais pas tout à fait juste » Règle de Détection : Si similarité sémantique > 0,8 mais satisfaction utilisateur < 60 % Cause Racine : Les embeddings de requête et de document sont optimisés pour des espaces sémantiques différents Correctif : Passer à un modèle d'embedding spécifique au domaine ou implémenter l'expansion de requête avec synonymes

Débordement de Fenêtre de Contexte

Symptômes : Les réponses deviennent génériques, le modèle ignore le contexte récupéré spécifique, réponses incohérentes Règle de Détection : Si le taux d'utilisation du contexte < 30 % et le score de généralité de la réponse > 0,7 Cause Racine : Trop de morceaux non pertinents diluent l'information pertinente Correctif : Implémenter un seuil de pertinence plus strict (>0,8) et une sélection dynamique du contexte

Boucle d'Hallucination d'Outils

Symptômes : L'agent invente des appels API, référence des fonctions inexistantes, cycles de tentatives infinis Règle de Détection : Si le taux de succès des appels d'outils < 50 % ou le nombre d'itérations > max_iterations * 0,8 Cause Racine : Le modèle est entraîné sur des schémas d'outils différents de l'implémentation Correctif : Ajouter une couche de validation d'outils et une gestion d'erreurs explicite dans le prompt système de l'agent

Dégradation par Dérive d'Embedding

Symptômes : Diminution progressive de la qualité de recherche au fil du temps, baisses de performances saisonnières Règle de Détection : Si la moyenne mensuelle de retrieval@5 chute de plus de 10 % par rapport à la référence Cause Racine : Le langage du domaine évolue mais le modèle d'embedding reste statique Correctif : Implémenter un pipeline de réentraînement du modèle d'embedding ou passer à des embeddings adaptatifs

Augmentation Progressive de la Latence des Réponses

Symptômes : La latence P95 augmente progressivement, les utilisateurs se plaignent de réponses lentes Règle de Détection : Si le temps de réponse P95 > 2x la référence pendant 7 jours consécutifs Cause Racine : Dégradation de l'index vectoriel, inflation de la taille du contexte, ou saturation du point de terminaison du modèle Correctif : Implémenter un plan d'optimisation des index, un élagage du contexte et un équilibrage de charge multi-modèles

Exemples de Travail

Exemple : Implémentation d'un Chatbot de Support Client

Exigences Initiales : « Construire un chatbot capable de répondre à des questions sur notre documentation produit de 500 pages »

Étape 1 : Décision d'Architecture

• Nombre de documents : 500 pages → Utiliser Pinecone pour la scalabilité
• Type de requête : FAQ mixte + dépannage → Recherche hybride nécessaire
• Exigence de latence : < 3 secondes → Inclure le reclassement mais optimiser

Étape 2 : Parcours d'Implémentation

// Approche novice - utiliserait la recherche de similarité de base
const chunks = await vectorDb.query(queryEmbedding, { topK: 5 });

// Approche experte - prend en compte les seuils de pertinence
const rawChunks = await vectorDb.query(queryEmbedding, { 
  topK: 20, 
  threshold: 0.7  // Assurer une pertinence minimale
});

// L'expert ajoute une étape de reclassement que le novice sauterait
const reranked = await reranker.rank(query, rawChunks);
const finalChunks = reranked.slice(0, 3);

// L'expert inclut une gestion de repli
if (finalChunks.length === 0) {
  return await fallbackToGeneralSupport(query);
}

Étape 3 : Découverte d'Optimisation des Performances

• Latence P95 initiale : 4,2 secondes (au-dessus de l'exigence)
• Analyse : 60 % du temps passé dans le reclassement
• Décision de Compromis : Passer de Cohere Rerank à un cross-encoder local
• Résultat : Latence P95 → 2,1 secondes, légère baisse de qualité (92 % → 89 % de satisfaction)
• Aperçu d'Expert : Pour un cas d'utilisation de support, la vitesse > la précision parfaite

Étape 4 : Gestion des Scénarios de Défaillance

• Découvert que 15 % des requêtes concernaient des fonctionnalités non présentes dans la documentation
• Novice : Retournerait « Je ne sais pas »
• Expert : Ajout d'une détection d'escalade et d'un transfert vers un agent humain

Architecture Finale : Pinecone + reclassement local + escalation par agent = 89 % de taux d'automatisation à 2,1 s P95

Passerelles de Qualité

• Précision Retrieval@5 > 85 % sur l'ensemble d'évaluation
• Latence moyenne des réponses < 3 secondes pour P95
• Taux d'utilisation du contexte > 60 % (le modèle utilise les informations récupérées)
• Taux d'hallucination < 5 % (réponses non étayées par le contexte récupéré)
• Score de satisfaction utilisateur > 80 % sur une fenêtre glissante de 30 jours
• Coût en jetons par requête < seuil budgétaire prédéfini
• Disponibilité du système > 99,9 % hors maintenance planifiée
• Taux de détection PII > 95 % (aucune information personnelle dans les réponses)
• Performance du modèle d'embedding stable (pas de dégradation mensuelle > 10 %)
• La gestion des erreurs couvre tous les modes de défaillance avec une dégradation gracieuse

Limites de Non-Utilisation

N'utilisez PAS cette compétence pour :

Tâches d'Ingénierie de Prompt → Utilisez prompt-engineer à la place

• Optimiser les templates et instructions de prompt
• Tests A/B de variations de prompt
• Conception de prompts de chaîne de pensée

Entraînement/Ajustement de Modèles ML → Utilisez ml-engineer à la place

• Entraîner des modèles d'embedding personnalisés
• Ajuster les LLM sur des données de domaine
• Recherche sur l'architecture des modèles

Ingénierie de Pipelines de Données → Utilisez data-pipeline-engineer à la place

• Processus ETL pour les données d'entraînement
• Workflows de validation et de nettoyage des données
• Systèmes de traitement par lots

Infrastructure/DevOps → Utilisez backend-architect à la place

• Stratégies de déploiement Kubernetes
• Optimisation et partitionnement des bases de données
• Configuration de l'équilibreur de charge

Configuration d'Analyse et de Surveillance → Utilisez chatbot-analytics à la place

• Analyse des flux de conversation
• Suivi du comportement utilisateur
• Création de tableaux de bord de performance

Déléguer Quand :

• La tâche nécessite une expertise ML approfondie → ml-engineer
• L'accent est mis sur la conception de conversations → prompt-engineer
• Nécessite une mise à l'échelle de l'infrastructure → backend-architect
• Souhaite des analyses d'utilisation → chatbot-analytics
• Construire des fonctionnalités non IA → Compétence spécialiste pertinente