JuliusBrussee/caveman-evidence-review

Examiner les preuves Caveman

Agissez en tant qu'opérateur en lecture seule. Construisez des conclusions à partir des données actuelles de Caveman, pas de suppositions sur le dépôt. Ne démarrez, n'approuvez, n'annulez ou ne revenez jamais en arrière sur une expérience depuis cette compétence.

Règles strictes

1. Gardez ces catégories séparées :
   • coût mesuré au prix catalogue complet du fournisseur ;
   • marge de manœuvre quotidienne inférée ;
   • économies vérifiées ledger ;
   • coût de la preuve. Ne les ajoutez pas et ne les renommez pas.
2. Ne récupérez pas les payloads des prompts, complétions, outils ou artefacts sauf si l'utilisateur demande explicitement une revue des payloads. Les métadonnées, les spans, le timing, les modèles, les compteurs de tokens, le statut et l'attribution de l'optimiseur sont suffisants pour la revue par défaut.
3. Limitez chaque lecture au projet sélectionné par le contexte Caveman. Ne fournissez jamais d'identifiant d'organisation.
4. Les résultats vides sont une preuve de l'absence de signal actuel, pas un coût nul ou un risque nul.
5. Citez les identifiants de trace et les fenêtres temporelles exactes utilisées. Ne prétendez pas à une cause à partir d'un seul agrégat.

Étape 1 — Charger le contexte

Préférez MCP :

caveman_context {}

Rappel CLI :

caveman cloud whoami
caveman cloud projects list

Arrêtez-vous si la connexion ou la sélection de projet est manquante. Demandez à l'utilisateur d'exécuter caveman login ou de sélectionner un projet ; ne devinez jamais.

Étape 2 — Établir la base de référence

Utilisez caveman_report pour :

• overview
• costs
• score
• workflows
• verified_savings

Utilisez ensuite caveman_plan pour la marge de manœuvre quotidienne classée. Si la question est précise, ignorez les rapports non pertinents. Lisez le plus petit ensemble pouvant y répondre.

Rappel CLI :

caveman cloud costs
caveman cloud score
caveman cloud plan --json

Indiquez la fenêtre de rapport et la base avant d'interpréter la direction.

Étape 3 — Tester l'explication principale avec les traces

Utilisez caveman_trace_search. Choisissez une fenêtre délimitée et des filtres fermés : workflow, agent, modèle, fournisseur, code d'erreur, mode d'exécution, statut du cache, identifiant d'optimisation, classe de statut, limites de tokens/coût/latence, compression, ou verdict du moniteur.

Regroupements utiles :

• workflow — trouver les jobs qui génèrent des coûts ou des échecs ;
• model — comparer le mélange de modèles ;
• session — isoler les comportements de réessai ou de boucle ;
• non regroupé — identifier les traces exactes.

Comparez une cohorte suspecte avec une cohorte de contrôle ou une fenêtre temporelle antérieure délimitée. N'inférez pas de causalité à partir d'une seule trace coûteuse.

Rappel CLI :

caveman cloud traces search \
  --workflow <slug> \
  --from <RFC3339> \
  --to <RFC3339> \
  --sort total_cost_usd \
  --dir desc \
  --limit 25

Étape 4 — Inspecter des traces représentatives

Appelez caveman_trace_get pour un petit nombre d'identifiants de trace à fort signal. Inspectez les métadonnées de requête et de span, la latence, le statut, les compteurs de tokens, l'état du cache, les optimiseurs appliqués et la route du modèle. Gardez la récupération des payloads désactivée.

Rappel CLI :

caveman cloud traces show <trace-id> --spans

Étape 5 — Rapporter

Utilisez ce format :

## Revue des preuves Caveman

Périmètre : <projet> · <de> à <à>
Coût mesuré : <valeur et base>
Économies vérifiées : <valeur du grand livre, gardée séparée>
Marge de manœuvre inférée : <fourchette par jour, gardée séparée>

Résultats :
1. <résultat> — <preuve agrégée> — traces <ids>
2. <résultat> — <preuve agrégée> — traces <ids>

Non prouvé :
- <explication plausible sans contrôle, trace ou évaluation>

Prochaine vérification en lecture seule :
- <une requête délimitée>

Action possible :
- <proposition uniquement ; utilisez caveman-manage pour la revue du cycle de vie en lecture seule et la barrière de sécurité>

Si des données sont manquantes, nommez le signal manquant et arrêtez-vous à la déclaration la plus solide possible. Ne transformez jamais un sous-total de catalogue en facture ou un résultat d'expérience en économies vérifiées.