Communitygithub.com

agenttrace セッション監査

ローカルのAIコーディングエージェントセッションを、コスト、ツール障害、レイテンシ、異常、健全性、差分、CIゲートの観点から監査します。

agenttrace セッション監査 とは?

このスキルは、agenttrace CLIツールを使用してローカルのAIコーディングエージェントセッションを詳細に監査します。トークン消費やコストのスパイク、ツール障害、リトライループ、レイテンシギャップ、異常、健全性スコア、セッション間の差分など、実行プロセスの内側に焦点を当てます。Claude Code、Codex CLI、Gemini CLI、Aider、Cursorエクスポート、OpenCode、Qwen Code、Kimi、汎用JSON/JSONLトレースなど、複数のツールからのセッションログをローカルファーストで読み取り分析します。このスキルは、AI実行が遅かった、高コストだった、浅かった、信頼性が低かった理由を調査する場合や、失敗したタスクを再試行する前にエージェントログを確認する場合、軽量なCI健全性ゲートを構築する場合に特に役立ちます。Markdownレポート、JSON出力、健全性しきい値に基づく自動化ゲートなど、人間が読める監査レポートと自動化されたCIワークフローの両方をサポートします。重要な注意点として、健全なトレース指標は最終的なコードの正しさを保証するものではないため、テストと差分レビューを補完的に行う必要があります。

対応✓Claude Code✓Codex CLI✓Cursor✓Gemini CLI✓OpenCode
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/agenttrace-session-audit

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

agenttrace セッション監査 は何をしますか?

概要

このスキルを使用して、agenttrace でローカルのAIコーディングエージェントセッションを検査します。実行の背後にあるプロセス、つまりトークンとコストのスパイク、ツール障害、リトライループ、レイテンシギャップ、異常、健全性スコア、セッション間の差分に焦点を当てます。

agenttrace はローカルファーストであり、Claude Code、Codex CLI、Gemini CLI、Aider、Cursor エクスポート、OpenCode、Qwen Code、Kimi、および汎用のJSONまたはJSONLトレースなどのツールからセッションログを読み取ります。

このスキルを使用するタイミング

  • ユーザーがAIコーディング実行が遅かった、高コストだった、浅かった、または信頼性が低かった理由を尋ねたとき。
  • 失敗した、または疑わしいタスクを再試行する前に、ローカルのエージェントログを確認するとき。
  • AI支援コーディングセッションのための軽量なCI健全性ゲートを構築するとき。
  • 2つの試行を比較し、変更されたツールパス、リトライ、またはコストパターンを探すとき。

動作方法

ステップ 1: 利用可能なセッションを発見する

agenttrace バイナリが PATH 上で利用可能な場合は、インストール済みのものを優先します。現在のリポジトリが luoyuctl/agenttrace の場合は、代わりに go run ./cmd/agenttrace を使用します。

agenttrace --doctor
agenttrace --overview

セッションが検出されない場合は、--doctor によってチェックされたディレクトリを報告し、エクスポートされたセッションファイルまたはログディレクトリを尋ねます。

ステップ 2: 人間が読める監査レポートを作成する

ユーザーが検査または共有できる簡潔なレポートを希望する場合は、Markdownを使用します。

agenttrace --overview -f markdown -o agenttrace-overview.md

レポートでは、最もリスクの高いセッションを最初に提示し、その重要性を説明します。重要な異常、繰り返されるツール障害、トークンまたはコストの浪費、長いレイテンシギャップ、低い健全性スコア、不自然に浅いセッションなどです。

ステップ 3: 1つのセッションまたはディレクトリを検査する

クイックチェックには最新のセッションを使用し、ユーザーが明示的なエクスポートパスを提供した場合はそれを渡します。

agenttrace --latest
agenttrace --latest -f json
agenttrace path/to/session-or-export.json
agenttrace --overview -d path/to/session-dir

ステップ 4: セマンティクスが重要な場合に試行を比較する

トークンとレイテンシのメトリクスは、エージェントが自信を持って誤った実装パスを取った場合でも健全に見えることがあります。リスクがセマンティックドリフト(意味のずれ)である場合は、トレース監査と以前の試行または既知の正常な試行との差分を組み合わせます。

以下の点を確認します:

  • 意図したタスクから逸脱している変更されたファイルまたはコマンド
  • 参照試行と比較した、欠落しているテストまたは検証ステップ
  • 明確な理由なく同じファイルの周りで繰り返される編集
  • 必要な探索をスキップしたことによる低コスト

ステップ 5: 自動化ゲートを追加する

CIまたは反復可能なチームワークフローの場合は、JSON出力または健全性しきい値を使用します。

agenttrace --overview -f json -o agenttrace-overview.json
agenttrace --overview --fail-under-health 80 --fail-on-critical --max-tool-fail-rate 15

しきい値はプロジェクトに合わせて調整します。厳格なゲートは重要なワークフローに役立ちます。チームがベースラインを学習している間は、レポートのみのコマンドの方が適しています。

例

クイックローカルレビュー

agenttrace --overview
agenttrace --latest

長時間のコーディングエージェント実行後、次のプロンプトでタスクを分割すべきか、失敗するツールパスを回避すべきか、欠けているテストを追加すべきか、コンテキストをリセットすべきかを判断するために使用します。

CI健全性チェック

agenttrace --overview --fail-under-health 80 --fail-on-critical

CIでエージェントセッションログが利用可能であり、チームが重要な異常や不健全な実行に対するシンプルなガードを望む場合に使用します。

ベストプラクティス

  • セッション発見が不確かな場合は --doctor から始めます。
  • 欠落しているフィールドはそのまま報告します。コスト、モデル、レイテンシ、健全性データをでっち上げないでください。
  • プロンプト、コード、セッション内容はプライベートなローカルデータとして扱います。
  • 自動化にはJSON出力を、人間のレビューにはMarkdown出力を優先します。
  • プロセスの失敗にはトレースメトリクスを、セマンティックドリフトには差分/参照レビューを使用します。

制限事項

  • agenttrace はローカルに存在するか、エクスポートとして提供されたログのみを分析できます。
  • 一部のエージェントはコスト、モデル、キャッシュ使用、レイテンシを推測するのに十分なフィールドを公開しません。
  • 健全なトレースメトリクスは最終的なコードの正しさを証明するものではありません。引き続きテストを実行し、差分をレビューしてください。
  • CIゲートは、チームが通常のベースライン動作を理解するまでは、アドバイザリとして開始する必要があります。

セキュリティと安全に関する注意事項

  • ユーザーが明示的に承認しない限り、プライベートなセッションログを外部サービスにアップロードしないでください。
  • ユーザーが明示的にその出力パスを要求しない限り、ユーザーのレポートを上書きしないでください。
  • プロンプト、ツール出力、環境変数、またはログに含まれる機密情報を印刷しないでください。

よくある落とし穴

  • 問題: セッションが見つかりません。 解決策: agenttrace --doctor を実行し、agenttrace をエクスポートされたファイルまたはログディレクトリに指定します。

  • 問題: 実行は安価で高速に見えたが、誤ったリファクタリングを生成した。 解決策: セッションを以前の試行または既知の正常な差分と比較します。コストメトリクスだけではセマンティックドリフトを見逃します。

  • 問題: 健全性ゲートを追加した後、CIの失敗が多すぎる。 解決策: JSONまたはMarkdownレポートから始め、通常のベースラインを検査し、その後しきい値を徐々に厳しくします。

関連スキル

  • @langfuse - 本番LLMアプリケーションのトレーシングと評価に使用します。
  • @observability-engineer - より広範なサービス監視、SLO、インシデントワークフローに使用します。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

関連スキル