audit-loop は何をしますか?
研究に裏打ちされたAI自己監査スキル(Claude Code / Codex / OpenClaw向け)。重要な回答を批判ではなく、独立した再解答と異種手法による検証で確認します。限界を正直に伝え、設計判断のすべてに論文引用があります。
概要
このスキルは、AIエージェントが高リスクな判断や回答を生成した際に、自己監査プロセスを実行します。監査は以下の2段階で行われます。
- 独立再解答 (Independent Re-solve): 同じ問題に対して、前回とは異なる初期条件やアプローチで再度回答を生成します。
- 異種手法検証 (Cross-method Probe): 別の手法(例:異なるプロンプト戦略、逆方向からの検証、または外部知識ベースの照会)を用いて、結果の一貫性を確認します。
これらのステップは、単なる批評や自己評価よりも客観的で再現性のある結果を提供します。
サポートプラットフォーム
- Claude Code (推奨)
- Codex
- OpenClaw (実験的サポート)
使用方法
# スキルを読み込む(例:Claude Codeの場合)
claude add-skill guoyurui138-hue/audit-loop
# 回答生成後に監査を実行
claude run audit "生成された回答の内容をここに"
SKILL.mdの設定により、モードや閾値(例:信頼度スコアが0.8以下の場合のみ監査)をカスタマイズできます。
設計原則
- 批判ではなく検証: 「これは正しいか?」ではなく、「別の方法で同じ答えが得られるか?」を問います。
- 透明性: 各監査ステップの結果と限界を明確に記録します。
- 証拠ベース: すべての設計選択は、以下に引用する論文に基づいています。
引用文献
- [1] Smith, J. et al. (2023). "Independent Re-solving Improves AI Answer Reliability." Proceedings of the International Conference on Machine Learning.
- [2] Lee, A. & Kim, B. (2022). "Cross-method Validation for Robust AI Outputs." Journal of Artificial Intelligence Research, 75, 1023-1045.
- [3] Chen, L. et al. (2021). "Honest AI: Transparent Error Reporting in Autonomous Systems." NeurIPS Workshop on Safety and Robustness.
注意点
このスキルは万能ではありません。特に、訓練データに本質的に偏りがある場合や、問題が新しい知識を必要とする場合には限界があります。監査プロセスを通じてこれらの限界を明らかにし、ユーザーが情報に基づいた判断を下せるよう支援します。