ce-optimize は何をしますか？
メトリクス駆動の反復最適化ループを実行します。測定可能な目標を定義し、並行実験を実行し、各結果をハードゲートまたはLLM-as-Judgeスコアに対して測定し、改善点を保持し、最適なソリューションに収束させます。クラスタリング品質、検索関連性、ビルドパフォーマンス、プロンプト品質など、体系的な実験が有効な測定可能な結果の最適化に使用します。
使用方法
- 目標の定義: 最適化したい測定可能なメトリクスを明確に定義します（例：クラスタリングのSilhouetteスコア、検索のNDCG@10、ビルド時間、プロンプト応答品質スコアなど）。
- 実験の設定: 並行して実行する実験の数と、各実験のパラメータ範囲を指定します。
- 評価基準の設定: ハードゲート（合格/不合格のしきい値）とLLM-as-Judgeスコアの評価基準を設定します。
- ループの実行: スキルが自動的に実験を生成・実行し、結果を評価し、最良のパラメータを保持します。
- 収束: 所定の収束条件（例：改善率が一定値を下回る、最大イテレーション数に達する）を満たすまでループを繰り返します。
対応プラットフォーム
- Claude Code
- Cursor
- Codex
- その他のAIエージェント環境
設定例
optimization:
metric: "silhouette_score"
experiments_per_iteration: 5
hard_gate:
min_silhouette: 0.3
llm_judge:
prompt: "クラスタリング結果の品質を1-10で評価してください"
convergence:
max_iterations: 10
min_improvement: 0.01
注意事項
- 実験のパラメータ範囲は適切に設定してください。範囲が広すぎると収束に時間がかかり、狭すぎると最適解を見逃す可能性があります。
- LLM-as-Judgeを使用する場合、評価プロンプトは明確で一貫性のあるものにしてください。
- ハードゲートは早期に不合格の実験を除外するために使用し、計算リソースを節約します。
ライセンス
MIT