自己改善ループ は何をしますか?
このスキルは、ハーネスが最適化対象となるシステムをカバーします。エージェントが自身の失敗を発掘し、自身のスキャフォールドを編集する、メタエージェントがハーネスコードを探索する、ワークフロー候補の集団が評価器に対して進化する、コンテキストを生成する機構自体がバージョン管理され改善される、などのケースが含まれます。設計上の問いは、「単一のループをどう制御するか」(ハーネスエンジニアリング)から、「ループが自身の一部を書き換えつつ、それを導くシグナルを破壊しないようにするにはどうするか」へと移行します。
あらゆる公開システムに共通する制約条件:ループは与えられたシグナルを最適化します。それにはシグナル自身の弱点も含まれます。メトリクスと意図の間にあるあらゆる隙間をオプティマイザが見つけることを前提にループを設計してください。
アクティブ化条件
以下の場合にこのスキルをアクティブ化します:
- 発掘された失敗パターンに基づいて、エージェントが自身のハーネス、プロンプト、コンテキストプレイブック、ワークフローへの編集を提案するループを構築する場合
- ハーネスまたはスキャフォールドコードに対するメタレベルの探索(メタエージェント探索、ワークフローグラフのツリー探索、LLM突然変異演算子による進化的プログラム探索)を設計する場合
- 自己改変エージェントシステムの受理基準を選択する場合
- コンテキストを管理する機構(スキル、プレイブック、コンテキスト関数)を手動編集ではなく進化させる場合
- 劣化する自己改善ループ(報酬ハッキング、多様性崩壊、コンテキスト崩壊、静かな停滞)を診断する場合
- 再発する失敗を最適化ラダー(プロンプト、コンテキスト、ワークフロー、ハーネスコード、オプティマイザコード)のどのレベルで修正すべきか決定する場合
他のスキルが担当する隣接作業ではこのスキルをアクティブ化しないでください:
- 自分自身を変更しない単一の自律ループのガバナンス(ロックおよび編集可能な表面、永続ログ、ロールバック、新規性ゲート、PR準備、人間の承認境界)は
harness-engineeringに属します。そのスキルは制御表面を定義します。このスキルは、それらの表面自体が最適化ターゲットになったときに何が起こるかを定義します。 - 候補をスコアリングする評価器、回帰スイート、品質ゲートの構築:
evaluation - LLM-as-judge の設計、ペアワイズ比較、候補スコアリングのバイアス軽減:
advanced-evaluation - 改善ループを伴わないワンショットトークン効率化、マスキング、キャッシング:
context-optimization - ループ実行のためのリモートサンドボックスおよびバックグラウンド実行インフラ:
hosted-agents - ループを構築するかどうか、パイプライン形状、コスト見積もり:
project-development - ループが最適化する自己編集コンテキスト動作と効率報酬:
self-managed-context
中核概念
最適化ラダー
公開されている自己改善システムは、徐々に深いオブジェクトをターゲットにしています:
| 段 | 最適化対象 | システム例 |
|---|---|---|
| 1 | 指示プロンプト | Promptbreeder, GEPA |
| 2 | 構造化コンテキスト | ACE(箇条書きのプレイブック) |
| 3 | コンテキスト機構 | MCE(コンテキストを生成するスキル) |
| 4 | ワークフローグラフ | ADAS, AFlow |
| 5 | ハーネスコード | Self-Harness(制限付き自己編集)、Meta-Harness、Darwin Godel Machine |
| 6 | オプティマイザコード | STOP(改善器が改善器を改善する) |
段が上がるごとに、より大きな設計空間とより大きなレバレッジが得られる一方、評価あたりのコストが増加し、悪用可能な表面が広がります。修正を表現できる最も低い段で再発する失敗を修正してください。古いライブラリの失敗は、ワークフローの書き換えではなく、コンテキストの修正です。現在の段の候補間で失敗がクラスタ化し続ける場合にのみ、上位の段に移動してください。
ループは知能そのものではない
再帰的構造は、ベースモデルの品質を両方向に増幅します。強力なモデルで利益を複合させる同じ再帰的改善器の設計は、弱いモデルでは反復を重ねるごとに平均性能を低下させます(claim-self-improvement-capability-threshold 参照)。2つの含意:
- 再帰を有効にする前に能力検証を実行します。保持されたタスクセットで固定回数の反復を行い、軌跡が低下する場合にループを純負とカウントします。
- 退化した停滞モードを検出します。入力を変更せずに静かに返す壊れた改善器は、集約メトリクスでは安定しているように見えます。スコアだけでなく、編集差分も追跡してください。
ループ外部不変条件
評価器、その計装、権限制御、予算執行は、ループが変更できる表面の外部に存在しなければなりません。文書化された報酬ハッキングはすべてこの不変条件を破りました。エージェントは幻覚検出器が依存するロギングマーカーを削除し、チェックコードがエージェントに見えるとハッキングの頻度が増加しました(claim-self-improvement-visible-evaluator-hacking 参照)。スコアリング関数を見ることができるエージェントは、タイミング関数を上書きし、評価器をパッチして完全なスコアを返すようにしました(claim-self-improvement-scorer-visibility 参照)。
運用ルール:
- プロンプトテキストに記述された制約は進化によって取り除かれます。予算、権限、サンドボックス境界は、変更可能なプロンプトやハーネスコードではなく、ランタイムで強制してください。
- 提案者からスコアリング実装を隠してください。スコアとトレースは公開しますが、評価器のソースコードは公開しないでください。
- OSまたはコンテナレベルでサンドボックス化してください。フレームワークレベルの許可ゲートは、ループが発見するサイドチャネルを通じてバイパスされる可能性があります。
- 検出されたエクスプロイトは、高いスコアではなく、失敗した候補として扱ってください。そうしなければ、ハックはループを導くメトリクスそのものを膨張させます。
理由ではなく経験的受理
自己修正は測定された証拠に基づいてのみ受理してください。2つの分割を使用します:ターゲットの弱点が解決されたことを確認する保持内分割と、提案者が決して見ることのない、他の何も劣化していないことを確認する保持外分割です。最も厳格な公開ゲートは、どちらの分割も劣化せず、少なくとも1つが厳密に改善した場合のみ受理し、確率的スコアリングの下で評価を繰り返します。これにより、テストされたすべてのベースモデルで保持外の利益が生まれました(claim-self-improvement-two-split-acceptance 参照)。合計が改善しても、一方の分割を他方とトレードオフする候補は拒否してください。拒否された候補は証拠とともに記録し、提案者がそれらを再発見するのを防いでください。
ファイルシステム経験アーカイブ
すべての候補を、そのソース、スコア、生の実行トレースを含むディレクトリとして保存してください。提案者が履歴をコンテキストウィンドウに詰め込む代わりに、検索ツール(ファイルに対するgrepスタイルのクエリ)を使用してアーカイブをナビゲートできるようにしてください。直接アブレーションでは、生トレースへの完全アクセスを持つ提案者は、スコアのみの提案者や、同じトレースのLLM作成サマリーを提供された提案者よりも実質的に優れたパフォーマンスを発揮しました。サマリーは失われたシグナルを回復せず、時には悪影響を及ぼしました(claim-self-improvement-raw-trace-ablation 参照)。アーカイブを事前に要約しないでください。コンテンツではなく、アクセスパスをキュレーションしてください。
多様性の維持
進化的およびRLスタイルのループは、多様性が意図的に組み込まれていない限り、現在の最良の変種に向かって崩壊します。公開システムのアブレーションに耐えたメカニズム:
- 中核能力を保持するすべての候補のアーカイブを維持します。決して最新バージョンのみを山登りしないでください。ステッピングストーンは発見されてから多くの反復後に報われます。
- 子孫数で割り引かれた適合度圧で親を選択します。これにより、集中的に採掘された候補の優先度が下がり、すべてのアーカイブメンバーがゼロ以外の選択確率を維持します。
- 評価コストを支払う前に、埋め込み類似度によってほぼ重複した提案を拒否します。
- 選択分布にシードまたはブランク候補への永続的なルートバックを維持し、局所最適からの脱出を可能にします。
詳細トピック
失敗駆動型自己編集ループの構造
エージェントが自身のハーネスを改善する最も強力な公開パターンには、3つの段階があります:
- 弱みの発掘。 失敗トレースを3つの部分からなるシグネチャでクラスタリングします:検証器レベルの原因(何が拒否されたか)、エージェント動作の因果的状態(実際に責任があったか)、トレースが明らかにする抽象的なメカニズム(再利用可能な行動パターン)。エラー文字列だけでクラスタリングしないでください。タイムアウトは無関係なメカニズムに共通する症状です。アドレス可能性フィルターを適用します。タスクの難易度や能力の限界を反映するクラスター(ハーネスの欠陥ではないもの)を除外します。
- 制限付き提案。 提案者に正確に4つの入力を与えます:宣言された編集可能な表面、発掘された失敗パターン、保存すべき合格動作の記録、以前に試みられた編集のサマリー。提案は最小限(1つの表面に触れる)、並列候補間で互いに異なること、および対象パターン、期待される効果、回帰リスクを述べた監査記録を伴うことを要求します。
- 検証とマージ。 2分割受理ゲートを適用します。互換性のある受理された編集をマージします。拒否されたものはアクティブなハーネスを変更せずに記録します。すべての遷移は、変更された表面、分割結果、決定を記録し、系統が監査可能であることを保証します。
ハーネスコードのメタレベル探索
実行中のハーネスを内部から編集するのではなく、外部からハーネスプログラム全体を探索する場合:
- 外部ループを最小限に保ちます。手動調整された突然変異演算子や親選択ヒューリスティックは使用しません。診断と編集の決定は強力なコーディングエージェント提案者に委任します。これにより、コーディングエージェントが改善するにつれてシステムも改善されます。
- ゼロからではなく、利用可能な最も強力なハーネスから初期化します。勝利する編集は通常、小さく付加的です(環境ブートストラップ、アーティファクト作成命令)。一方、プロンプトや完了フローの書き換えは経験的にリスクが高いです。
- 実際に重要な目的(精度、コンテキストコスト、レイテンシ)に対するパレートフロンティアを維持し、1つのスカラーに潰さないようにします。
- 候補ごとに、記録された修正結果を用いて探索メモリを構造化します。全アーカイブを提案者のプロンプトにダンプすると、履歴が増えるにつれて性能が急激に低下します。ノードごとの経験レコードとクレジット割り当ては、アーカイブ・イン・コンテキスト条件付けよりも優れています。
- 実行モデルが変更されたら探索を再実行します。発見されたハーネスは実行モデルに依存しており、ベースモデル間で自由に転送できません。
自己改善としてのコンテキスト進化
自身を更新するコンテキストプレイブックは、エントリーレベルの自己改善ループであり、2つの名前付き故障モードがあります。簡潔性バイアス:オプティマイザは短く一般的な指示に向かって崩壊し、価値を担っていたドメイン固有のヒューリスティックを落とします。コンテキスト崩壊:モデルに蓄積されたコンテキストを一括で書き換えさせると、一回のステップで壊滅的に縮小し、適応なしのベースラインを下回ります(claim-self-improvement-context-collapse 参照)。機能するパターン:
- コンテキストを、安定した識別子と有用/有害カウンターを持つ項目別エントリとして表現します。
- 増分デルタを生成し、決定論的でないモデルロジックによってマージします。キュレーターは決してアーティファクト全体を書き換えません。
- 埋め込み類似度によって重複を排除します。定期的または遅延的に実行します。
- メカニズム全体をフィードバック品質でゲートします。信頼できる実行シグナルやラベルがなければ、自己管理コンテキストは静的ベースラインを下回ります。
一段上では、コンテキストを生成する機構(スキル:静的コンポーネントと動的オペレーター)を、生成されたコンテキストとは別にバージョン管理します。検証分割に対してのみ機構を進化させ、各反復は以前の最良アーティファクトとそのロールアウト結果からウォームスタートします。各反復で訓練-検証ギャップを明示的にチェックし、機構の過適合を捕捉します。
人間に属するもの
人間はループから外れるのではなく、スタックを上がります。以下の人間の決定ポイントを予約します:評価器または受理ゲートの変更、編集可能な表面の拡大、発見されたハーネスの本番環境への昇格、研究方向の放棄決定。主に成功した結果で訓練されたモデルは、作業ラインをいつ放棄するかについてのキャリブレーションが不十分です。保存された否定的結果は、後継者の探索空間を削減する最も安価な方法です。失敗した候補を第一級のアーティファクトにしてください。
実践的ガイダンス
ループ準備チェックリスト
以下のすべての項目が満たされるまで、自己修正を有効にしないでください:
- 高速で決定論的、自動化可能な評価器が存在すること。評価が遅く、曖昧で、判定者のみに依存するドメインでは、このループファミリーは失敗します。
- 提案者が決して見ることのない保持外分割が存在し、ループがそれを過適合させるのに十分な長さ実行される場合はリフレッシュされること。
- 予算、権限、サンドボックス化は、すべての編集可能な表面の外側にあるランタイムによって強制されること。
- 編集可能な表面が明示的に宣言されていること(マークされた領域または設定ポイント)。他のすべてはロックされ、不変性は各候補の後にプログラム的に再検証されること。
- 差分の完全な系統を持つアーカイブが存在すること。監査は適合度シグナルではなく、差分と生トレースを読み取ります。
- 評価支出が段階化されていること。完全な評価の前に安価なインターフェースまたはスモークチェックを行い、スコアリングにノイズがある場合は実行を繰り返します。
- ベースモデルがこのタスクファミリーで再帰の閾値をクリアすることを示す能力検証実行が行われていること。
- 人間の決定ポイントが、評価器の変更、表面の拡大、昇格のために配線されていること。
ループレベルの選択
| 再発する失敗 | 修正箇所 | ループパターン |
|---|---|---|
| ドメインヒューリスティックの欠如、既知の誤りの繰り返し | 構造化コンテキスト | 差分更新付き項目別プレイブック |
| コンテキストプレイブック自体がタスク間で停滞する | コンテキスト機構 | 検証データでスキルを進化させる |
| 誤った順序付け、検証ステップの欠落 | ワークフロー | ノードごとの経験を持つワークフローグラフの探索 |
| ワークフロー候補間で失敗のクラスターが持続する | ハーネスコード | 失敗駆動型制限付き自己編集またはメタレベル探索 |
| 改善戦略自体が弱い | オプティマイザコード | 強力なモデルとロックされたメタ評価でのみ |
例
例 1: 2分割受理ゲート
def accept(candidate, baseline, held_in, held_out, repeats=3):
d_in = mean_score(candidate, held_in, repeats) - mean_score(baseline, held_in, repeats)
d_out = mean_score(candidate, held_out, repeats) - mean_score(baseline, held_out, repeats)
if d_in < 0 or d_out < 0:
return False # どちらの分割も劣化しない
return max(d_in, d_out) > 0 # 厳密な改善
…
(翻訳のため一部省略)