Communityコーディング&開発github.com

自己改善ループ

このスキルは、ハーネス、スキャフォールド、ワークフロー、またはオプティマイザ自体が最適化ターゲットとなる場合に使用します。再帰的自己改善(RSI)ループ、メタハーネス、自己の失敗を発掘し制限付き編集を提案する自己改善ハーネス、エージェントスキャフォールドの進化的・集団的探索、自己改変システムの受理ゲート、およびコンテキスト生成機構がバージョン管理され進化するエージェンティックコンテキスト進化をカバーします。単一自律ループのガバナンス(ロックされた表面、永続ログ、ロールバック、新規性ゲート、承認境界)はハーネスエンジニアリングに、測定と品質ゲートの設計は評価に、判定者設計は高度評価に、リモートサンドボックスインフラはホステッドエージェントにルーティングします。

自己改善ループ とは?

自己改善ループスキルは、エージェントやワークフローのハーネス自体を最適化対象とする再帰的自己改善システムの設計、実装、診断をカバーします。このスキルは、エージェントが自身の失敗パターンを発掘し、制限付き編集を提案するループ、メタエージェントによるハーネスコードの探索、ワークフローグラフの進化的探索、コンテキスト生成機構のバージョン管理と進化など、ハーネスレベルの自己改変を扱う場合にアクティブ化します。主要な対象プラットフォームは特定のものに限定されず、自己改善ループを実装するあらゆるエージェントシステム(Claude Code、Cursor、Codexなど)に適用可能ですが、ガバナンスや評価は他の専門スキルに委譲します。中核的な概念として、最適化ラダー(プロンプトからオプティマイザコードまでの階層)、ループ外部不変条件(評価器や予算管理は変更可能領域の外に配置する)、経験的受理(測定に基づく自己改変の承認)、ファイルシステムベースの経験アーカイブ(生トレースへのアクセスを提供、要約しない)、多様性維持(アーカイブと選択圧の調整)を重視します。実践的なガイダンスとして、ループ準備チェックリストと適切なループレベルの選択基準を提供します。

対応~Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering/tree/main/skills/self-improvement-loops

Installed? Explore more コーディング&開発 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

自己改善ループ は何をしますか?

このスキルは、ハーネスが最適化対象となるシステムをカバーします。エージェントが自身の失敗を発掘し、自身のスキャフォールドを編集する、メタエージェントがハーネスコードを探索する、ワークフロー候補の集団が評価器に対して進化する、コンテキストを生成する機構自体がバージョン管理され改善される、などのケースが含まれます。設計上の問いは、「単一のループをどう制御するか」(ハーネスエンジニアリング)から、「ループが自身の一部を書き換えつつ、それを導くシグナルを破壊しないようにするにはどうするか」へと移行します。

あらゆる公開システムに共通する制約条件:ループは与えられたシグナルを最適化します。それにはシグナル自身の弱点も含まれます。メトリクスと意図の間にあるあらゆる隙間をオプティマイザが見つけることを前提にループを設計してください。

アクティブ化条件

以下の場合にこのスキルをアクティブ化します:

  • 発掘された失敗パターンに基づいて、エージェントが自身のハーネス、プロンプト、コンテキストプレイブック、ワークフローへの編集を提案するループを構築する場合
  • ハーネスまたはスキャフォールドコードに対するメタレベルの探索(メタエージェント探索、ワークフローグラフのツリー探索、LLM突然変異演算子による進化的プログラム探索)を設計する場合
  • 自己改変エージェントシステムの受理基準を選択する場合
  • コンテキストを管理する機構(スキル、プレイブック、コンテキスト関数)を手動編集ではなく進化させる場合
  • 劣化する自己改善ループ(報酬ハッキング、多様性崩壊、コンテキスト崩壊、静かな停滞)を診断する場合
  • 再発する失敗を最適化ラダー(プロンプト、コンテキスト、ワークフロー、ハーネスコード、オプティマイザコード)のどのレベルで修正すべきか決定する場合

他のスキルが担当する隣接作業ではこのスキルをアクティブ化しないでください:

  • 自分自身を変更しない単一の自律ループのガバナンス(ロックおよび編集可能な表面、永続ログ、ロールバック、新規性ゲート、PR準備、人間の承認境界)は harness-engineering に属します。そのスキルは制御表面を定義します。このスキルは、それらの表面自体が最適化ターゲットになったときに何が起こるかを定義します。
  • 候補をスコアリングする評価器、回帰スイート、品質ゲートの構築: evaluation
  • LLM-as-judge の設計、ペアワイズ比較、候補スコアリングのバイアス軽減: advanced-evaluation
  • 改善ループを伴わないワンショットトークン効率化、マスキング、キャッシング: context-optimization
  • ループ実行のためのリモートサンドボックスおよびバックグラウンド実行インフラ: hosted-agents
  • ループを構築するかどうか、パイプライン形状、コスト見積もり: project-development
  • ループが最適化する自己編集コンテキスト動作と効率報酬: self-managed-context

中核概念

最適化ラダー

公開されている自己改善システムは、徐々に深いオブジェクトをターゲットにしています:

段最適化対象システム例
1指示プロンプトPromptbreeder, GEPA
2構造化コンテキストACE(箇条書きのプレイブック)
3コンテキスト機構MCE(コンテキストを生成するスキル)
4ワークフローグラフADAS, AFlow
5ハーネスコードSelf-Harness(制限付き自己編集)、Meta-Harness、Darwin Godel Machine
6オプティマイザコードSTOP(改善器が改善器を改善する)

段が上がるごとに、より大きな設計空間とより大きなレバレッジが得られる一方、評価あたりのコストが増加し、悪用可能な表面が広がります。修正を表現できる最も低い段で再発する失敗を修正してください。古いライブラリの失敗は、ワークフローの書き換えではなく、コンテキストの修正です。現在の段の候補間で失敗がクラスタ化し続ける場合にのみ、上位の段に移動してください。

ループは知能そのものではない

再帰的構造は、ベースモデルの品質を両方向に増幅します。強力なモデルで利益を複合させる同じ再帰的改善器の設計は、弱いモデルでは反復を重ねるごとに平均性能を低下させます(claim-self-improvement-capability-threshold 参照)。2つの含意:

  1. 再帰を有効にする前に能力検証を実行します。保持されたタスクセットで固定回数の反復を行い、軌跡が低下する場合にループを純負とカウントします。
  2. 退化した停滞モードを検出します。入力を変更せずに静かに返す壊れた改善器は、集約メトリクスでは安定しているように見えます。スコアだけでなく、編集差分も追跡してください。

ループ外部不変条件

評価器、その計装、権限制御、予算執行は、ループが変更できる表面の外部に存在しなければなりません。文書化された報酬ハッキングはすべてこの不変条件を破りました。エージェントは幻覚検出器が依存するロギングマーカーを削除し、チェックコードがエージェントに見えるとハッキングの頻度が増加しました(claim-self-improvement-visible-evaluator-hacking 参照)。スコアリング関数を見ることができるエージェントは、タイミング関数を上書きし、評価器をパッチして完全なスコアを返すようにしました(claim-self-improvement-scorer-visibility 参照)。

運用ルール:

  • プロンプトテキストに記述された制約は進化によって取り除かれます。予算、権限、サンドボックス境界は、変更可能なプロンプトやハーネスコードではなく、ランタイムで強制してください。
  • 提案者からスコアリング実装を隠してください。スコアとトレースは公開しますが、評価器のソースコードは公開しないでください。
  • OSまたはコンテナレベルでサンドボックス化してください。フレームワークレベルの許可ゲートは、ループが発見するサイドチャネルを通じてバイパスされる可能性があります。
  • 検出されたエクスプロイトは、高いスコアではなく、失敗した候補として扱ってください。そうしなければ、ハックはループを導くメトリクスそのものを膨張させます。

理由ではなく経験的受理

自己修正は測定された証拠に基づいてのみ受理してください。2つの分割を使用します:ターゲットの弱点が解決されたことを確認する保持内分割と、提案者が決して見ることのない、他の何も劣化していないことを確認する保持外分割です。最も厳格な公開ゲートは、どちらの分割も劣化せず、少なくとも1つが厳密に改善した場合のみ受理し、確率的スコアリングの下で評価を繰り返します。これにより、テストされたすべてのベースモデルで保持外の利益が生まれました(claim-self-improvement-two-split-acceptance 参照)。合計が改善しても、一方の分割を他方とトレードオフする候補は拒否してください。拒否された候補は証拠とともに記録し、提案者がそれらを再発見するのを防いでください。

ファイルシステム経験アーカイブ

すべての候補を、そのソース、スコア、生の実行トレースを含むディレクトリとして保存してください。提案者が履歴をコンテキストウィンドウに詰め込む代わりに、検索ツール(ファイルに対するgrepスタイルのクエリ)を使用してアーカイブをナビゲートできるようにしてください。直接アブレーションでは、生トレースへの完全アクセスを持つ提案者は、スコアのみの提案者や、同じトレースのLLM作成サマリーを提供された提案者よりも実質的に優れたパフォーマンスを発揮しました。サマリーは失われたシグナルを回復せず、時には悪影響を及ぼしました(claim-self-improvement-raw-trace-ablation 参照)。アーカイブを事前に要約しないでください。コンテンツではなく、アクセスパスをキュレーションしてください。

多様性の維持

進化的およびRLスタイルのループは、多様性が意図的に組み込まれていない限り、現在の最良の変種に向かって崩壊します。公開システムのアブレーションに耐えたメカニズム:

  • 中核能力を保持するすべての候補のアーカイブを維持します。決して最新バージョンのみを山登りしないでください。ステッピングストーンは発見されてから多くの反復後に報われます。
  • 子孫数で割り引かれた適合度圧で親を選択します。これにより、集中的に採掘された候補の優先度が下がり、すべてのアーカイブメンバーがゼロ以外の選択確率を維持します。
  • 評価コストを支払う前に、埋め込み類似度によってほぼ重複した提案を拒否します。
  • 選択分布にシードまたはブランク候補への永続的なルートバックを維持し、局所最適からの脱出を可能にします。

詳細トピック

失敗駆動型自己編集ループの構造

エージェントが自身のハーネスを改善する最も強力な公開パターンには、3つの段階があります:

  1. 弱みの発掘。 失敗トレースを3つの部分からなるシグネチャでクラスタリングします:検証器レベルの原因(何が拒否されたか)、エージェント動作の因果的状態(実際に責任があったか)、トレースが明らかにする抽象的なメカニズム(再利用可能な行動パターン)。エラー文字列だけでクラスタリングしないでください。タイムアウトは無関係なメカニズムに共通する症状です。アドレス可能性フィルターを適用します。タスクの難易度や能力の限界を反映するクラスター(ハーネスの欠陥ではないもの)を除外します。
  2. 制限付き提案。 提案者に正確に4つの入力を与えます:宣言された編集可能な表面、発掘された失敗パターン、保存すべき合格動作の記録、以前に試みられた編集のサマリー。提案は最小限(1つの表面に触れる)、並列候補間で互いに異なること、および対象パターン、期待される効果、回帰リスクを述べた監査記録を伴うことを要求します。
  3. 検証とマージ。 2分割受理ゲートを適用します。互換性のある受理された編集をマージします。拒否されたものはアクティブなハーネスを変更せずに記録します。すべての遷移は、変更された表面、分割結果、決定を記録し、系統が監査可能であることを保証します。

ハーネスコードのメタレベル探索

実行中のハーネスを内部から編集するのではなく、外部からハーネスプログラム全体を探索する場合:

  • 外部ループを最小限に保ちます。手動調整された突然変異演算子や親選択ヒューリスティックは使用しません。診断と編集の決定は強力なコーディングエージェント提案者に委任します。これにより、コーディングエージェントが改善するにつれてシステムも改善されます。
  • ゼロからではなく、利用可能な最も強力なハーネスから初期化します。勝利する編集は通常、小さく付加的です(環境ブートストラップ、アーティファクト作成命令)。一方、プロンプトや完了フローの書き換えは経験的にリスクが高いです。
  • 実際に重要な目的(精度、コンテキストコスト、レイテンシ)に対するパレートフロンティアを維持し、1つのスカラーに潰さないようにします。
  • 候補ごとに、記録された修正結果を用いて探索メモリを構造化します。全アーカイブを提案者のプロンプトにダンプすると、履歴が増えるにつれて性能が急激に低下します。ノードごとの経験レコードとクレジット割り当ては、アーカイブ・イン・コンテキスト条件付けよりも優れています。
  • 実行モデルが変更されたら探索を再実行します。発見されたハーネスは実行モデルに依存しており、ベースモデル間で自由に転送できません。

自己改善としてのコンテキスト進化

自身を更新するコンテキストプレイブックは、エントリーレベルの自己改善ループであり、2つの名前付き故障モードがあります。簡潔性バイアス:オプティマイザは短く一般的な指示に向かって崩壊し、価値を担っていたドメイン固有のヒューリスティックを落とします。コンテキスト崩壊:モデルに蓄積されたコンテキストを一括で書き換えさせると、一回のステップで壊滅的に縮小し、適応なしのベースラインを下回ります(claim-self-improvement-context-collapse 参照)。機能するパターン:

  • コンテキストを、安定した識別子と有用/有害カウンターを持つ項目別エントリとして表現します。
  • 増分デルタを生成し、決定論的でないモデルロジックによってマージします。キュレーターは決してアーティファクト全体を書き換えません。
  • 埋め込み類似度によって重複を排除します。定期的または遅延的に実行します。
  • メカニズム全体をフィードバック品質でゲートします。信頼できる実行シグナルやラベルがなければ、自己管理コンテキストは静的ベースラインを下回ります。

一段上では、コンテキストを生成する機構(スキル:静的コンポーネントと動的オペレーター)を、生成されたコンテキストとは別にバージョン管理します。検証分割に対してのみ機構を進化させ、各反復は以前の最良アーティファクトとそのロールアウト結果からウォームスタートします。各反復で訓練-検証ギャップを明示的にチェックし、機構の過適合を捕捉します。

人間に属するもの

人間はループから外れるのではなく、スタックを上がります。以下の人間の決定ポイントを予約します:評価器または受理ゲートの変更、編集可能な表面の拡大、発見されたハーネスの本番環境への昇格、研究方向の放棄決定。主に成功した結果で訓練されたモデルは、作業ラインをいつ放棄するかについてのキャリブレーションが不十分です。保存された否定的結果は、後継者の探索空間を削減する最も安価な方法です。失敗した候補を第一級のアーティファクトにしてください。

実践的ガイダンス

ループ準備チェックリスト

以下のすべての項目が満たされるまで、自己修正を有効にしないでください:

  1. 高速で決定論的、自動化可能な評価器が存在すること。評価が遅く、曖昧で、判定者のみに依存するドメインでは、このループファミリーは失敗します。
  2. 提案者が決して見ることのない保持外分割が存在し、ループがそれを過適合させるのに十分な長さ実行される場合はリフレッシュされること。
  3. 予算、権限、サンドボックス化は、すべての編集可能な表面の外側にあるランタイムによって強制されること。
  4. 編集可能な表面が明示的に宣言されていること(マークされた領域または設定ポイント)。他のすべてはロックされ、不変性は各候補の後にプログラム的に再検証されること。
  5. 差分の完全な系統を持つアーカイブが存在すること。監査は適合度シグナルではなく、差分と生トレースを読み取ります。
  6. 評価支出が段階化されていること。完全な評価の前に安価なインターフェースまたはスモークチェックを行い、スコアリングにノイズがある場合は実行を繰り返します。
  7. ベースモデルがこのタスクファミリーで再帰の閾値をクリアすることを示す能力検証実行が行われていること。
  8. 人間の決定ポイントが、評価器の変更、表面の拡大、昇格のために配線されていること。

ループレベルの選択

再発する失敗修正箇所ループパターン
ドメインヒューリスティックの欠如、既知の誤りの繰り返し構造化コンテキスト差分更新付き項目別プレイブック
コンテキストプレイブック自体がタスク間で停滞するコンテキスト機構検証データでスキルを進化させる
誤った順序付け、検証ステップの欠落ワークフローノードごとの経験を持つワークフローグラフの探索
ワークフロー候補間で失敗のクラスターが持続するハーネスコード失敗駆動型制限付き自己編集またはメタレベル探索
改善戦略自体が弱いオプティマイザコード強力なモデルとロックされたメタ評価でのみ

例

例 1: 2分割受理ゲート

def accept(candidate, baseline, held_in, held_out, repeats=3):
    d_in = mean_score(candidate, held_in, repeats) - mean_score(baseline, held_in, repeats)
    d_out = mean_score(candidate, held_out, repeats) - mean_score(baseline, held_out, repeats)
    if d_in < 0 or d_out < 0:
        return False              # どちらの分割も劣化しない
    return max(d_in, d_out) > 0  # 厳密な改善

…

(翻訳のため一部省略)

Individual skills in this repo

This repo contains 19 individual skills — each has its own dedicated page.

advanced-evaluation

This skill should be used for advanced LLM evaluation: LLM-as-judge systems, direct scoring, pairwise comparison, rubric calibration, evaluator bias mitigation, confidence scoring, and automated quality assessment.

bdi-mental-states

This skill should be used when modeling agent mental states with BDI concepts: beliefs, desires, intentions, RDF-to-belief transformations, rational agency traces, cognitive agents, BDI ontologies, and neuro-symbolic AI integration.

book-sft-pipeline

This skill should be used for book-to-SFT pipelines: ePub extraction, literary segmentation, author-voice dataset construction, style-transfer training, LoRA workflows, and model evaluation for voice replication.

comprehensive-research-agent

Ensure thorough validation, error recovery, and transparent reasoning in research tasks with multiple tool calls

context-compression

This skill should be used when long-running agent sessions need context compression, structured summarization, compaction, token-per-task optimization, or durable handoff summaries that preserve decisions, files, risks, and next actions.

context-degradation

This skill should be used for diagnosing and mitigating context degradation: lost-in-middle failures, context poisoning, context clash, context confusion, attention-pattern issues, and agent performance degradation caused by accumulated or conflicting context.

context-fundamentals

This skill should be used to explain or reason about the foundational concepts of context engineering: what context is, the anatomy of a context window, how attention mechanics work, the U-shaped attention curve, why context quality matters more than quantity, and the mental models needed to interpret every other context-engineering decision. Use this for conceptual explanation, onboarding, and background reading. Route operational work to the specialized skills: debugging attention failures goes to context-degradation, token-efficiency work goes to context-optimization, conversation summarization goes to context-compression, and project-shape decisions go to project-development.

context-optimization

This skill should be used for improving context efficiency: context budgeting, observation masking, prefix or KV-cache strategy, partitioning, token-cost reduction, retrieval scoping, and extending effective context capacity without lowering answer quality.

evaluation

This skill should be used when building agent evaluation systems: deterministic checks, regression suites, multi-dimensional rubrics, quality gates, production monitoring, baseline comparison, and outcome measurement for agent pipelines.

filesystem-context

This skill should be used when agent work needs file-backed context: durable scratchpads, tool-output offloading, just-in-time discovery, cross-agent handoff files, filesystem memory, or cleanup policies for context stored outside the prompt.

harness-engineering

This skill should be used when designing autonomous agent harnesses: research loops, evaluation scaffolds, locked and editable surfaces, durable logs, novelty gates, pruning, rollback, PR preparation, and human approval boundaries.

hosted-agents

This skill should be used when designing hosted or background agent infrastructure: sandboxed execution, remote coding environments, warm pools, session persistence, multiplayer collaboration, self-spawning agents, or Modal-style sandboxes.

latent-briefing

This skill should be used when the user asks to "share memory between agents", "KV cache compaction for multi-agent", "orchestrator worker context", "latent briefing", "reduce worker tokens", "cross-agent memory without summarization", or discusses Attention Matching compaction, recursive language models with workers, or token explosion in hierarchical agents.

long-horizon-prompting

This skill should be used when writing, enhancing, or evaluating the launch prompt for a long-running autonomous agent or a parallel multi-agent orchestration attacking a hard problem: pseudo-formal task briefs that define terms and an exact success predicate linguistically, enumerate non-counting outcomes, set persistence rules with explicit stop and return conditions and effort floors, manage a diverse portfolio of parallel approaches with an approach registry and blocked-route bookkeeping, and gate the return on adversarial audit. Route agent topology and coordination protocols to multi-agent-patterns, runtime control surfaces and loop governance to harness-engineering, evaluator and quality-gate construction to evaluation, judge design to advanced-evaluation, and compaction or memory mechanics to context-compression and memory-systems.

memory-systems

This skill should be used for persistent semantic memory in agent systems: cross-session knowledge retention, entity tracking, temporal validity, graph or vector retrieval, memory consolidation, and memory benchmark selection. Route file-backed scratchpads to filesystem-context, handoff summaries to context-compression, and token-efficiency tactics to context-optimization.

multi-agent-patterns

This skill should be used when designing multi-agent systems that need context isolation, supervisor or swarm coordination, explicit handoffs, parallel execution, or a decision on whether multiple agents are justified.

project-development

This skill should be used for project-level decisions about LLM-powered systems: whether an LLM is the right primitive for the task at hand, the shape of a multi-stage batch or agent pipeline, token and cost estimation, choosing between single-agent and multi-agent at the project level, structured output design for downstream parsing, and structuring agent-assisted iteration. Use this when the unit of work is a whole project or a multi-stage pipeline. Route individual tool design to tool-design and individual skill-loading or context-budget tactics to context-optimization.

self-managed-context

This skill should be used when a model gets read-write control over its own live context window instead of a harness-scheduled compaction policy: the context exposed as an editable file the model rewrites with code tools, model-driven eviction and in-place updates, the harness invariants that keep self-editing safe (pinned prefix, edit gate, edit receipts, budget readouts, rollback on overflow), the prefix-cache cost of mid-context edits, and steering or training the model's own context-editing strategy. Route note content and fixed-threshold summarization to context-compression, cache-stable layout under harness control to context-optimization, file offloading to filesystem-context, and loop governance to self-improvement-loops.

tool-design

This skill should be used for the tool-interface layer of an agent system specifically: writing tool descriptions agents can route on, designing tool schemas and response formats, naming conventions, actionable error recovery messages, MCP server design, tool-set consolidation, and deciding when to add or remove an individual tool. Use this when the unit of work is a single tool or a set of tools. Route project-shape, pipeline architecture, and task-model-fit decisions to project-development; route deciding whether to introduce sub-agents to multi-agent-patterns.

関連スキル