MaDxCRaZY/antigravity-skills

実証的ベンチマーク＆テレメトリプロトコル

/benchmark コマンドは実証的検証を強制します。エージェントは理論的な主張や推定値を受け入れるのではなく、実行可能なテストハーネスを構築し、ヘッドレスで実行し、実際のハードウェア性能指標を測定しなければなりません。

---

ベンチマークガイドライン

1. アドホックハーネス合成:

   • テストスクリプトまたはマイクロベンチマークを <appDataDir>/brain/<conversation-id>/scratch/ （または指定されたベンチマークディレクトリ）に記述します。
   • サンプリング前に実行ランタイムをウォームアップします。
   • 複数回の反復（ワークロードの期間に応じて最低10～50回）を実行し、統計的に信頼性の高いパーセンタイル（p50、p90、p99）を確立します。

2. ハードウェアテレメトリ測定: run_command を介してヘッドレスで実行し、以下をキャプチャします:

   • レイテンシ: ウォールクロック実行時間（ms/µs）。
   • スループット: 1秒あたりの操作数 / 1秒あたりのフレーム数 / 1秒あたりのバイト数。
   • メモリ: ピーク常駐セットサイズ（RSS）、アロケーションチャーン、ヒープフットプリント。
   • 障害率: ストレス下でのエラーカウントまたはタイムアウト発生回数。

3. 比較マトリックス: ベースラインと候補を比較した、サイドバイサイドの実証レポートを常に生成します:

   メトリック	ベースライン	候補	変化量（％変化）	信頼性
   中央値レイテンシ（p50）	...	...	...%	p < 0.01
   テールレイテンシ（p99）	...	...	...%	p < 0.01
   ピークメモリ（RSS）	...	...	...%	検証済み
   スループット	...	...	...%	検証済み

4. 推測の絶対禁止: ベンチマークスクリプトを実行し、生の再現可能なコンソール出力を報告することなく、関数が「最適化された」と宣言してはなりません。

---

プロンプト例

/benchmark 現在のマージソートの実装を最適化します。ベースライン（元のコード）と候補（最適化後）の両方のレイテンシ、メモリ使用量、スループットを測定し、統計的な比較を提供してください。