実験ナラティブ
目的
実験ログ、表、プロットから透明性のある結果ナラティブを作成します。
このスキルは意図的に範囲を絞っています。欠落した証拠を必要とする作業を完了したかのように偽装するのではなく、レビュー可能なアーティファクトを生成します。
必須入力
まず、仮説、セットアップ、メトリクス、結果、アーティファクト、制限事項を収集することから始めます。
必須入力が不足している場合は、それを要求するか、結果として生じる仮定を明示的に示します。事実のギャップをもっともらしい詳細で埋めることは決してしないでください。
ワークフロー
- まず仮説と比較対象を述べます。
- 結果を解釈するために必要なセットアップの詳細のみを説明します。
- 解釈の前に効果量と不確実性を報告します。
- 各結論をアーティファクトに関連付けます。
- 失敗した実行と境界条件を含めます。
アウトプット契約
返却内容: 観察、解釈、制限事項を分離した結果セクション。
3つのレイヤーを分離して維持します:
- ソース事実: 提供または観察されたもの。
- 推論: 事実がどのように整理または解釈されたか。
- 決定: ユーザーが承認、変更、または検証すべきもの。
品質ゲート
納品前に以下を確認します:
- ベースラインと評価の分割が明確である。
- メトリクスが結果の前に定義されている。
- 結論が実験範囲を超えていない。
チェックに失敗した場合は、暗黙のうちに基準を引き下げるのではなく、ギャップを報告します。
例の形
ランキング実験のナラティブは、オフラインのゲイン、信頼区間、および不足しているオンライン検証を報告します。
境界
- 名前、測定値、引用、許可、成果をでっち上げないでください。
- 機密またはセンシティブな素材は、タスクに必要な範囲に限定してください。
- 広範な汎用的アドバイスのリストよりも、小さくテスト可能なアーティファクトを優先してください。