실험 설계
먼저 docs/prd.md의 1절을 읽으십시오. RQ1이 주력이며, RQ2와 RQ3는 후순위로 미뤄집니다.
사전등록 체크리스트 (첫 번째 실행 전에 커밋)
- 질문, 가설, 그리고 이를 반증할 결과.
- 처리군(arm) 및 주요 대비(RQ1: 커널 허용(kernel admission) 대 더 나은 프롬프트 처리군).
- 기본 마을은 포크(fork, ADR-0003)까지 방어 없이 실행됩니다. 포크 시점에 커널 규칙이 거부했을 핵심 항목 및 공유 항목의 비율을 보고하십시오.
- 분석 단위: 마을 또는 짝지어진 블록(paried block). 블록, 포크 및 그 개수(파일럿에서 결정).
- 측정치, 각 측정치의 코딩 방법, 코딩 주체(눈가림 평가자(blinded judge) 및 인간이 검증한 표본).
- 모델 구성, 고정된 스냅샷 ID, 라우팅된 공급자, 폴백(fallback) 해제, 함께 시작된 처리군.
- 심어진 사실(planted facts): 가상 개체만 사용하며, 그럴듯함(plausibility)과 심는 자의 지위(planter status)는 상쇄(counterbalance)합니다.
- 탐색적 처리군(예: F, 기성 메모리(off-the-shelf memory))은 탐색적이라고 표시하고, 주요 대비 및 다중성 보정(multiplicity correction)에서 제외합니다.
- 통제 조건: 인식 점검(awareness probe), 프롬프트-의역 통제(prompt-paraphrase control), 볼륨 일치 무작위 블록 통제(volume-matched random-block control).
- 충돌한 마을에 대한 제외 규칙, 중단 규칙(stopping rule), 폐기된 모델을 위한 계획.
- 분석: 블록 내 짝지어진 차이(paired within-block differences), 구간이 포함된 효과 크기(effect sizes with intervals), 다중 비교 보정, 검정력 추정치 및 파일럿 결과로 재계산하는 방법.
- 지지 및 반증 조건을 사전에 작성합니다.
통계 관련 참고사항
- 정확 순열 검정의 하한은 처리군당 4개일 때 약 0.029, 3개일 때 약 0.10이므로, 짝짓지 않은(unpaired) 소규모 설계로는 유의성에 도달할 수 없습니다. 짝지어진 포크(paired forks)가 검정력을 높이는 도구입니다.
- R0는 일별 해상도에서 감염 가능자가 7명일 때 정의되지 않습니다. 사용하지 마십시오.
- 음수 결과를 보고하십시오.
절차
- 체크리스트를 바탕으로
experiments/<rq>/PREREGISTRATION.md를 작성하고 소유자의 검토를 받습니다. - 2-블록 파일럿을 실행합니다. 분산, 포크 상관관계(fork correlation), 코딩 신뢰도, 시민 1인당 1일 비용을 기록합니다.
- 설정을 고정(해시 고정, hash-pinned)하고 OSF에 등록한 후 실행합니다.
- 사전등록된 대로 정확히 분석합니다. 변경 사항은 날짜가 기재된 수정안(amendment)에 기록합니다.
docs/HANDOFF.md를 업데이트합니다.