iterate은(는) 무엇을 하나요?
누구나 다시 실행하고 비교 가능한 결과를 얻을 수 있는 라운드로 무언가를 더 좋게 만듭니다. 작업 단위는 테스트 흐름입니다: 하나의 관점과 그것이 판단하는 대상입니다. 각 라운드마다 새로운 평가자가 흐름을 실행하고 흐름의 루브릭에 따라 점수를 매깁니다. 사용자는 범위 내에서 수정하고, 확인하고, 기록하고, 다시 진행합니다. 라운드는 비교 가능성을 유지합니다. 각 흐름은 첫 라운드 전에 작성되고, 모든 평가자는 동일한 브리핑으로 처음부터 시작하며 이전 점수를 보지 못하고, 모든 라운드는 흐름의 기준선에 대해 기록되기 때문입니다. 점수는 동일한 흐름 내에서만 비교 가능하므로, 여러 관점을 다루려면 흐름당 한 번씩 이 스킬을 실행하세요.
사용자가 결정하는 모든 것은 Step 1에서 이루어집니다. 그 후 실행은 자동으로 진행됩니다: 예산이 허용하는 한 Step 7의 중지 규칙이 실행을 종료할 때까지 중간 확인 없이 라운드가 연속으로 실행됩니다. 소유자를 위한 모든 것은 최종 요약을 기다립니다.
반복 개선은 전송, 게시, 커밋 또는 실제 사용자 데이터를 건드리는 행위를 절대 승인하지 않습니다. 라이브 페이지 배포와 같이 이미 사용 중인 것에 도달하거나 도달할 수 있는 수정은 게시로 간주됩니다: 이는 Step 1에서 사용자가 허용한 경우에만 발생합니다.
요청 분류
단일 결함을 제외한 모든 경로에 대해 templates.md를 로드하세요. 사양을 찾으세요: 대상 옆에 iterate.md 또는 <thing>.iterate.md가 있거나, 사용자가 지정한 곳에 있습니다. 실행 로그는 iterate-log.md 또는 <thing>.iterate-log.md로 그 옆에 있습니다.
| 요청 | 수행할 작업 |
|---|---|
| 사양 없음 | Step 1 전체 실행 |
| 사양은 있지만, 이 흐름에 대한 섹션이 없음 | 흐름에 대해서만 Step 1 실행: 사양의 공유 부분 재사용 |
| 이 흐름이 포함된 사양 있음 ("다시 실행") | 재실행 열이 있는 Step 1 실행, 그 다음 Step 2의 "흐름 재실행" |
| 진행 중인 실행 ("계속", 실행 상태가 종료되었다고 표시되지 않음) | 사양 업데이트 (Step 2), 실행 상태 및 최신 항목 읽기, Step 7의 중지 규칙 확인, 해당 사항 없으면 Step 4부터 계속 |
| "X 검토", "X 문제점", 또는 대상이나 라운드 없이 명명된 렌즈 ("스타일링 검토") | 보고서 전용 예산으로 Step 1 실행: 1라운드, 수정 없음 |
| 라운드 없이 "이것을 더 좋게 만들어" | Step 1 실행, 기본 예산에 가장 적합한 흐름과 대안으로 단일 패스를 제공 |
| 명확한 완료 상태의 단일 결함 | 한 줄로 이것이 iterate 작업이 아님을 설명하고, 평소처럼 재현, 수정 및 확인합니다. 라이브 대상에 수정 사항을 배포하려면 여전히 승인이 필요합니다. 사양이 존재하면, 이를 포착할 검사 항목을 사양의 체크 목록에 추가하고, 대상에 자체 테스트 도구가 있으면 거기에도 추가하겠다고 제안합니다. |
둘 이상의 행이 일치하는 경우, 일치하는 모든 열이 묻는 모든 필드를 질문하되, 사양이 이미 답변한 내용은 건너뜁니다. 한 열이 필드를 좁히는 경우 ("새로운 경우", "누락된 경우", "범위 내 변경", "보고서 전용"), 좁은 형식이 우선합니다: 대상이나 라운드 없이 명명된 검토는 사양에 흐름이 없더라도 보고서 전용이므로, 대상이나 게시를 묻지 마십시오. 보고서 전용 실행은 여전히 흐름의 섹션, 브리핑 및 로그를 작성합니다. 단일 패스는 새로운 평가자가 아닌 사용자가 직접 수행하며, 사양, 브리핑, 로그 또는 점수가 없습니다: 일치하는 카드의 질문에 대해 대상을 한 번 검토하고, 사용자가 변경을 요청한 경우 직접 수정하고 (그렇지 않으면 보여줍니다), 나머지는 제안으로 나열합니다. 그 안전장치는 기본값입니다: 표현, 순서, 레이아웃, 레이블, 예시 및 기존 지침 명확화는 직접 수정 사항입니다. 콘텐츠, 범위, 정책, 지침이나 단계의 추가 또는 제거는 제안 사항입니다.
Step 1: 흐름과 목표 선택
templates.md에서 Step 1 메시지를 보냅니다: 경로가 사용하는 모든 필드와 노트에 따라 채워지거나 초안이 작성된 하나의 메시지입니다.
메시지에 질문이 없더라도 사양을 작성하기 전에 답변을 기다립니다.
Step 2: 사양 작성
사양은 개선되는 대상에 속하며, 이 스킬에 속하지 않습니다: iterate 실행은 이 스킬의 파일을 변경하지 않습니다. 대상을 가진 사람이라면 누구나 찾을 수 있는 곳에 보관하세요: 독립적으로 공유되는 아티팩트 내부나 옆, 문서 옆, 페이지 소스 옆. 이름을 iterate.md 또는 해당 이름이 사용 중이거나 폴더에 다른 항목이 있는 경우 <thing>.iterate.md로 지정하고, 실행 로그는 이름에 -log를 추가하여 별도의 파일에 보관하세요. 평가자는 사양을 읽고 로그를 읽지 않으므로 이전 점수를 볼 수 없습니다. 작성 가능한 대상 옆에 폴더가 없거나, 그곳의 파일이 대상을 설치하는 모든 사람에게 배포되는 경우 두 파일의 위치를 묻습니다.
사양 및 로그 골격을 복사한 다음, 카드에서 흐름 섹션을 채웁니다: 시나리오, 질문, 앵커 및 정의와 함께 하위 점수. 렌즈의 경우 4~8개의 시나리오 또는 최대 12개를 사용합니다. 새로운 흐름이 공유된 "범위 내"가 다루지 않는 것을 판단하는 경우 확장합니다. 각 평가자는 여전히 해당 흐름의 "누가 및 무엇을"이 다루는 것만 판단합니다.
각 흐름의 섹션은 첫 라운드 전에 작성하고, 의도적으로만 변경합니다. 시나리오, 질문, 루브릭, 평가자 또는 브리핑의 변경은 비교 가능성의 단절입니다: 이를 기록하고, 그 후 첫 번째 점수가 매겨진 라운드를 새로운 기준선으로 만듭니다. 기준선은 최고 점수를 설정하고, 영향력이 큰 [직접] 발견 사항 중 하나를 적용한 경우에만 진전이 이루어지며, Step 7의 규칙 3 창을 다시 시작합니다. 확정된 결정을 추가하는 것은 단절이 아닙니다.
흐름 재실행. 흐름 섹션이 이미 존재하는 경우 다시 작성하지 마십시오.
- Step 1에서 "다루지 않음" 항목을 다루는 것은 일반적으로 새로운 시나리오를 의미하며, 이는 단절입니다.
- 사양을 최신 상태로 만듭니다 (아래 참조). 시나리오와 질문은 그대로 유지됩니다. 카드와의 차이는 Step 1 메시지에서 제안으로 이동합니다.
- 실행 상태를 최신 기준선 이후 최고 점수를 유지하면서 (또는 항목 2가 단절을 기록한 경우 "아직 없음") 이번 실행의 예산으로, 사용된 라운드 수 없이 설정합니다. Step 4로 이동하여 마지막으로 기록된 라운드 다음 라운드 번호를 매깁니다.
사양을 최신 상태로 만듭니다. 재실행 또는 진행 중인 실행에서, 사양에 없는 골격이 요청하는 내용을 채우고, 다음 라운드 전에 하나의 항목으로 모두 기록합니다.
- 추가 사항, 단절이 아닌 경우: 누락된 카드, 목표, 게시 라인 (이를 결정하는 모든 라인에서), 대상에 도달하는 방법, 또는 브리핑. 누락된 평가자: 세션 모델의 하나, 별칭 및 노력으로 작성됨. 프롬프트 드라이 런의 경우, 대상이 하나를 지정하면 프로덕션 모델. 로그에서 "소유자 보류 중"으로 표시된 확정되지 않은 결정. 사양 내부의 로그를 자체 파일로 이동. 누락된 실행 상태를 항목에서 작성. 누락된 시작 버전: 기록에 있는 경우 기준선 수정 전 버전. 그렇지 않으면 비교를 실행할 수 없음을 기록. 기록된 브리핑이 없는 이전 라운드는 느슨하게만 비교합니다.
- 단절: 누락된 앵커, 하위 점수 정의, 또는 루브릭의 "판단, 평균 아님" 라인. 앵커와 루브릭 라인을 카드에서 가져옵니다. 흐름 자체의 하위 점수 이름을 유지하고, 이름이 일치하는 경우 카드의 정의 또는 이름이 일치하지 않는 경우 가장 가까운 카드 질문에서 작성된 한 줄 정의를 사용합니다. Step 1 메시지에 표시합니다.
Step 3: 픽스처 및 검사 설정
픽스처와 검사는 흐름 간에 공유됩니다: 한 번 설정하고 새로운 흐름에 더 필요한 경우 확장합니다. 새로운 검사가 필요한 흐름의 다음 라운드 항목에 새로운 검사를 기록합니다.
- 픽스처: 평가자가 실제 항목을 건드리지 않고 필요한 모든 것: 모든 필드가 채워지고 테스트로 태그된 테스트 레코드, 샘플 입력, 스크래치 폴더, "N일 기준 보기" 컨트롤. 프롬프트의 경우 가정하는 사실과 이름을 포함합니다. 짧은 입력은 사양에, 긴 입력은 경로로 명명된 별도 파일에 보관합니다. 제작된 콘텐츠는 제작된 것으로 표시합니다. 실제 레코드는 사용 불가로 명명하고, 라운드 간에 픽스처를 재설정하는 방법을 설명합니다.
- 검사: 평가자 없이 스크립트나 빠른 확인으로 해결할 수 있는 모든 것: 렌더링된 값, 날짜, 작동하는 링크, 필수 섹션 존재, 유효성 검사 매니페스트. 해당하는 것이 없으면 "없음"과 그 이유를 작성합니다. 모든 라운드 전에 실행합니다. 실패한 검사는 점수가 매겨질 발견 사항이 아니라 수정해야 할 버그입니다.
Step 4: 라운드 실행
실행의 첫 라운드 전에, 보고서 전용을 제외한 모든 경로에서 Step 7 비교를 위한 대상의 시작 버전을 저장합니다: 이미 존재하는 커밋, 실행 스크래치 폴더의 복사본, 또는 복사가 불가능한 경우 스크린샷. 모든 라운드 전에 검사를 실행하고 사양에 따라 픽스처를 재설정합니다. 그런 다음 이전 라운드를 보지 않은 새로운 서브에이전트에게 브리핑하여, 기억이 아닌 현재 대상을 판단하도록 합니다.
평가자. 기본적으로 하나: 세션 노력의 세션 모델. 패널은 최대 3개이며, 모두 세션 모델 제품군 및 세션 노력에서 제공 (사용자가 달리 명시하지 않는 한). 2개는 다음 하위 모델을 추가합니다. 3개는 전체 제품군을 사용합니다 (가장 큰 것부터):
| 도구 | 모델, 가장 큰 것부터 |
|---|---|
| Claude Code | opus, sonnet, haiku (버전 번호가 아닌 이 별칭 사용) |
| Codex | Sol, Terra, Luna |
사용자가 패널을 직접 지정할 수 있습니다. 해결된 별칭과 노력 (예: opus, 높음)을 사양의 평가자 라인에 기록하여, 다른 세션의 재실행에서 동일한 설정을 사용하도록 합니다. 프롬프트 드라이 런은 프로덕션 모델도 기록합니다 (해당 카드 참조). Fable은 기본적으로 추가되지 않습니다: 사용자가 지정하거나 세션이 Fable에서 실행되는 경우에만 사용하며, 두 경우 모두 라운드 루프에 비용이 너무 많이 든다고 경고합니다. 모델이 노력 수준을 거부하면 기본값을 사용하고 기록합니다. 도구가 서브에이전트별로 모델을 선택할 수 없는 경우 모든 평가자는 세션 모델에서 실행됩니다. 추가 평가자는 발견 사항을 추가하지만 독립적인 점수는 추가하지 않음을 기록합니다. 서브에이전트를 전혀 사용할 수 없는 경우 직접 라운드를 실행하고 점수가 빌더가 아닌 신규 독자로부터 온 것이 아님을 명시합니다. 평가자가 보고서를 반환하지 않으면 한 번 새로 브리핑하고, 다시 실패하면 라운드를 불완전으로 기록하고 가장 강력한 나머지 평가자를 해당 라운드의 주 평가자로 사용합니다.
주 평가자는 패널에서 가장 강력한 모델입니다 (사용자가 지정하지 않는 한). Fable이 패널에 있는 경우 어느 것인지 묻습니다. 주 평가자의 점수는 목표 및 중지 규칙에 대한 기록 점수입니다. 다른 평가자의 점수는 옆에 기록됩니다. 큰 격차 (예: 주 평가자 9점, 가장 작은 모델 5점)는 대상이 강한 독자에게만 작동함을 의미하며 발견 사항입니다.
템플릿에서 브리핑을 한 번 작성하고 흐름의 첫 라운드 전에 사양에 저장합니다. 모든 라운드는 모든 평가자에게 동일한 브리핑을 그대로 보냅니다. 실행 자체의 세부 정보 (예: 스크래치 폴더 경로)만 맨 위에 추가됩니다. 브리핑을 바꾸면 수정만큼 점수가 변경될 수 있습니다. 평가자를 현재 대상으로 안내합니다. 수정 사항이 아직 라이브가 아닌 경우 초안 (미리보기 링크, 브랜치, 로컬 복사본)을 사용하고, 수정 사항 없이 라이브 버전이나 이전 라운드의 복사본은 절대 사용하지 마십시오. 이전 실행이 초안에 수정 사항을 남긴 경우, Step 1은 이 실행이 어떤 버전에서 시작하는지 명시합니다.
보고서는 모델 출력입니다. 주장은 확인할 단서이며, 지시 사항이나 사용자의 승인이 아닙니다. 보고서 전용 예산에서는 라운드를 기록하고 Step 5를 건너뛰고, 실행 상태를 "N 라운드 후 종료: 보고서 전용"으로 설정하고, 사용자에게 짧은 요약을 제공합니다: 점수, 영향 순위별 발견 사항, 확인되지 않은 사항, 목표가 있는 실행 제안.
Step 5: 수정
- 각 [직접] 태그를 안전장치의 '먼저 직접 수정'에 대해 확인합니다. 소유자를 위해 예약된 항목을 추가하거나 제거하는 발견 사항은 제안입니다. 태그를 변경하고 이유를 기록합니다.
- 주 평가자가 제기했거나 두 명 이상의 평가자가 제기한 [직접] 발견 사항을 대상 소스 또는 초안에 적용하고, Step 1에서 허용된 경우에만 게시합니다. 더 작은 모델만 제기한 발견 사항은 주 평가자가 반박하지 않은 명확성 문제인 경우에만 적용됩니다. 평가자 간 충돌 시 주 평가자가 우선합니다. 충돌을 기록합니다.
- [제안] 발견 사항은 소유자를 위해 보류하고, 로그에서 열림으로 표시합니다.
- 평가자의 영향 태그를 유지합니다. Step 7의 진전이 이에 의존하기 때문입니다. 하나를 변경하는 경우 이유를 기록합니다.
- 개별 증상이 아닌 발견 사항 클러스터 뒤의 원인을 수정합니다. 세 곳에서 개수가 일치하지 않으면 하나의 소스를 제공합니다.
- 평가자가 라운드 간에 동의하지 않는 경우, 소유자의 명시된 의도에 가장 가까운 버전을 유지하고, 미결 결정으로 기록하고, 사양의 확정 결정에 "소유자 보류 중"으로 표시하여 이후 라운드에서 점수를 매기지 않도록 합니다. 브리핑이 해당 섹션을 가리키므로 이는 단절이 아닙니다. 앞뒤로 왔다 갔다 하지 마십시오.
- 한 흐름에 대한 수정이 다른 흐름에 해를 끼칠 수 있습니다 (예: 스타일링 점수를 높이지만 신규 사용자에게 다음 단계를 숨기는 더 조밀한 레이아웃). 이를 기록하여 다른 흐름의 다음 실행에서 확인하도록 합니다.
- 모든 수정 사항을 직접 확인하고, 모든 변경 후에 검사를 다시 실행합니다. 검사가 수정을 확인할 수 없는 경우 (예: 프롬프트 출력), 영향을 받는 시나리오를 직접 다시 실행합니다. 평가자가 수정되었다고 말하는 것은 인정되지 않습니다.
Step 6: 라운드 기록
로그 골격이 나열하는 필드를 사용하여 실행 로그의 흐름 섹션에 항목을 추가합니다. 흐름의 첫 번째 점수가 매겨진 라운드는 기준선입니다.
로그를 라운드 전에 읽을 수 있을 정도로 짧게 유지합니다. 전체 기준선과 최근 세 라운드; 각 이전 라운드는 한 줄 (날짜, 점수, 진전, 주요 변경 사항); 소유자가 결정할 때까지 미결 제안은 전체. 그런 다음 로그에서 흐름의 실행 상태 라인을 업데이트합니다.
Step 7: 반복 또는 중지
새로운 평가자와 함께 Step 4~6을 반복합니다. 중간 확인 없이 아래 중지 규칙 중 하나가 충족될 때까지. 진전이 없는 라운드는 자체적으로 실행을 종료하지 않습니다. 라운드는 주 평가자의 지금까지 최고 점수가 상승하거나, 영향력이 큰 [직접] 발견 사항 중 하나 이상을 적용할 때 진전을 이룹니다. 기준선은 상승으로 계산하지 않고 최고 점수를 설정합니다. 점수는 정수입니다.
각 라운드 후에 실행 상태 라인과 라운드 항목을 읽고, 다음 중 하나라도 해당되면 실행을 종료합니다:
- 목표 도달: 주 평가자의 점수가 목표 이상입니다.
- 예산 소진.
- 진전 없음: 이번 라운드를 포함한 최근 N 라운드 중 어느 것도 진전을 이루지 못했습니다. 예산이 5 이하인 경우 N은 2, 그렇지 않으면 예산의 10분의 1을 올림하고 최소 3: 예산 100의 경우 10 라운드. 이 규칙은 최신 기준선 이후 N 라운드가 점수가 매겨질 때까지 적용될 수 없습니다.
- 정체 점수: 주 평가자의 점수가 마지막 N 라운드 동안 변하지 않았습니다 (N은 규칙 3과 동일). 단, 점수가 목표 이상인 경우 규칙 1이 우선합니다.
- 사용자 중지: 사용자가 "중지" 또는 동등한 표현을 합니다.
- 단일 라운드: 예산이 1이고 보고서 전용이 아닌 경우, 첫 번째 라운드 후 종료합니다.
Step 8: 최종 요약 제공
로그에 최종 실행 상태를 기록하고, 사용자에게 다음을 포함한 요약을 제공합니다:
- 결과: 최종 점수, 목표, 사용된 라운드 수.
- 진전: 각 라운드의 점수와 주요 변경 사항 요약.
- 미결 사항: 소유자의 결정을 기다리는 열린 제안 목록.
- 다음 단계: 추가 실행, 다른 흐름, 또는 특정 발견 사항 해결을 위한 제안.
실행 중에 기록된 모든 결정을 사양의 확정 결정 섹션에 추가합니다.