게이티드 빌드 — 적대적 다중 에이전트 구축
'그럴듯한 오류'가 큰 비용을 초래하는 작업을 위한 것입니다. 아무리 훈련된 에이전트라도 자신의 오류를 확실히 잡아낼 수 없습니다. 오류를 만든 맹점이 그 오류를 다시 검토하기 때문입니다. 품질은 독립성에서 비롯됩니다: 'NO-AGREE'라고 말하는 것이 임무인 두 번째 에이전트가 모든 단계를 면밀히 검토하여 명시적인 'APPROVED'를 받을 때까지 계속합니다.
경제성: 에이전트가 읽는 모든 것(명세, 메모, 검토 프롬프트)을 압축하여, 반대 의견을 제시할 두 번째 에이전트를 사용할 여유를 만듭니다. 효율성이 중복성을 뒷받침합니다.
1. 역할 구성
세 가지 역할: 오케스트레이터(앵커 문서 보유, 다른 역할 구성, 통합), 작성자(코드/설계 초안 작성), 검토자('APPROVED'가 나올 때까지 면밀히 검토). 작업에 따라 구성하며, 습관적으로 고정하지 않습니다:
| 작성자 | 검토자 | 시기 |
|---|---|---|
| 프론티어 에이전트 (전체 repo 컨텍스트) | 교차 제공업체 프론티어 에이전트 | 설계 위주, 고위험 빌드 — 핵심 패턴 |
| 외부 CLI 에이전트 (예: Codex) | 오케스트레이터 자체 | 기계적 대량 타이핑; 오케스트레이터가 컨텍스트와 판단력을 가짐 |
| 로컬 모델 (Ollama 급) | 오케스트레이터 | 제한된 명세로부터 비용 제로 함수 수준 초안 작성 |
| 저비용 하위 에이전트 | 주력 모델 | 계열 내 경제성: 저렴한 손, 비싼 판사 |
실행 바인딩 — 각 구성은 사용 중인 실행 환경에 구체적인 전송 방식을 필요로 합니다. 있는 것을 활용하고 새로운 파이프라인을 발명하지 마십시오:
- 로컬 모델 작성자 →
rjv-ollama-delegate기술 (번들 실행기, 프롬프트 작성 규칙, 검증 필수 사항 포함). - 외부 CLI 작성자/검토자 (Codex 급) → 해당 에이전트 플러그인 또는 얇은 Bash 전달 하위 에이전트 (예: Claude Code의 Codex 구조 하위 에이전트) — 하나의 호출 입력, stdout 출력, 전달자 자체는 가능한 가장 저렴한 모델 사용.
- 계열 내 저비용 작성자 → 모델을 명시적으로 설정한 하위 에이전트 생성 (§7 참조).
구성을 계획에 기록하십시오. 구성은 빌드 시작 시 한 번만 이루어지며, 앵커 계획의 ## Cast 섹션(rjv-feature-workflow 참조)에 기록됩니다: 오케스트레이터, 작성자, 검토자, 하위 에이전트 계층, 인간 게이트 — 모델 이름을 명시적으로 포함합니다. 재개 시마다 구성을 읽고 해당 역할을 수행합니다. 게이티드 루프는 누가 승인할지 다시 협상하지 않습니다. 재구성은 이유를 포함한 기록된 결정(Decision)입니다.
두 가지 엄격한 구성 규칙 (증거 기반, 절대 어기지 말 것):
- 검토자는 작성자보다 최소한 동등하거나 더 강력해야 합니다. 검토자의 강점이 품질의 원천이며, 작성자의 강점은 단지 타이핑 속도일 뿐입니다. 약한 모델은 아무것도 검토하지 않습니다 — 테스트 결과: 출시된 코드에서 실제 버그를 찾도록 요청했을 때, 35B 로컬 모델이 "버그 없음"이라고 말했습니다.
- 검토에는 교차 제공업체를 선호하십시오. 서로 다른 모델 제품군은 서로 다른 실패 모드를 놓칩니다. 동일 제품군 검토는 작성자의 맹점을 그대로 이어받습니다.
인간도 검토자입니다. 실제 실행에서, 사용자가 두 프론티어 모델이 네 번의 검토 라운드 동안 모두 놓친 허점(브로커 지연 시간)을 발견했습니다. 단계 경계에서 인간에게 설계를 공개하십시오. 인간의 도메인 경험은 모델의 사전 지식보다 우선합니다. 인간의 실제 증거가 설계와 모순될 경우, 설계는 즉시 업데이트되고 그 사실을 명시해야 합니다.
2. 코드 작성 전에 SPEC을 검토하십시오
가장 큰 효과를 볼 수 있는 검토는 구현 전에 이루어집니다. 원본 프로젝트에서, 검토자가 설계에 대한 1라운드 판정은 "작성된 대로 구축 불가능"이었습니다 — 10개의 순위가 매겨진 공격 시나리오 중 8개가 유효했습니다. 코드 작성 전에 수정하는 것은 문서를 다시 쓰는 비용이 들었지만, 코드 작성 후였다면 빌드 전체의 비용이 들었을 것입니다.
- 명세/설계를 검토자에게 보내며: "이 설계를 공격(ATTACK)하십시오. 실패 시나리오를 순위별로 나열하십시오. 판정: AGREE / NO-AGREE (차단 사항 포함)."
- 명세 → 공격 → 수정을 'AGREE'가 나올 때까지 반복하십시오. 각 라운드를 앵커 문서에 기록하십시오 (v1 → v2 → v2.1 …), 어떤 이의가 타당성에 의해 수용되었고 어떤 이의가 이유와 함께 거부되었는지 명시하십시오.
- 'NO-AGREE'라고 말하지 않는 검토자는 검토하지 않는 것입니다. 모든 라운드가 즉시 승인된다면, 프롬프트를 개선하거나(§4 참조) 구성을 변경하십시오.
3. 게이티드 루프 (구현 단계별)
명세 체크포인트 → 구현 → 자체 검토 + 스모크 테스트 → 검토자 검증 → 수정 → 재검증 … → APPROVED → 커밋 → 다음 단계
- 명세 우선. 단계의 승인 기준을 코딩하기 전에 앵커 문서에 작성하십시오. 코딩 중에 발명된 명세에 대해 스스로 평가하는 것은 버그를 축복하는 방법입니다.
- 자체 검토 + 일회용 스모크 테스트를 넘기기 전에 수행하십시오. 사소한 버그를 저렴하게 잡아서 검토자의 라운드가 미묘한 버그에 집중할 수 있도록 하십시오.
- 명시적인 'APPROVED'가 나올 때까지 검증하십시오. 한 번의 왕복은 검토가 아닙니다.
- 보류하고, 도장 찍지 마십시오. 단계당 검증 라운드 수를 제한하십시오 (~6회). 여전히 차단됨 → 열린 차단 사항을 앵커 문서에 기록하고 해당 단계를 중지(STOP)하십시오. 의도적인 "보류됨, 이유는 여기에"는 가짜 승인보다 낫습니다 — 금전이나 안전이 걸린 경우 양보할 수 없는 원칙입니다.
- 살아있는 계획 / 역추적. 검증이 이전에 승인된 단계를 무효화하는 경우: 해당 단계를 다시 열고, 수정하고, 재테스트하고, 재검증하고, 역추적을 기록(LOG)하십시오. 잠긴 잘못된 단계는 다시 열린 단계보다 더 나쁩니다.
4. 검토자 운영 — 프롬프트 규칙
- 검토만. 첫 줄: "검토만 — 파일을 수정하지 말고, 구현하지 마십시오." 검토자는 읽고, 추론하고, 투표합니다.
- 검토자가 아닌 당신이 테스트를 실행하십시오. 검토자 샌드박스는 실행 시 멈출 수 있습니다. 직접 테스트 스위트를 실행하고 결과를 프롬프트에 붙여넣으십시오 ("스위트 이미 실행됨: N개 통과 — 코드를 읽어 검토"). 파일 읽기는 괜찮지만 실행은 안 됩니다.
- 실패 모드를 구체적으로 지정하십시오. 정확한 파일, 명세 섹션, 번호가 매겨진 사냥 목록을 가리키십시오. 금전 관련 코드의 경우: 이중 노출, 과대 판매, 재시작 간 의도 손실/중복, 순서 경합, 멱등성, 수수료/정밀도, 방금 작성한 특정 위험 경로. 모호한 프롬프트는 모호한 검토를 얻습니다.
- 모든 검증에는 시간 제한을 두고, 타임아웃 시 먼저 취소하십시오. 배경 작업에 벽시계 시간 제한(~12–15분)을 설정하십시오. 타임아웃 시: 먼저 작업을 취소하고, 아무것도 실행 중이 아닌지 확인한 후, 새로 시작하십시오. 고아 프로세스를 종료하십시오. 재시작 횟수를 제한하십시오(~3회). 지속적인 무판정 = 도구 실패 → 보류하고, 속이지 마십시오.
5. 앵커 문서 (빌드의 실제 메모리)
빌드당 하나의 압축된 작업 메모리 문서 — 그리고 리포지토리에는 많은 빌드가 있습니다. 단일 전역 RESUME.md를 유지하지 마십시오. rjv-feature-workflow 기술의 레이아웃을 사용하십시오 (작업 단위당 .plans/<name>.md, 기능 로드맵에서 연결됨). 따라서 여러 게이티드 빌드가 동시에 진행될 수 있으며 각각 이름으로 복원됩니다. 아래 섹션은 해당 계획 파일 내부에 있습니다. 대화 내용은 일회용입니다. 앵커 문서는 그렇지 않습니다. "명세는 토큰을 받을 자격이 있는 유일한 산출물입니다" (cavekit).
소유 섹션 — 각 루프 단계는 자신의 섹션에만 씁니다:
| 섹션 | 소유자 | 내용 |
|---|---|---|
| GOAL | 인간 + 오케스트레이터 | 한 문단, 요점, 절대 잊지 않음 |
| CONSTRAINTS / VOCAB | 인간 | 합의된 단어, 금지 단어, 엄격한 제한 |
| EVIDENCE LEDGER | 오케스트레이터 | 설계 제약 조건으로서의 실제 결과 — 반박된 아이디어는 "부활 금지" 표시 |
| INVARIANTS | 검증 라운드 | 도출된 철칙, 각각 라운드 또는 폐기 기록으로 추적 가능 |
| DESIGN vN | 명세-검증 루프 | 현재 설계 + 검증 기록 (v1 → v2 → …, 누가 이의제기했는지, 타당성에 의해 수용된 것) |
| TASKS / PLAN | 오케스트레이터 | 승인 기준이 있는 단계; 모든 아이디어는 HOME을 찾거나 제거됨 |
| BUGS / CORPSES | 구현 | 가장 낮은 수준에서 연구된 실패, 분류됨 |
| TOMBSTONES | 오케스트레이터 | "아무도 다시 열지 않도록" 보이는 곳에 유지된 해결된 질문 |
| OPEN | 누구나 | 진정으로 미결인 항목, 인간이 결정해야 하는 경우 USER 플래그 지정 |
등록 규칙 — 대상별 압축:
- 에이전트가 읽는 모든 것 (이 문서, RESUME, 검증 프롬프트, 메모리): 원시 등록 스타일. 사실, 파일:라인, 명령문. "보내기 전에 주문 등록 (동기식 채우기 드롭 → 과대 판매)" — 산문이 아닙니다. 컨텍스트가 없고 10초의 시간을 가진 독자를 위해 작성되었습니다. 모든 재읽기에서 약 75% 저렴하며, 재읽기는 반복 비용입니다.
- 인간이 읽는 모든 것 (응답, 사용자 대상 문서): 일반 산문, 숫자가 포함된 구체적인 예. 이해 실패는 출력 토큰보다 비용이 더 많이 듭니다.
- 두 대상 분할은 명시적입니다: 에이전트 메모는 구체적이고 합의된 경우에만 사용자 대상 문서로 승격됩니다.
"나중에" 금지 규칙. 어떤 것도 "나중에"로 제출하지 마십시오. 모든 아이디어는 명명된 단계에 HOME(이유 포함)을 찾거나 제거됩니다. 원본 프로젝트에서 "나중에"는 가장 가치 있는 단일 실험을 숨겼습니다 — 일단 표면화되자 첫 번째 빌드 항목이 되었습니다. 유일하게 허용되는 연기는 실제 구조적 종속성이 명시된 경우입니다.
압축 유지 관리. 앵커 문서와 메모리 파일은 재개할 때마다 다시 읽힙니다. 이는 반복적인 입력 비용이며, 비용이 많이 드는 종류입니다. 주기적으로(단계 끝 또는 문서가 부풀어 오를 때) 등록 스타일로 다시 작성하십시오: 산문을 제거하고, 사실을 유지하십시오. 압축 규칙: 숫자, 식별자, 파일:라인 참조, 코드, 명령어, 오류 텍스트는 절대 건드리지 마십시오(바이트 단위 정확도 유지). EVIDENCE LEDGER의 의미는 절대 압축하지 마십시오. 거기서 뉘앙스를 잃으면 반박된 아이디어가 다시 열립니다. 대체된 설계 섹션은 한 줄 묘비로 축소됩니다. 검증 기록은 라운드 + 판정 + 변경 사항만 유지합니다.
6. 생존 — 실행이 중단에서 살아남아야 함
장기 실행에서 두 가지 실패 모드가 반드시 발생합니다: 검토자가 멈추거나, 사용자 연결이 응답 도중 끊어집니다. 방어는 동일합니다: 상태를 라이브 대화에만 보관하지 마십시오.
- 재개 포인터 + 열 때 조정. 앵커 문서의 Next Steps 섹션은 모든 단계 끝에서 다시 작성됩니다: 현재 단계 + 상태, 정확한 다음 작업, 반드시 읽어야 할 파일, 엄격한 규칙. 모든 재개 시 — 압축 후, 중단 후, 예약된 웨이크업 — 첫 번째 작업은
rjv-feature-workflow조정 의식입니다: 계획 읽기 → 각 "완료" 주장을 실제 코드/데이터베이스에 대해 검증 → 차이 기록 → Next Steps 다시 작성 → 마지막 조정 시간 기록 → 그런 다음 행동. 오래된 체크박스를 절대 신뢰하지 마십시오. 중단으로 인해 체크박스가 주장하는 편집 내용이 손실되었을 수 있습니다. - 자주 그리고 일찍 커밋하십시오. 승인된 모든 단계는 즉시 커밋됩니다. 그러면 중단 시 최대 진행 중인 편집 내용만 손실되며, 하룻밤의 작업 전체가 손실되지 않습니다.
- 자체 웨이크업을 예약하십시오. 시간 제한이 있는 검증에 작업을 넘길 때, 자체 웨이크업(~15분)을 예약하여 적극적으로 돌아오십시오. 수동 "작업이 나를 다시 호출할 것이다" 감시는 조용히 죽을 수 있습니다.
- 멱등성 단계. 중단 후 단계 중간에 다시 진입할 수 있습니다. 부작용을 재생해도 안전하게 만드십시오 (중복 키 제거, 업서트, 이미 완료 확인).
7. 모델 경제 — 주력 모델을 모든 것에 사용하지 마십시오
장기 실행은 난이도보다 예산/속도 제한에서 더 자주 중단됩니다. 완료는 검약에 달려 있습니다:
- 기본값은 저렴하게. 기계적 하위 에이전트에는 작고 빠른 모델 (검토자 전달자는 하나의 bash 호출 — 가장 저렴하게; 검증 품질은 검토자의 모델에서 나오지 전달자에서 나오지 않습니다). 일상적인 코드와 분석에는 중간 등급.
- 명세로 구현 가능한 함수에는 로컬 모델 — 비용 제로, 그리고 제한된 명세에서 약 90%의 프로덕션 품질을 달성합니다. 절대 검토자로 사용하지 마십시오 (엄격한 규칙 1).
rjv-ollama-delegate기술을 참조하십시오. - 주력 모델은 설계, 종합, 최종 판단, 그리고 검증 자체를 위해 아껴두십시오.
- 하위 에이전트마다 모델을 명시적으로 설정하십시오. 절대 비싼 부모의 기본값을 상속하지 마십시오.
8. 범위 정직성 — 특히 금융 시스템의 경우
"완료"의 의미를 명확히 밝히십시오. "N단계까지 검토자 승인" ≠ 실행이 시뮬레이터/종이 경로만 사용했다면 "실제 세계에 대해 검증됨". 위험한 게이트(실제 거래, 프로덕션 배포, 파괴적 작업)는 별도의 명시적 검증 단계(종이 패리티, 주문 채우기 비율 대역, fail-closed 임계값)와 자체 게이트가 있을 때까지 물리적으로 꺼 두십시오. "승인됨"이 "출시해도 안전함"으로 읽히지 않도록 하십시오.
부록 — 검토자가 OpenAI Codex CLI인 경우
Codex를 검증 도구로 운영하기 위한 어렵게 얻은 구체적인 운영 세부 사항:
- 먼저 취소하고, 절대 다시 연결하지 마십시오. 검증 타임아웃 시, "작업을 보존하기 위해 다시 연결"하지 마십시오. 다시 연결은 즉시 조용히 죽어서, 고아 작업이 몇 시간 동안 실행되는 동안 감시 장치 없이 남을 수 있습니다. 항상: 작업 취소 → 실행 중인 작업 없음 확인 →
--fresh로 다시 시작. - 고아 프로세스를
pkill하십시오. 취소/멈춤 작업은codex app-server,codex resume,app-server-broker프로세스를 남깁니다. 정리 중에pkill -9 -f로 종료하여 장기 실행 동안 쌓이지 않도록 하십시오. - Codex 샌드박스는 테스트를 실행할 수 없습니다 (종종 쓰기 가능한 임시 디렉토리가 없어 "verifying"에서 영원히 멈춤) — 이것이 §4의 '당신이 테스트를 실행' 규칙이 존재하는 이유입니다. 샌드박스 내에서 파일 읽기(grep/sed/cat)는 괜찮습니다.
- 파일을 쓸 수는 있지만 git을 실행할 수는 없습니다 — Codex가 완료된 후 오케스트레이터 세션에서 커밋하십시오.
- Codex 출력의 세션/스레드 ID는 재개 가능합니다 (
--resume-last/ ID로 재개). 이전 라운드의 컨텍스트가 필요한 후속 검증에 유용하지만, 위의 '먼저 취소' 규칙을 따라야 합니다.
한 줄 불변 원칙: 독립적인 검토자 + 압축된 온디스크 상태 + 예약된 자체 웨이크업 = 정확성으로 수렴하고 모든 멈춤, 중단, 압축 과정에서 살아남는 실행.
출처: 실제 고위험 빌드(옵션 트레이딩 봇, 2026-07: 6회 이상의 검증 라운드, 실제 NO-AGREE, 인간이 발견한 설계 허점, 틱 수준에서 연구된 손실) 및 검증된 로컬 모델 위임 스파이크에서 추출. 등록 + 명세 섹션 아이디어는 caveman/cavekit 제품군(github.com/juliusbrussee)에 기인함.