하네스 우선
모델은 엔진입니다. 대부분의 '모델 문제'는 하네스가 없기 때문에 발생합니다. 올바른 출력을 정의하는 것도, 변경 사항을 확인하는 것도, 지출을 제한하는 것도, 데이터에 합의된 정의도, 작업에 승인도, 잘못된 호출을 찾을 추적도 없습니다. 모델을 건드리기 전에 먼저 감사하세요.
1. 증상을 증거로 재현하고 직감에 의존하지 마세요
- 증상이 발생하는 에이전트 코드를 읽으세요: 루프, 도구 정의, 프롬프트 조립, 데이터 액세스, 부수 효과를 일으키는 도구.
- 존재하는 로그/추적/트랜스크립트를 읽으세요. (대화별, 도구별, 오류별로) 집계하세요: 누가 토큰을 소비하는지, 어떤 호출이 실패하는지, 어떤 답변이 틀렸는지. 보통 소수의 이상값이 대부분을 차지합니다.
- 근본 원인을 증거(파일:줄, 로그 ID, 계산한 숫자)와 함께 메커니즘으로 설명하세요. "모델이 나빠요"는 메커니즘이 아닙니다.
일반적인 메커니즘:
- 토큰 소진: 최대 반복 횟수가 없는 루프, 결정적 오류에 대한 재시도, 매 턴마다 전체 기록이나 거대한 도구 결과 재전송, 안정적인 컨텍스트 캐싱 없음.
- 환각: 에이전트가 모호하거나 잘못된 출처를 충실히 사용한 경우 (동일한 이름이지만 다른 의미를 가진 두 개의 테이블/필드, 오래된 문서). 두 숫자를 직접 다시 계산하여 증명하세요.
- 취약함: 회귀 테스트 세트 없이 배포된 프롬프트 변경; 작성자만 수동으로 확인한 동작.
2. 여섯 가지 하네스 부품을 평가하세요
각각에 대해 발견한 증거와 함께 있음 / 부분적 / 없음으로 표시하세요:
| 부품 | 있음의 의미 |
|---|---|
| 골든 세트 | 실제 트래픽, 인시던트 및 엣지 케이스에서 가져온, 예상 답변/제약 조건이 있는 ~20개 이상의 사례 |
| 평가자 | 먼저 결정적 검사(숫자, 정책 규칙, 금지된 콘텐츠)를 수행하고, 코드로 확인할 수 없는 경우에만 LLM-루브릭을 사용합니다. 모든 프롬프트/모델/도구 변경 시 실행됩니다. |
| 비용 거버넌스 | 사용자별 및 워크플로별 하드 토큰/비용 상한, 실행당 최대 반복 횟수, 메시지와 함께 정상 중단 |
| 데이터 계층 | 읽기 전용 자격 증명, 에이전트가 사용할 수 있는 각 메트릭/필드를 정의하는 데이터 사전 |
| 액션 안전 | 되돌릴 수 없거나 외부적인 작업(보내기, 결제, 삭제, 쓰기, 환불)은 되돌릴 수 있거나 인간 승인에 의해 제한됩니다. |
| 트레이싱 | 모든 모델 및 도구 호출이 대화 ID, 워크플로, 입력, 출력, 토큰, 비용, 지연 시간, 오류와 함께 로깅됩니다. |
3. 구축하기 전에 결정하세요
- 평가 증거 없이 모델 교체를 절대 권장하지 마세요. 누군가 "모델을 바꿔야 할까요?"라고 묻는다면, 답은 다음과 같습니다: 메커니즘을 수정한 다음, 두 모델에서 골든 세트를 실행하여 품질과 비용을 비교하세요. 수정만으로 절약될 것으로 예상되는 비용을 숫자와 함께 말하세요.
- 골든 세트 실행 없이 프롬프트/에이전트 변경 배포를 절대 승인하지 마세요. 기록된 출력이 있으면, 예상 답변과 직접 비교하여 점수를 매기고 사례 ID별로 실패를 보고하세요.
- 안전 문제(제한되지 않은 부수 효과, 읽기 경로에 대한 쓰기 액세스, 내부 데이터 유출)는 누구도 요청하지 않았더라도 차단 대상입니다.
4. 최소 하네스를 이 순서대로 구축하세요
- 출혈을 멈추세요: 최대 반복 횟수, 비일시적 오류에 대한 재시도 금지, 큰 도구 출력 자르기/요약, 실행당 하드 비용 상한.
- 부수 효과를 제어하세요: 되돌릴 수 없는 도구에 대한 승인 단계 또는 초안 모드; 쿼리 도구에 대한 읽기 전용 연결.
- 골든 세트 파일 (
evals/golden.jsonl또는 유사한 형태): 입력, 예상 답변 또는 제약 조건, 출처(로그 ID / 인시던트 / 정책 조항). 방금 실패한 사례를 포함하세요. - 평가자 스크립트: 골든 세트를 실행하고 사례별 통과/실패 및 합계를 출력합니다. LLM 평가 전에 결정적 검사를 수행합니다.
- 데이터 사전: 에이전트가 보고하는 모든 메트릭에 대한 정의(출처 테이블/필드, 제외 사항).
- 트레이싱: 위에 나열된 필드들, 누락된 경우.
파일 설명이 아닌 실제 파일을 작성하세요. 실행할 수 있는 것을 실행하고 결과를 보고하세요.
5. 보고
- 실제로 질문받은 내용에 대한 한 줄 답변 (예: "아직 모델을 바꾸지 마세요. 재시도 루프에 갇힌 3번의 실행이 토큰의 71%를 소비했습니다.").
- 증거와 숫자를 포함한 근본 원인.
- 하네스 성적표 (여섯 가지 부품).
- 변경하거나 생성한 내용, 실행한 내용.
- 차단 위험, 그 다음 우선순위가 있는 간단한 다음 단계 목록.
크레딧
이 스킬이 따르는 방법은 Mark Ajzenstadt(@mardehaym)의 공개 게시물에서 비롯되었습니다: https://x.com/mardehaym/status/2099562230647804152. 주장은 그의 것이며, 절차, 표현 및 평가는 Edge의 자체적인 것이며, 저자는 이를 검토하지 않았습니다.