wellpreserved-sarcoptidae182/auto-harness

auto-harness은(는) 무엇을 하나요?

벤치마크, 자체 업데이트 평가, 반복적 프롬프트 및 도구 수정을 통해 코딩 에이전트 루프를 자동화하여 하룻밤 사이에 태스크 성능을 개선합니다.

개요

이 스킬은 코딩 에이전트가 스스로 학습하고 개선할 수 있도록 자동화된 파이프라인을 제공합니다. 주요 기능은 다음과 같습니다:

• 벤치마크 자동 실행: 사전 정의된 벤치마크를 실행하여 현재 성능을 측정합니다.
• 자체 업데이트 평가: 평가 결과를 바탕으로 프롬프트와 도구를 자동으로 업데이트합니다.
• 반복적 개선: 성능이 향상될 때까지 프롬프트와 도구 수정을 반복합니다.

설정 방법

1. auto-harness 저장소를 복제합니다.
2. 필요한 환경 변수를 설정합니다 (예: BENCHMARK_DIR, EVAL_DIR).
3. auto-harness 명령어를 실행하여 초기 설정을 완료합니다.

git clone https://github.com/wellpreserved-sarcoptidae182/auto-harness.git
cd auto-harness
export BENCHMARK_DIR=./benchmarks
export EVAL_DIR=./evals
./auto-harness setup

사용 예시

기본적인 사용 예시는 다음과 같습니다:

./auto-harness run --benchmark coding_bench --iterations 5

이 명령어는 coding_bench 벤치마크를 5회 반복 실행하며, 각 반복마다 평가 결과를 분석하고 프롬프트와 도구를 자동으로 수정합니다.

주요 기능

• 벤치마크 지원: 다양한 코딩 벤치마크를 지원합니다 (예: HumanEval, MBPP).
• 자체 업데이트 평가: 평가 결과를 바탕으로 프롬프트와 도구를 자동으로 업데이트합니다.
• 확장 가능한 구조: 사용자 정의 벤치마크와 평가 도구를 쉽게 추가할 수 있습니다.

확장 가이드

새로운 벤치마크를 추가하려면:

1. benchmarks/ 디렉토리에 새 벤치마크 스크립트를 생성합니다.
2. evals/ 디렉토리에 평가 스크립트를 생성합니다.
3. config.yaml 파일에 새 벤치마크와 평가를 등록합니다.

benchmarks:
  - name: my_benchmark
    script: benchmarks/my_benchmark.sh

evals:
  - name: my_eval
    script: evals/my_eval.py

라이선스

이 프로젝트는 MIT 라이선스에 따라 배포됩니다.