fastbeast2023-netizen/awesome-harness-engineering

awesome-harness-engineering은(는) 무엇을 하나요?

신뢰할 수 있는 AI 에이전트를 위한 하네스 엔지니어링(Harness Engineering) 자료를 큐레이션합니다. 컨텍스트, 평가(eval), 제어(control)를 위한 플레이북, 벤치마크, 오픈소스 도구를 제공합니다.

개요

하네스 엔지니어링은 AI 에이전트가 안정적이고 예측 가능하게 동작하도록 하는 방법론입니다. 이 저장소는 관련 최신 자료를 한곳에 모아 개발자와 연구자에게 참고 자료를 제공합니다.

주요 내용

플레이북 (Playbooks)

• 에이전트 컨텍스트 관리: 프롬프트 엔지니어링, RAG(Retrieval-Augmented Generation) 활용법
• 평가 지침: 정확성, 안전성, 효율성 측정 방법
• 제어 메커니즘: 에이전트 행동 제한 및 감사(audit) 전략

벤치마크 (Benchmarks)

• benchmark-agent-reliability: 다양한 태스크에서의 에이전트 신뢰도 측정
• context-fidelity-test: 컨텍스트 충실도 평가
• control-compliance-check: 제어 명령 준수 여부 검증

오픈소스 도구 (Open-Source Tools)

• ContextEngine: 에이전트 컨텍스트 관리 도구
• EvalHarness: 자동 평가 프레임워크
• ControlGate: 행동 제어 게이트웨이

사용 방법

1. 이 저장소를 클론합니다:

   git clone https://github.com/fastbeast2023-netizen/awesome-harness-engineering.git
   

2. 관심 있는 주제의 플레이북을 확인합니다.
3. 제공된 벤치마크를 자신의 에이전트에 적용합니다.
4. 오픈소스 도구를 통합하여 개발 워크플로우에 활용합니다.

관련 링크

• 하네스 엔지니어링 원칙
• 에이전트 평가 모범 사례
• 컨텍스트 관리 가이드

기여 방법

컨트리뷰션을 환영합니다! 풀 리퀘스트를 보내거나 이슈를 등록해 주세요.

라이선스

이 프로젝트는 MIT 라이선스를 따릅니다.