signal-foundry은(는) 무엇을 하나요?
평가 우선 AI 시스템으로, Claude Skills, 브라우저 자동화 및 SEC 10-K 추출을 지원합니다.
개요
이 프로젝트는 AI 시스템의 평가를 최우선으로 하는 프레임워크를 제공합니다. 주로 다음과 같은 영역에 초점을 맞춥니다:
- Claude Skills: AI 어시스턴트의 작업 수행 능력 평가
- 브라우저 자동화: 웹 기반 자동화 작업의 정확성 및 신뢰성 검증
- SEC 10-K 추출: 재무 보고서에서 데이터 추출 정확도 평가
설치
git clone https://github.com/tychen5/signal-foundry.git
cd signal-foundry
pip install -r requirements.txt
사용법
환경 변수를 설정하고 평가 파이프라인을 실행합니다:
export OPENAI_API_KEY='your-api-key'
python run_evaluation.py
평가 메트릭
| 메트릭 | 설명 |
|---|---|
| 정확도 | 추출된 데이터의 정확성 |
| 완전성 | 작업의 완료 정도 |
| 효율성 | 소요 시간 및 리소스 사용량 |
라이선스
MIT
주의: SKILL.md의 원본 내용이 매우 짧으므로, 실제 상세 문서가 없다면 이는 예시 기반 번역입니다.