trulens은(는) 무엇을 하나요?
에이전트 루프 전반에서 환각률, 유해성 편차, 컨텍스트 관련성을 측정하는 평가 도구입니다.
개요
TruLens은 AI 에이전트의 출력 품질을 평가하기 위한 프레임워크입니다. 다음 세 가지 주요 지표를 제공합니다:
- 환각률(Hallucination Rate): 모델이 사실과 다른 내용을 생성하는 비율을 측정합니다.
- 유해성 편차(Toxicity Deviation): 생성된 텍스트의 유해성 정도를 평가합니다.
- 컨텍스트 관련성(Context Relevance): 응답이 주어진 컨텍스트와 얼마나 관련 있는지 측정합니다.
지원 플랫폼
TruLens는 다음과 같은 플랫폼과 통합됩니다:
- Claude Code
- Cursor
- Codex
- LangChain
- LlamaIndex
- 일반 Python 애플리케이션
설치
pip install trulens
사용법
기본 평가
from trulens import TruLens
# 평가기 초기화
tru = TruLens()
# 함수 평가
tru.eval(my_agent_function)
데코레이터 사용
from trulens import track
@track
def my_agent(query: str) -> str:
# 에이전트 로직
return response
환경 변수
| 변수명 | 설명 |
|---|---|
TRULENS_API_KEY | TruLens API 키 |
TRULENS_ENDPOINT | 사용자 지정 엔드포인트 |
링크
라이선스
Apache 2.0