lizhiyao/oh-my-knowledge

oh-my-knowledge란 무엇인가요?

`oh-my-knowledge`는 LLM 기반 시스템의 다양한 지식 입력(프롬프트, RAG 코퍼스, 스킬, 에이전트 워크플로우)을 체계적으로 평가하기 위한 오픈소스 프레임워크입니다. 핵심 원칙은 '모델을 고정하고 아티팩트를 변화시킨다'로, 동일한 LLM을 사용하면서 입력 요소의 변화가 성능에 미치는 영향을 정밀하게 측정합니다. 이 프레임워크의 주요 강점은 내장된 통계적 엄밀성에 있습니다. 부트스트랩 신뢰구간, 크리펜도르프 알파(평가자 간 신뢰도), 길이 편향 보정, 포화 곡선 분석 등을 지원하여 실험 결과의 신뢰성과 해석 가능성을 높여줍니다. 주로 명령줄 인터페이스(CLI)를 통해 작동하며, Python 기반 프로젝트와 통합될 수 있습니다. 개발자와 AI 연구자는 이 도구를 사용하여 프롬프트 엔지니어링, RAG 파이프라인 최적화, 에이전트 워크플로우 설계 등에서 데이터 기반 의사 결정을 내릴 수 있습니다.