KnightMafiaLau/llm-recall-protocol-skill

llm-recall-protocol-skill란 무엇인가요?

이 스킬은 대규모 언어 모델(LLM)의 회상 능력을 체계적으로 테스트하고 분석하기 위한 자가 진화형 테스트 하네스입니다. 다중 역할 쿼리(예: 사용자, 관리자, 게스트)를 사용하여 각 LLM이 특정 정보를 얼마나 정확하게 회상하는지 측정하며, 각 응답의 출처를 귀속시켜 모델이 어느 데이터 소스에 의존하는지 추적합니다. 또한, LLM별 출처 편향을 프로파일링하여 특정 모델이 특정 유형의 정보를 과도하게 선호하거나 회피하는 패턴을 식별합니다. 실행할 때마다 쿼리 라이브러리가 자동으로 적응하여 테스트의 다양성과 효과성을 지속적으로 향상시키며, Claude Code를 포함한 여러 LLM 플랫폼에서 사용할 수 있습니다. 개발자와 연구원이 모델의 신뢰성과 투명성을 평가하고 개선하는 데 유용합니다.