lizhiyao/oh-my-knowledge

oh-my-knowledge とは？

「lizhiyao/oh-my-knowledge」は、LLM（大規模言語モデル）の知識入力、すなわちプロンプト、RAG（検索拡張生成）用コーパス、エージェントスキル、エージェントワークフローを体系的に評価するためのフレームワークです。このツールの特徴は、評価対象のモデル（LLM）を固定し、入力アーティファクト（プロンプト、知識ベースなど）のバリエーションを体系的に変更・比較することで、知識入力の品質を客観的に評価できる点にあります。統計的な厳密性を重視しており、ブートストラップ法による信頼区間の計算、評価者間信頼性の指標であるクリッペンドルフのα、出力長に起因するバイアスを補正する機能（Length-debias）、そして評価の飽和点を可視化する飽和曲線（Saturation curves）が組み込まれています。このフレームワークは、例えば異なるプロンプト戦略やRAGのチャンク戦略、エージェントの動作フローの微妙な違いを比較・評価するタスクに適しており、開発者やリサーチャーがデータ駆動でシステムの改善点を特定するのを支援します。対応するプラットフォームは言語モデル全般を対象としており、様々な評価タスクや独自の評価基準を柔軟に追加できる設計です。