deepeval は何をしますか？
LLMアプリケーションのための単体テストフレームワーク。開発者にエージェントワークフローの回帰パターンをテストする自動化ツールを提供します。
概要
DeepEvalは、LLMベースのアプリケーションのためのオープンソースのテストフレームワークです。これは、言語モデルの出力品質、コンテキストの正確性、およびワークフローのパフォーマンスを評価するための包括的なツールスイートを提供します。このフレームワークにより、開発者はテストケースを定義し、その結果を自動的に評価し、開発サイクル内で回帰を検出することができます。
主な機能
- 自動評価: 事前定義されたメトリクスを使用してLLM出力を自動的に評価します。
- 回帰テスト: 時間の経過に伴うモデルのパフォーマンス変化を検出するためのテストスイートを作成します。
- コンテキスト検証: LLM応答内のコンテキストの正確性を検証します。
- ワークフローテスト: エージェントワークフロー全体をテストして、エンドツーエンドのパフォーマンスを確保します。
インストール
pip install deepeval
クイックスタート
基本的なテストを作成するには：
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import ContextualPrecisionMetric
test_case = LLMTestCase(
input="ユーザー入力をここに記述",
actual_output="生成された応答",
expected_output="期待される応答",
context="コンテキスト情報"
)
metric = ContextualPrecisionMetric()
assert_test(test_case, [metric])
サポートされるプラットフォーム
このスキルは以下のAIエージェントプラットフォームと互換性があります：
- Claude Code
- Cursor
- Codex
- その他のAIコーディングアシスタント
詳細情報
詳細については、公式ドキュメントを参照してください。