iOSエージェントスキルテストスイート は何をしますか？
iOSエージェントスキルを、11のタスク、260以上のシナリオ、850以上のアサーションで、3つのモデルにわたってテストします。
概要
このスキルは、iOSエージェントの機能を検証するための包括的なテストスイートを提供します。各タスクは特定のユースケースをカバーし、シナリオは様々な入力条件や状態をテストし、アサーションは期待される出力や動作を確認します。
対応プラットフォーム
- Claude Code
- Cursor
- その他の主要なAIエージェントプラットフォーム
使用方法
- リポジトリをクローンし、スキルを設定します。
- テストを実行するモデルを選択します。
- テストランナーを起動して、結果を確認します。
テスト構造
- タスク: 11の個別タスク（例：メール送信、カレンダー操作）
- シナリオ: 各タスクに複数のテストシナリオ（合計260以上）
- アサーション: 各シナリオに複数の検証ポイント（合計850以上）
モデルサポート
以下の3つのモデルに対応しています：
- GPT-4
- Claude 3
- Gemini Pro
開発者向け情報
テスト結果はJSON形式で出力され、CI/CDパイプラインに統合できます。詳細なドキュメントはdocs/ディレクトリを参照してください。