nasde-toolkit は何をしますか？
AIコーディングエージェントのベンチマークと評価を行うCLIツール — 既に理解しているタスクを用いて、Claude / Codex / Geminiの個人サブスクリプションまたはAPIキーを使って評価できます。
概要
nasde-toolkit は、AIコーディングエージェントのパフォーマンスを評価するためのコマンドラインツールです。開発者は自分自身のタスク（コード生成、リファクタリング、デバッグなど）を使ってエージェントをテストし、各エージェントの正確性と効率性を比較できます。
特徴
- カスタムタスク: 開発者が自分のプロジェクトに基づいたタスクを作成可能
- マルチエージェント対応: Claude、Codex、Geminiなどの主要なAIコーディングエージェントを評価
- シンプルなCLI: 簡単なコマンドでベンチマークの実行と結果の分析が可能
- APIキー対応: 個人サブスクリプションまたはAPIキーを利用してエージェントを実行
- 結果の比較: 複数のエージェントのスコアや応答時間を比較できる
インストール
npm install -g nasde-toolkit
# または
pip install nasde-toolkit
使用方法
タスクの作成
タスクはYAML形式で記述します。例：
tasks:
- id: "refactor-function"
name: "関数のリファクタリング"
description: "与えられたJavaScript関数をより効率的なコードにリファクタリングする"
agent: "claude"
prompt: "次の関数をリファクタリングしてください: ..."
ベンチマークの実行
nasde run --config tasks.yaml --agents claude,codex,gemini
結果の表示
nasde results --compare
対応エージェント
| エージェント | 環境変数 | サブスクリプション |
|---|---|---|
| Claude | ANTHROPIC_API_KEY | Claude Pro / API |
| Codex | OPENAI_API_KEY | Codexサブスクリプション |
| Gemini | GEMINI_API_KEY | Gemini Advanced / API |
設定
オプションで設定ファイル（~/.nasde/config.yml）を使用できます：
api_keys:
anthropic: "sk-ant-..."
openai: "sk-..."
gemini: "AIza..."
default_agent: "claude"
output_dir: "./results"
ライセンス
MIT License