benchmark-research-skill は何をしますか？
Claude Codeのベンチマークリサーチスキル。論文を調査して、研究分野で使用されているデータセット、メトリクス、評価プロトコルを見つけます。
概要
このスキルは、特定の研究分野におけるベンチマークの状況を体系的に調査するのに役立ちます。複数の論文を分析し、以下の情報を抽出します：
- データセット：使用されている公開データセットとその引用情報
- メトリクス：評価に使用されている指標（例：精度、F1スコアなど）
- 評価プロトコル：トレーニング/テスト分割、クロスバリデーション、ハイパーパラメータ設定など
使用方法
- 調査したい研究分野をスキルに伝えます。
- 関連する論文のテキスト（PDFから抽出したもの、または直接テキスト）を提供します。
- スキルが自動的に情報を抽出し、構造化されたレポートを生成します。
例
ユーザー：自然言語処理における文書分類のベンチマークを調査したい。
スキル：
- データセット：IMDb、AG News、DBpedia、Yelpレビュー
- メトリクス：精度、F1スコア（マクロ平均）
- 評価プロトコル：80/20のトレーニング/テスト分割、5分割クロスバリデーション
注意点
- 提供する論文のテキストは、正確な結果を得るために十分な詳細を含んでいる必要があります。
- 抽出された情報は正確性のために検証する必要があります。
- スキルは学術論文の分析に特化しています。