norhayat1509/skillopt-qa：凍結LLMエージェント最適化スキル

skillopt-qa：凍結LLMエージェント最適化スキル は何をしますか？

凍結されたLLMエージェントをHotpotQA向けに最適化します。反復的な検証サイクルを通じて訓練された再利用可能な自然言語スキルを活用します。

概要

このスキルは、重みが固定された（凍結された）大規模言語モデルエージェントに対して、Skill Optimization (SkillOpt) 手法を適用します。HotpotQAデータセットにおける複数ホップの質問応答タスクでエージェントのパフォーマンスを向上させるために、自然言語で記述された再利用可能なスキルを生成・改善します。

特徴

• 凍結LLM対応: モデルの重みを変更せずに、プロンプトとスキル定義のみでエージェントを改善します。
• 反復的検証サイクル: スキルの効果を検証し、フィードバックに基づいてスキルを改良するサイクルを繰り返します。
• 再利用可能なスキル: 生成されたスキルは他の類似タスクにも転用可能なモジュール構造を持ちます。
• HotpotQA最適化: 複数文書にわたる推論が必要な質問応答タスクに特化しています。

使用方法

1. エージェントにこのスキルを適用します（例：claude コマンドで読み込む）。
2. スキルが提供する検証サイクルに従い、HotpotQAのサンプル質問に対してエージェントを実行します。
3. エージェントの応答を評価し、スキルを手動または自動で改良します。
4. 最適なスキルが得られるまでサイクルを繰り返します。

必要な環境変数

• HOTPOTQA_API_KEY: HotpotQAデータセットへのアクセスキー（必要な場合）
• OPENAI_API_KEY または同等のLLM APIキー

依存関係

• Python 3.8+
• hotpotqa データセット（必要に応じてインストール）
• langchain または同等のエージェントフレームワーク（推奨）

スキル構造

skillopt-qa/
├── skill.md          # スキル定義ファイル（本ファイル）
├── examples/         # 例示用の質問と期待される回答
└── validation/       # 検証サイクルの結果を保存

注意事項

• このスキルは実験的なものであり、すべてのLLMエージェントで完全に動作するとは限りません。
• 反復サイクルには計算コストがかかる場合があります。適切な予算と時間を確保してください。
• 生成されたスキルは、使用するLLMのバージョンや設定によって性能が変動する可能性があります。

関連リソース

• HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering (外部リンク)
• Skill Optimization: Optimizing Frozen LLM Agents with Reusable Natural Language Skills (外部リンク)

ライセンス

このスキルは MIT License の下で公開されています。