Communitygithub.com

InternLM/xtuner

Hugging Faceの公式モデルリポジトリまたはローカルモデルディレクトリから、XTunerのチャットテンプレート実装とその損失マスクを追加または監査します。新しいモデルをxtuner/v1/data_proto/messagesでサポートする場合、既存の実装をトークナイザーまたはプロセッサのapply_chat_templateと照合する場合、アシスタントの出力と停止/EOSトークンに損失を割り当てるか決定する場合、回帰テストを追加する場合、またはエクスポートされたトレーニング動作がvLLMやSGLang推論と一致するかを検証する場合に使用します。

xtuner とは?

このスキルは、XTunerフレームワークにおけるチャットテンプレート実装の追加や監査を支援します。具体的には、Hugging Faceの公式モデルリポジトリやローカルモデルディレクトリからモデルを取得し、`xtuner/v1/data_proto/messages` で新しいモデルをサポートする際に、適切なチャットテンプレートと損失マスク(アシスタント応答や停止/EOSトークンへの損失割り当て)を定義します。また、既存の実装がトークナイザーやプロセッサの `apply_chat_template` と整合しているかをチェックし、回帰テストの追加や、エクスポートされたトレーニング動作がvLLMやSGLangの推論と一致するかの検証も行います。これにより、XTunerを使用したモデル訓練の品質と互換性を向上させることができます。

対応~Claude Code~Codex CLI~Cursor
npx skills add InternLM/xtuner

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

xtuner は何をしますか?

Hugging Faceの公式モデルリポジトリまたはローカルモデルディレクトリから、XTunerのチャットテンプレート実装とその損失マスクを追加または監査します。新しいモデルをxtuner/v1/data_proto/messagesでサポートする場合、既存の実装をトークナイザーまたはプロセッサのapply_chat_templateと照合する場合、アシスタントの出力と停止/EOSトークンに損失を割り当てるか決定する場合、回帰テストを追加する場合、またはエクスポートされたトレーニング動作がvLLMやSGLang推論と一致するかを検証する場合に使用します。

関連スキル