Communitygithub.com

InternLM/xtuner

Adicionar ou auditar uma implementação de template de chat do XTuner e sua máscara de perda a partir de um repositório oficial do Hugging Face ou diretório local de modelo. Use ao suportar um novo modelo em xtuner/v1/data_proto/messages, verificar uma implementação existente em relação ao tokenizer ou processor apply_chat_template, decidir quais saídas do assistente e tokens EOS/EOS recebem perda, adicionar testes de regressão ou validar se o comportamento de treinamento exportado corresponde à inferência do vLLM e SGLang.

O que é xtuner?

Esta habilidade permite que você adicione ou audite implementações de template de chat do XTuner, incluindo a máscara de perda associada, para modelos do Hugging Face. É útil ao suportar um novo modelo, garantindo que a implementação corresponda ao `apply_chat_template` do tokenizer/processor, ou ao configurar corretamente quais tokens de saída (do assistente) e EOS recebem perda durante o treinamento. A habilidade também auxilia na criação de testes de regressão e na validação de que o comportamento de treinamento exportado é consistente com a inferência do vLLM e SGLang. Ela funciona analisando o repositório do modelo ou diretório local, gerando o template de chat no formato esperado pelo XTuner e ajustando a máscara de perda para corresponder ao contexto da conversa.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add InternLM/xtuner

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que xtuner faz?

Adicione ou audite uma implementação de template de chat do XTuner e sua máscara de perda a partir de um repositório oficial do Hugging Face ou diretório local de modelo. Use ao suportar um novo modelo em xtuner/v1/data_proto/messages, verificar uma implementação existente em relação ao apply_chat_template do tokenizer ou processor, decidir quais saídas do assistente e tokens de parada/EOS recebem perda, adicionar testes de regressão ou validar se o comportamento de treinamento exportado corresponde à inferência do vLLM e SGLang.

Habilidades Relacionadas