Communitygithub.com

vllm-project/vllm

Escreva ou revise kernels Triton para vLLM, com orientação prática para inspeção de código gerado, grids de lançamento, indexação, especialização, ajuste e validação de desempenho representativa.

O que é vllm?

Esta habilidade capacita desenvolvedores a escrever ou revisar kernels Triton especificamente para o projeto vLLM, oferecendo um guia prático e aprofundado. Ela aborda a inspeção do código gerado pelo compilador Triton para garantir eficiência, o uso correto de grids de lançamento (launch grids) que mapeiam o trabalho paralelo, e estratégias de indexação para manipular corretamente tensores e dados. A habilidade também cobre a especialização de kernels para cenários específicos (como diferentes tamanhos de bloco ou tipos de dados), técnicas de ajuste (tuning) de parâmetros como número de warps e tamanhos de blocos, e validação de desempenho representativa através de benchmarks que reflitam casos de uso reais do vLLM, como decodificação especulativa ou preenchimento de cache. Suportada em plataformas como CUDA via Triton, ela se integra diretamente ao fluxo de desenvolvimento do vLLM, ajudando a otimizar a inferência de modelos de linguagem de grande porte.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add vllm-project/vllm

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que vllm faz?

Escreva ou revise kernels Triton para vLLM, com orientação prática para inspeção de código gerado, grids de lançamento, indexação, especialização, ajuste e validação de desempenho representativa.

Habilidades Relacionadas