vllm-project/vllm

vllm とは？

このスキルは、vLLM プロジェクト向けに Triton カーネルを作成またはレビューするための実践的なガイダンスを提供します。主に、生成されたコードの検査方法、カーネル起動グリッドの設計、インデックス戦略、ハードウェア特化、チューニング手法、そして代表的なベンチマークを用いたパフォーマンス検証に焦点を当てています。vLLM は大規模言語モデルの推論を高速化するライブラリであり、その中核となる Triton カーネルの最適化は、レイテンシとスループットの両方に大きな影響を与えます。このスキルは、開発者が vLLM の Triton カーネルを効果的に作成・改善し、様々な GPU アーキテクチャ上で最高のパフォーマンスを引き出すことを支援します。具体的には、pdb を用いた生成コードのデバッグ、カーネル起動パラメータの調整、メモリアクセスパターンの最適化、演算の融合、そして代表的なワークロードにおける性能評価のベストプラクティスをカバーします。