Communitygithub.com

vllm-project/vllm

Triton-Kernel für vLLM schreiben oder prüfen, mit praktischer Anleitung zur Inspektion generierten Codes, Launch-Gittern, Indizierung, Spezialisierung, Optimierung und repräsentativer Leistungsvalidierung.

Was ist vllm?

Dieses Skill unterstützt Entwickler und KI-Agenten beim Schreiben oder Prüfen von Triton-Kerneln für vLLM, die für die effiziente Ausführung großer Sprachmodelle entscheidend sind. Es bietet praktische Anleitungen zur Inspektion des von Triton generierten Codes, zur korrekten Konfiguration von Launch-Gittern und zur richtigen Indizierung, um häufige Parallelisierungsfehler zu vermeiden. Zudem werden Techniken zur Spezialisierung und Optimierung von Kerneln für spezifische Hardware oder Modellparameter abgedeckt, zusammen mit Methoden zur repräsentativen Leistungsvalidierung, um sicherzustellen, dass Änderungen tatsächlich Verbesserungen bringen. Das Skill ist plattformunabhängig und kann mit gängigen KI-Agenten-Tools wie Claude Code, Cursor oder Codex verwendet werden. Die Implementierung basiert auf der SKILL.md-Dokumentation.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add vllm-project/vllm

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht vllm?

Triton-Kernel für vLLM schreiben oder prüfen, mit praktischer Anleitung zur Inspektion generierten Codes, Launch-Gittern, Indizierung, Spezialisierung, Optimierung und repräsentativer Leistungsvalidierung.

Verwandte Skills