¿Qué hace vllm-skills?
🚀 Implementa y administra vLLM con habilidades prediseñadas para automatización modular, siguiendo la plantilla de Anthropic para una integración sin problemas.
Comenzando
- Clona el repositorio:
git clone https://github.com/XrecentX/vllm-skills.git cd vllm-skills - Instala las dependencias:
npm install - Configura tus variables de entorno (por ejemplo,
VLLM_API_KEY). - Ejecuta un skill:
npm run skill -- --skill deploy-model
Skills Disponibles
- deploy-model: Despliega un modelo específico de Hugging Face en vLLM.
- infer: Ejecuta inferencia con un modelo desplegado.
- list-models: Lista los modelos disponibles en tu instancia de vLLM.
Documentación
Para más detalles, consulta la documentación oficial de vLLM.