O que Qwen3.5-TurboQuant-MLX-LM faz?
Acelere o KVCache do Qwen3.5 com ferramentas TurboQuant MLX-LM para cache de prompt, atenção quantizada e avaliações prontas para pesquisa.
Visão Geral
Esta skill oferece um pipeline otimizado para acelerar a inferência do Qwen3.5 usando técnicas de quantização TurboQuant e cache de prompt em Apple Silicon (MLX).
Recursos Principais
- Cache de Prompt: Reduza latência reutilizando computações de KVCache em sessões de inferência.
- Atenção Quantizada: Use esquemas de quantização como Q4/M4 para comprimir representações de KVCache.
- Avaliações Prontas para Pesquisa: Scripts pré-configurados para avaliar em benchmarks como MMLU, GSM8K, etc.
- Compatibilidade com MLX: Otimizado para chips M1/M2/M3/M4.
Instalação
pip install mlx-lm turboquant
Uso
Cache de Prompt
from turboquant import TurboQuantCache
cache = TurboQuantCache(model_name="Qwen/Qwen3.5-7B", quant="q4")
# Reutilize o cache
output = cache.generate("Explique os benefícios da quantização.")
Atenção Quantizada
python -m turboquant.quantize \
--model Qwen/Qwen3.5-7B \
--quant q4 \
--output ./qwen35_q4
Avaliações
python evaluate.py --model ./qwen35_q4 --benchmark mmlu
Configuração
Edite config.yaml para ajustar parâmetros:
model:
name: "Qwen/Qwen3.5-7B"
quant: "q4"
cache_size: 2048
benchmarks:
- mmlu
- gsm8k
Contribuição
Contribuições são bem-vindas! Por favor, abra uma issue ou pull request.
Licença
MIT