Was macht Qwen3.5-TurboQuant-MLX-LM?
Beschleunigt den Qwen3.5 KVCache mit TurboQuant MLX-LM Tools für Prompt-Caching, quantisierte Attention und forschungsbereite Evaluierungen.
Überblick
Dieses Skill bietet eine optimierte Implementierung des Qwen3.5 KVCache unter Verwendung von TurboQuant und MLX-LM Techniken. Es verbessert die Effizienz von Large Language Models durch:
- Prompt-Caching: Wiederverwendung berechneter KV-Caches, um wiederholte Anfragen zu beschleunigen.
- Quantisierte Attention: Reduzierung des Speicherbedarfs und Erhöhung der Verarbeitungsgeschwindigkeit.
- Forschungsbereite Evaluierungen: Bereitstellung von Evaluierungswerkzeugen für Benchmarks und Leistungstests.
Plattformen
- MLX (für Apple Silicon)
- LM Studio
- Kompatibel mit vorhandenen MLX-LM Workflows
Installation
pip install mlx-lm turboquant
Verwendung
from turboquant import TurboQuantModel
model = TurboQuantModel.from_pretrained("Qwen/Qwen3.5-7B")
# Nutzung des KVCache mit quantisierter Attention
Lizenz
Apache 2.0