Qwen3.5-TurboQuant-MLX-LM は何をしますか？
TurboQuant MLX-LM ツールを使用して Qwen3.5 KVCache を高速化し、プロンプトキャッシング、量子化アテンション、研究対応の評価を実現します。
機能
- プロンプトキャッシング: 繰り返しのプロンプトでの計算をスキップし、応答時間を短縮します。
- 量子化アテンション: アテンション機構のメモリ使用量を削減し、大きなバッチサイズや長いコンテキストを可能にします。
- 研究対応の評価: モデルのパフォーマンスを簡単に評価するためのビルトインメトリクス。
使用方法
-
リポジトリをクローンします:
git clone https://github.com/gonzalescataphatic400/Qwen3.5-TurboQuant-MLX-LM.git cd Qwen3.5-TurboQuant-MLX-LM -
依存関係をインストールします:
pip install -r requirements.txt -
サンプルスクリプトを実行します:
python examples/accelerate.py --model Qwen/Qwen3.5-7B --enable-cache --quantize-attention
設定
環境変数または設定ファイルでパラメータを調整できます:
ENABLE_CACHE: プロンプトキャッシングを有効にする (デフォルト: true)ATTENTION_QUANTIZATION: アテンション量子化ビット数 (例: 8)EVAL_MODE: 評価モードを有効にする (research/benchmark)
ライセンス
MIT