Qwen3.5-TurboQuant-MLX-LM은(는) 무엇을 하나요?
TurboyQuant MLX-LM 도구를 사용하여 Qwen3.5 KVCache를 가속화하여 프롬프트 캐싱, 양자화된 어텐션 및 연구 준비가 완료된 평가를 지원합니다.
개요
이 스킬은 Apple Silicon(M1/M2/M3)에서 MLX 프레임워크를 통해 Qwen3.5 모델의 추론 성능을 최적화합니다. 주요 기능은 다음과 같습니다:
- 프롬프트 캐싱: 이전 컨텍스트를 재사용하여 반복 추론 속도 향상
- 양자화된 어텐션: KV 캐시 양자화로 메모리 사용량 감소 및 처리량 증가
- 연구 준비 평가: 내장된 평가 파이프라인으로 모델 성능 측정
지원 플랫폼
- Claude Code
- Cursor
- Codex
- 기타 MLX 호환 AI 에이전트
설치 방법
pip install mlx-lm
# 또는 최신 버전 설치
pip install git+https://github.com/ml-explore/mlx.git
사용법
기본 추론
python -m mlx_lm.generate --model Qwen/Qwen2.5-3B-Instruct \
--prompt "Hello, how are you?" \
--kv-cache-type quantized \
--quantized-kv-bits 8
프롬프트 캐싱 사용
python -m mlx_lm.generate --model Qwen/Qwen2.5-3B-Instruct \
--prompt "긴 컨텍스트 예시..." \
--enable-prompt-caching \
--max-kv-size 8192
평가 실행
python -m mlx_lm.evaluate --model Qwen/Qwen2.5-3B-Instruct \
--tasks arc_easy,hellaswag \
--quantized-kv-bits 8
환경 변수
| 변수명 | 설명 | 기본값 |
|---|---|---|
MLX_KV_CACHE_QUANT_BITS | KV 캐시 양자화 비트 수 | 8 |
MLX_PROMPT_CACHE_DIR | 프롬프트 캐시 저장 디렉토리 | ~/.cache/mlx |
MLX_MAX_KV_SIZE | 최대 KV 캐시 크기 | 4096 |
주의사항
- Apple Silicon(M1 이상)이 필요합니다.
- CUDA는 지원되지 않으며, MLX 백엔드에서만 동작합니다.
- 양자화된 어텐션은 일부 모델 아키텍처에서 지원되지 않을 수 있습니다.