向量索引調校 是做什麼的？
用於優化向量索引在延遲、召回率與記憶體上的效能。適用於調整 HNSW 參數、選擇量化策略或擴展向量搜尋基礎架構時。
概述
本技能提供全面的指引，幫助調整向量索引的效能，涵蓋延遲、召回率和記憶體使用等關鍵指標。它專為處理 HNSW 索引演算法參數最佳化、量化策略選擇以及向量搜尋基礎架構擴展的開發者與 AI 代理設計。
主要功能
- HNSW 參數調校：指導調整
M、efConstruction和efSearch等參數，以平衡建置速度、查詢延遲與召回率。 - 量化策略選擇：協助評估並選擇合適的量化方法（如乘積量化 PQ、純量量化 SQ 或最佳化乘積量化 OPQ），以減少記憶體佔用並維持可接受的召回率。
- 基礎架構擴展：提供擴展向量搜尋基礎架構的建議，包括水平擴展、分片策略與混合搜尋方法。
使用方法
- 分析當前的索引效能瓶頸（延遲、召回率或記憶體）。
- 根據特定應用需求（例如高召回率優先或低延遲優先）選取調校目標。
- 遵循本技能提供的逐步指南調整 HNSW 參數或選擇量化策略。
- 在生產環境中實施變更前，先在測試環境驗證調整結果。
適用平台
本技能提供的准則適用於多種向量資料庫與搜尋庫，包括但不限於 FAISS、Annoy、Milvus、Qdrant 與 Weaviate。具體參數名稱與範圍可能因實作而異。
注意事項
- 在調整參數前，務必定義清晰的效能目標（如 P99 延遲小於 50 毫秒，召回率高於 95%）。
- 量化策略通常會犧牲部分召回率以換取顯著的記憶體節省；請根據應用場景仔細評估取捨。
- 擴展向量搜尋基礎架構時，需考量資料分發、負載平衡與容錯機制。