AISense 是做什麼的？
AISense 透過智慧提示壓縮和智慧模型路由來最佳化 GitHub Copilot Chat。使用自適應規則壓縮提示，將簡單意圖路由到本地模型（Ollama、Docker）以節省雲端 Token，並追蹤 AI 成本。內建「Saver」自訂代理，實現成本效益互動。
功能特色
- 智慧提示壓縮：自動移除冗餘內容，保留關鍵上下文，減少傳輸量。
- 模型路由：根據意圖複雜度，將請求導向最合適的模型（本地或雲端）。
- 成本追蹤：記錄每次 AI 互動的 Token 消耗與相關成本。
- Saver 代理：專為節省預算設計的自訂代理，平衡效能與開銷。
支援平台
- GitHub Copilot Chat：主要整合平台。
- 本地模型：Ollama、Docker 容器中的開源模型。
- 雲端模型：與標準 AI 服務相容。
使用方法
- 安裝技能後，在 Copilot Chat 中啟用 AISense。
- 設定本地模型端點（如
http://localhost:11434）。 - 使用
@saver呼叫 Saver 代理進行成本最佳化查詢。
配置範例
{
"compression": {
"enabled": true,
"threshold": 0.7
},
"routing": {
"localModels": ["ollama/codellama", "docker/gpt4all"],
"cloudEndpoint": "https://api.github.com/copilot"
},
"costTracking": {
"enabled": true,
"budgetLimit": 50
}
}
注意事項
- 請確保本地模型已正確設定並可存取。
- 壓縮規則可根據使用情況透過設定檔調整。
- 成本追蹤資料僅儲存在本機，不會外傳。