webgpu-agent 是做什麼的?
🤖 瀏覽器中的 AI 代理 — 支援 WebGPU 本地模型、技能、MCP、OpenAI/OpenRouter
概述
這個 AI 代理直接在瀏覽器中執行,利用 WebGPU 加速進行本地推理。支援熱門的大型語言模型(OpenAI/OpenRouter 相容),並內建 MCP 與技能系統,提供靈活且高效的工作流程。
功能特色
- 本地推理:使用 WebGPU 在瀏覽器中執行模型,無需伺服器或安裝,保障隱私。
- 多模型支援:相容 Ollama、Llama、Mistral、Phi 等,並可透過 OpenAI/OpenRouter 連接雲端模型。
- MCP 整合:直接支援 Model Context Protocol,讓模型能安全存取工具和資料。
- 技能系統:透過 JavaScript 技能擴充功能,包括檔案操作、程式碼執行和網頁擷取。
- 會話管理:保存並恢復對話歷史與設定,方便團隊協作。
快速開始
- 安裝 Node.js(建議 v18+)。
- 複製倉庫:
git clone https://github.com/hermes98761234/webgpu-agent.git - 安裝依賴:
npm install - 啟動開發伺服器:
npm run dev - 開啟瀏覽器前往
http://localhost:5173
設定
可用的環境變數(或透過 .env 檔案設定):
OPENAI_API_KEY:OpenAI API 金鑰OPENROUTER_API_KEY:OpenRouter API 金鑰MODEL:預設模型名稱(例如llama3)WEBGPU_DEVICE:指定 WebGPU 裝置(選用)
使用方式
在瀏覽器中直接與代理交談,輸入 /help 查看可用指令。
/model <name>:切換模型/skill <name>:載入技能/mcp <command>:管理 MCP 連線/clear:清除對話
技能系統
技能是定義於 skills/ 目錄下的 JavaScript 檔案。每個技能匯出一個物件,包含名稱、描述與處理函式。
export default {
name: 'hello',
description: '一個簡單的問候技能',
async execute(args, context) {
return `哈囉,${args.name || '世界'}!`
}
}
MCP 支援
代理支援 MCP 通訊協定,允許模型安全地呼叫工具與 API。MCP 伺服器可在 mcp-servers/ 目錄下設定。
貢獻
歡迎提交 Issue 與 Pull Request。請先閱讀 CONTRIBUTING.md。
授權
MIT