hermes98761234/webgpu-agent

Was macht webgpu-agent?

🤖 KI-Agent in Ihrem Browser – WebGPU lokale Modelle, Fähigkeiten, MCP, OpenAI/OpenRouter-Unterstützung

Beschreibung

hermes98761234/webgpu-agent ist ein leistungsstarker KI-Agent, der direkt im Browser läuft. Er nutzt WebGPU für lokale Inferenz, unterstützt jedoch auch Cloud-APIs wie OpenAI und OpenRouter. Mit seiner modularen Skill-Architektur können Sie benutzerdefinierte Fähigkeiten hinzufügen und über das MCP-Protokoll integrieren.

Funktionen

• Lokale Ausführung: Vollständige Nutzung der WebGPU-Beschleunigung für KI-Modelle im Browser
• Hybride Modelle: Nutzt lokale Modelle für Datenschutz oder Cloud-Modelle für maximale Leistung
• Erweiterbare Skills: Fügen Sie benutzerdefinierte Fähigkeiten über einfache JavaScript-Module hinzu
• MCP-Unterstützung: Kompatibel mit dem Modell-Kontext-Protokoll für erweiterte Integrationen
• API-Kompatibilität: Nahtlose Integration mit OpenAI- und OpenRouter-APIs

Installation

npm install hermes98761234/webgpu-agent
# oder
bun add hermes98761234/webgpu-agent

Schnellstart

import { WebGPUAgent } from 'hermes98761234/webgpu-agent';

const agent = new WebGPUAgent({
  model: 'llama-3.2-1b-q4',  // Lokales WebGPU-Modell
  skills: ['./my-skill.js'],
  mcp: { enabled: true },
  api: {
    openai: process.env.OPENAI_API_KEY,   // Optional
    openrouter: process.env.OPENROUTER_API_KEY, // Optional
  }
});

await agent.init();
const result = await agent.run('Erkläre Quantencomputing einfach.');
console.log(result);

Skills erstellen

Jeder Skill muss eine Standard-Export-Funktion exportieren:

// my-skill.js
export default {
  name: 'wetter-abruf',
  description: 'Ruft aktuelle Wetterdaten ab',
  async execute(context, args) {
    const city = args.city || 'Berlin';
    const response = await fetch(`https://api.weather.com/v1/${city}`);
    return response.json();
  },
  schema: {
    type: 'object',
    properties: { city: { type: 'string' } },
    required: []
  }
};

MCP-Integration

Der Agent unterstützt das Modell-Kontext-Protokoll (MCP) für erweiterte Werkzeug- und Ressourcenintegration. Sie können MCP-Server in der Konfiguration angeben:

const agent = new WebGPUAgent({
  mcp: {
    enabled: true,
    servers: ['https://mcp.example.com/tools']
  }
});

API-Referenz

Methode	Beschreibung
init()	Initialisiert den Agenten mit WebGPU-Kontext
run(prompt)	Führt einen Prompt mit dem aktuellen Modell und den Skills aus
addSkill(skillModule)	Fügt dynamisch einen neuen Skill hinzu
setModel(modelName)	Wechselt das aktuelle Modell
useAPI(apiName, apiKey)	Aktiviert eine Cloud-API (openai/openrouter)

Konfiguration

Umgebungsvariablen (optional):

• OPENAI_API_KEY – Ihr OpenAI-API-Schlüssel
• OPENROUTER_API_KEY – Ihr OpenRouter-API-Schlüssel

Lizenz

MIT