AYastrebov/lokales-llm-setup

Was ist lokales-llm-setup?

Dieses Skillpaket bietet ein vollständiges lokales LLM-Inferenz-Setup auf Basis von llama.cpp, optimiert für AMD Radeon mit ROCm und Apple Silicon mit Metal. Es enthält Startskripte und Konfigurationen, die das Ausführen von Modellen wie LLaMA, Mistral oder Qwen auf der eigenen Hardware vereinfachen. Die Claude-Code-Fertigkeiten (Skills) ermöglichen es dem KI-Assistenten, direkt über natürliche Sprachbefehle auf die lokale LLM-Infrastruktur zuzugreifen – sei es zum Starten eines Servers, zum Anpassen von Parametern oder zum Verwalten von Modellen. Besonders nützlich ist dies für Entwickler, die datenschutzkonforme oder rechenzentrumsunabhängige KI-Anwendungen bauen möchten und gleichzeitig die GPU-Beschleunigung auf ihren Geräten nutzen wollen. Das Setup ist plattformübergreifend und dokumentiert die notwendigen Umgebungsvariablen, Pfade und Abhängigkeiten, sodass eine reibungslose Installation und Nutzung gewährleistet wird.