Was macht cli-anything-ollama?
Lokale LLM-Inferenz und Modellverwaltung über die Ollama REST API. Entwickelt für KI-Agenten und Power-User, die Modelle verwalten, Text generieren, chatten und Embeddings ohne GUI erstellen möchten.
Installation
Dieses CLI wird als Teil des Pakets cli-anything-ollama installiert:
pip install cli-anything-ollama
Voraussetzungen:
- Python 3.10+
- Ollama muss installiert und ausgeführt werden (
ollama serve)
Verwendung
Grundlegende Befehle
# Hilfe anzeigen
cli-anything-ollama --help
# Interaktiven REPL-Modus starten
cli-anything-ollama
# Verfügbare Modelle auflisten
cli-anything-ollama model list
# Mit JSON-Ausgabe (für Agenten)
cli-anything-ollama --json model list
REPL-Modus
Wenn ohne Unterbefehl aufgerufen, startet das CLI eine interaktive REPL-Sitzung:
cli-anything-ollama
# Befehle interaktiv mit Tab-Vervollständigung und Verlauf eingeben
Befehlsgruppen
Modell
Befehle zur Modellverwaltung.
| Befehl | Beschreibung |
|---|---|
list | Lokal verfügbare Modelle auflisten |
show | Modelldetails anzeigen (Parameter, Vorlage, Lizenz) |
pull | Ein Modell aus der Ollama-Bibliothek herunterladen |
rm | Ein Modell aus dem lokalen Speicher löschen |
copy | Ein Modell unter einem neuen Namen kopieren |
ps | Derzeit im Speicher geladene Modelle auflisten |
Generieren
Befehle zur Textgenerierung und zum Chat.
| Befehl | Beschreibung |
|---|---|
text | Text aus einer Eingabeaufforderung generieren |
chat | Eine Chat-Vervollständigungsanfrage senden |
Embed
Befehle zur Embedding-Erzeugung.
| Befehl | Beschreibung |
|---|---|
text | Embeddings für Text generieren |
Server
Serverstatus- und Informationsbefehle.
| Befehl | Beschreibung |
|---|---|
status | Prüfen, ob der Ollama-Server läuft |
version | Ollama-Serverversion anzeigen |
Sitzung
Befehle zum Sitzungszustand.
| Befehl | Beschreibung |
|---|---|
status | Aktuellen Sitzungszustand anzeigen |
history | Chat-Verlauf der aktuellen Sitzung anzeigen |
Beispiele
Modelle auflisten und herunterladen
# Verfügbare Modelle auflisten
cli-anything-ollama model list
# Ein Modell herunterladen
cli-anything-ollama model pull llama3.2
# Modelldetails anzeigen
cli-anything-ollama model show llama3.2
Text generieren
# Text streamen (Standard)
cli-anything-ollama generate text --model llama3.2 --prompt "Erklären Sie Quantencomputing in einem Satz"
# Nicht-streamend mit JSON-Ausgabe (für Agenten)
cli-anything-ollama --json generate text --model llama3.2 --prompt "Hallo" --no-stream
Chat
# Einzelner Chat-Durchlauf
cli-anything-ollama generate chat --model llama3.2 --message "user:Was ist Python?"
# Mehrere Chat-Durchläufe
cli-anything-ollama generate chat --model llama3.2 \
--message "user:Was ist Python?" \
--message "user:Wie vergleicht es sich mit JavaScript?"
# Chat aus JSON-Datei
cli-anything-ollama generate chat --model llama3.2 --file messages.json
Embeddings
cli-anything-ollama embed text --model nomic-embed-text --input "Hallo Welt"
cli-anything-ollama embed text --model nomic-embed-text --input "Hallo" --input "Welt"
Interaktive REPL-Sitzung
Starten Sie eine interaktive Sitzung für explorative Nutzung.
cli-anything-ollama
# Befehle interaktiv eingeben
# 'help' verwenden, um verfügbare Befehle zu sehen
Mit einem entfernten Host verbinden
cli-anything-ollama --host http://192.168.1.100:11434 model list
Zustandsverwaltung
Das CLI verwaltet einen leichten Sitzungszustand:
- Aktuelle Host-URL: Konfigurierbar über
--host - Chat-Verlauf: Für mehrfache Gespräche im REPL verfolgt
- Zuletzt verwendetes Modell: Im REPL-Prompt angezeigt
Ausgabeformate
Alle Befehle unterstützen zwei Ausgabemodi:
- Menschenlesbar (Standard): Tabellen, Farben, formatierter Text
- Maschinenlesbar (
--json-Flag): Strukturiertes JSON für Agenten
# Menschliche Ausgabe
cli-anything-ollama model list
# JSON-Ausgabe für Agenten
cli-anything-ollama --json model list
Für KI-Agenten
Bei programmatischer Nutzung dieses CLIs:
- Immer das
--json-Flag für parsebare Ausgabe verwenden - Rückgabecodes prüfen – 0 für Erfolg, ungleich 0 für Fehler
- stderr parsen für Fehlermeldungen bei Fehlschlag
--no-streamfür generate/chat verwenden, um vollständige Antworten zu erhalten- Sicherstellen, dass Ollama läuft mit
server statusvor anderen Befehlen
Weitere Informationen
- Vollständige Dokumentation: Siehe README.md im Paket
- Testabdeckung: Siehe TEST.md im Paket
- Methodik: Siehe HARNESS.md im cli-anything-plugin
Version
1.0.1