Was macht main?
Leichtgewichtige Graph-Routing-Engine, die lokalisierte Modellstrukturen ermöglicht, um Aufgaben bei Fehlern weiterzuleiten.
Übersicht
Ollama-Workflows/main ist ein Werkzeug zur Orchestrierung von Aufgaben über mehrere lokale Modelle hinweg. Es definiert einen gerichteten Graphen, in dem jeder Knoten eine Aufgabe repräsentiert, die von einem bestimmten Modell ausgeführt wird. Wenn ein Knoten fehlschlägt oder ein Modell nicht verfügbar ist, wird die Aufgabe automatisch an einen alternativen Knoten weitergeleitet.
Funktionen
- Graph-Routing: Aufgaben können als Knoten in einem Graphen definiert werden, der die Abhängigkeiten und Ausweichpfade abbildet.
- Fehlertoleranz: Bei Fehlern erfolgt eine automatische Weiterleitung an Ersatzmodelle.
- Lokale Ausführung: Nutzt lokale Modelle über Ollama, reduziert Latenz und Abhängigkeit von externen APIs.
- Einfache Konfiguration: YAML-basierte Konfigurationsdateien für schnelle Anpassung.
Installation
pip install ollama-workflows
Grundlegende Verwendung
from ollama_workflows import Workflow
# Workflow definieren
workflow = Workflow.from_yaml("workflow.yaml")
# Ausführen
result = workflow.run(input_data={"text": "Übersetze dies"})
Beispiel workflow.yaml:
nodes:
- name: translation
model: llama3.2
prompt: "Übersetze den folgenden Text ins Deutsche: {input.text}"
fallback:
model: mistral
Weitere Informationen
Besuchen Sie die Dokumentation für fortgeschrittene Konfigurationen und Beispiele.