elastic/observability-llm-obs

Was macht observability-llm-obs?

Überwachen Sie LLMs und agentische Anwendungen: Leistung, Token/Kosten, Antwortqualität und Workflow-Orchestrierung. Verwenden Sie dies, wenn der Benutzer nach LLM-Überwachung, GenAI-Beobachtbarkeit oder KI-Kosten/Qualität fragt.

Übersicht

Dieses Skill bietet eine Möglichkeit zur Überwachung von LLM-Anwendungen (Large Language Models) und agentischen Systemen mit Fokus auf:

• Leistung: Latenz und Durchsatz von Modellanfragen
• Token- & Kosten: Überwachung des Tokenverbrauchs und der daraus resultierenden Kosten
• Antwortqualität: Bewertung der Genauigkeit, Relevanz und Sicherheit von Modellantworten
• Workflow-Orchestrierung: Verfolgung von agentischen Workflows und Entscheidungspfaden

Anwendungsfälle

Nutzen Sie dieses Skill, wenn Sie:

• LLM-basierte Anwendungen auf Produktionsniveau überwachen möchten
• Kostenexplosion bei KI-APIs vermeiden wollen
• Die Antwortqualität von Modellen systematisch verbessern möchten
• Agentische Workflows debuggen und optimieren müssen

Integration

Dieses Skill integriert sich mit Elastic Observability und anderen APM-Tools über standardisierte OpenTelemetry-Instrumentierung. Es sammelt Metriken und Spans von LLM-Aufrufen und erstellt automatisch Dashboards und Alarme.

Unterstützte Plattformen

• Elastic Observability
• OpenTelemetry (bevorzugt)
• Eigenständige APM-Integrationen (via Prometheus, etc.)

Verwendung

1. Stellen Sie sicher, dass Ihr LLM-Dienst mit OpenTelemetry instrumentiert ist
2. Konfigurieren Sie den Elastic Agent oder den OpenTelemetry Collector, um Metriken an Ihren Elastic-Cluster zu senden
3. Installieren Sie das Skill und überprüfen Sie die Dashboards

Beispielkonfiguration

# OpenTelemetry Collector Konfiguration
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318

exporters:
  elastic:
    endpoint: "https://my-cluster.elastic.co:443"
    api_key: "${ELASTIC_API_KEY}"

service:
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [elastic]
    metrics:
      receivers: [otlp]
      exporters: [elastic]

Wichtige Metriken

Metrik	Beschreibung	Einheit
llm.request.duration	Dauer eines LLM-Aufrufs	ms
llm.token.total	Gesamtanzahl der verwendeten Token	Anzahl
llm.token.prompt	Anzahl der Prompt-Token	Anzahl
llm.token.completion	Anzahl der Completion-Token	Anzahl
llm.cost.total	Geschätzte Gesamtkosten	USD
llm.quality.score	Qualitätsscore der Antwort	0-1

Fehlerbehebung

• Keine Metriken sichtbar: Überprüfen Sie die OpenTelemetry-Instrumentierung Ihres LLM-Dienstes
• Falsche Kostenberechnung: Stellen Sie sicher, dass die Preise für Ihr Modell korrekt konfiguriert sind
• Dashboard zeigt keine Daten: Prüfen Sie, ob der Elastic Agent korrekt läuft und Metriken sendet

Weitere Informationen

• Elastic Observability Dokumentation
• OpenTelemetry LLM Instrumentierung
• GitHub Repository