Communitygithub.com

GiacomoSaccaggi/scomp_link

End-to-End ML-Toolkit, das den gesamten Workflow automatisiert – Datenprofilierung, Vorverarbeitung, Feature-Engineering, Modellauswahl, Training, Validierung, Erklärbarkeit, Drift-Überwachung, Fairness-Prüfungen und interaktive HTML-Berichte. Inklusive vollständiger CLI für ML-Pipelines ohne Code. Python 3.10+.

Was ist scomp_link?

scomp-link ist ein umfassendes End-to-End-Machine-Learning-Toolkit, das den gesamten ML-Workflow von der Datenprofilierung über die Vorverarbeitung, Feature-Engineering, Modellauswahl, Training, Validierung, Erklärbarkeit bis hin zur Überwachung und Bereitstellung automatisiert. Es richtet sich an Entwickler und Datenwissenschaftler, die ML-Pipelines schnell und ohne tiefgehende Programmierkenntnisse umsetzen möchten, und bietet eine vollständige CLI mit 24 Befehlen. Das Toolkit unterstützt die Erstellung von HTML-Berichten mit interaktiven Diagrammen (Plotly, Highcharts) und statischen SVGs (RAWGraphs) sowie die Speicherung von Artefakten im .scomp-Format, das Modell, Preprozessor, Konfiguration und Metriken vereint. Es ist für plattformübergreifende Nutzung optimiert und kann in Agenten-Workflows über einen MCP-Server integriert werden, wodurch es sich ideal für Produktionsumgebungen mit Drift-Überwachung, Anomalieerkennung und Fairness-Prüfungen eignet.

Funktioniert mit✓Claude Code~Codex CLI✓Cursor
npx skills add GiacomoSaccaggi/scomp_link

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

scomp-link – End-to-End ML-Toolkit

Übersicht

scomp-link automatisiert den gesamten ML-Workflow: Datenprofilierung → Vorverarbeitung → Feature-Engineering → Modellauswahl → Training → Validierung → Erklärbarkeit → Überwachung → Bereitstellung.

Verwenden Sie scomp-link anstelle von rohem sklearn, wenn Sie Folgendes benötigen:

  • ML ohne Code via CLI (24 Befehle)
  • Automatisierte Modellauswahl basierend auf Datenmerkmalen
  • Dauerhafte Artefakte (.scomp-Format: Modell + Preprozessor + Konfiguration + Metriken)
  • HTML-Berichte mit eingebetteten interaktiven Diagrammen
  • Produktionsüberwachung (Drift + Anomalie + Fairness)
  • Hyperparameter-Optimierung mit einem Befehl (Optuna/Halving)

Verwenden Sie rohes sklearn, wenn Sie Folgendes benötigen:

  • Benutzerdefinierte Modellarchitekturen, die nicht in der Factory enthalten sind
  • Detaillierte Kontrolle über jeden Vorverarbeitungsschritt
  • Forschungsworkflows, die maximale Flexibilität erfordern

Installation

pip install scomp-link

Entscheidungsbaum: Welcher Befehl zu verwenden ist

Ich habe Daten und möchte...
├─ Schnell verstehen              → scomp-link describe --data datei.csv
├─ Vollständigen Qualitätsbericht (HTML) → scomp-link quality --data datei.csv --output bericht.html
├─ Features entwickeln             → scomp-link engineer --data datei.csv --target y --interactions --log-transform
├─ Ein Modell trainieren
│  ├─ Regression                  → scomp-link run --data datei.csv --target y --task regression
│  ├─ Klassifikation              → scomp-link run --data datei.csv --target y --task classification
│  ├─ Textklassifikation          → scomp-link text --data datei.csv --text-col msg --target label
│  ├─ Clustering                  → scomp-link cluster --data datei.csv --n-clusters 5
│  └─ Vollständige Pipeline aus YAML → scomp-link pipeline --config pipeline.yaml
├─ Hyperparameter optimieren      → scomp-link tune --data datei.csv --target y --task regression --method optuna
├─ Mit gespeichertem Modell vorhersagen → scomp-link predict --artifact model.scomp --data neue.csv
├─ Mit Testdaten validieren       → scomp-link validate --artifact model.scomp --data test.csv --target y
├─ Modellentscheidungen erklären  → scomp-link explain --artifact model.scomp --data test.csv
├─ Produktion überwachen
│  ├─ Nur Drift                   → scomp-link drift --reference train.csv --current prod.csv
│  ├─ Vollständige Überwachung    → scomp-link monitor --reference train.csv --current prod.csv --artifact model.scomp
│  └─ Anomalieerkennung           → scomp-link anomaly --data prod.csv --methods iforest,lof,tabnet,transformer
├─ Fairness/Bias prüfen           → scomp-link fairness --data vorhersagen.csv --target y_wahr --predicted y_vorhergesagt --sensitive geschlecht
├─ Zeitreihen prognostizieren     → scomp-link forecast --data reihe.csv --column wert --horizon 30
├─ Modelle vergleichen            → scomp-link compare --artifacts v1.scomp v2.scomp
├─ HTML-Bericht generieren        → scomp-link report --data datei.csv --output bericht.html
├─ Als REST-API bereitstellen     → scomp-link serve --artifact model.scomp --port 8080
├─ Nach ONNX/pickle exportieren   → scomp-link export --artifact model.scomp --format onnx
└─ Neues Projekt gerüsten         → scomp-link init mein_projekt

Empfohlener Workflow

Standard-ML-Pipeline

# 1. Daten profilieren
scomp-link describe --data train.csv --format table

# 2. Datenqualität prüfen
scomp-link quality --data train.csv --output qualitaetsbericht.html

# 3. Features entwickeln
scomp-link engineer --data train.csv --target preis --interactions --log-transform --output entwickelte.csv

# 4. Hyperparameter optimieren
scomp-link tune --data entwickelte.csv --target preis --task regression --method optuna --n-trials 100 --save-artifact bestes_modell.scomp

# 5. Mit zurückgehaltenen Testdaten validieren
scomp-link validate --artifact bestes_modell.scomp --data test.csv --target preis --report validierung.html

# 6. Erklären
scomp-link explain --artifact bestes_modell.scomp --data test.csv

# 7. Bereitstellen
scomp-link serve --artifact bestes_modell.scomp --port 8080

YAML-Pipeline (alles in einem)

# pipeline.yaml
data: train.csv
target: preis
task: regression
engineer:
  interactions: true
  log_transform: true
tune:
  method: optuna
  n_trials: 50
validate:
  test_data: test.csv
  report: validierungsbericht.html
save: modelle/preismodell.scomp
scomp-link pipeline --config pipeline.yaml

Visualisierung und Berichte

scomp-link verfügt über drei Visualisierungs-Engines. Vollständige Details finden Sie unter visualization-guide.md.

Kurzübersicht

EngineAm besten geeignet fürAusgabeInteraktivität
PlotlyStandard-ML-Diagramme (Histogramme, Streudiagramme, Balken)HTML (interaktiv)Ja
RAWGraphsPublikationsqualität-Diagramme (Sankey, Treemap, Chord)SVG (statisch)Nein
HighchartsZeitreihen (Streamgraph, Heatmap, Gantt)HTML (interaktiv)Ja

Erstellen eines HTML-Berichts (Python-API)

from scomp_link.utils.report_html import ScompLinkHTMLReport
from scomp_link.utils.plotly_utils import histogram, barchart, linechart, area_chart
from scomp_link.utils.highcharts import streamgraphs, calendar_heatmap, calendar_gantt
from scomp_link.utils.rawgraphs import treemap, sankey_diagram, sunburst

# 1. Initialisieren
bericht = ScompLinkHTMLReport(title='Mein Analysebericht')

# 2. Abschnitte mit Inhalt hinzufügen
bericht.open_section("Datenübersicht")
bericht.add_title("Datensatzstatistiken")
bericht.add_text("Analyse von 10.000 Kundendatensätzen.")
bericht.add_dataframe(zusammenfassung_df, "Zusammenfassungsstatistiken")
bericht.close_section()

# 3. Diagramme hinzufügen
bericht.open_section("Verteilungen")
fig = histogram(df['alter'].values, "Altersverteilung")
bericht.add_graph_to_report(fig, "Altershistogramm")
bericht.close_section()

# 4. RAWGraphs-SVG hinzufügen
bericht.open_section("Hierarchische Ansicht")
svg = treemap(labels, parents, values, "Umsatz nach Kategorie")
bericht.add_rawgraphs_to_report(svg, "Umsatz-Treemap")
bericht.close_section()

# 5. Highcharts hinzufügen
bericht.open_section("Zeittrends")
html_stream = streamgraphs("Verkaufstrend", daten, serien_dict, area=True)
bericht.html_report += html_stream  # Direktes HTML-Anhängen für Highcharts
bericht.close_section()

# 6. Speichern
bericht.save_html('analysebericht.html')
bericht.save_pdf('analysebericht.pdf')  # erfordert Playwright

Verfügbare Diagramme (31 RAWGraphs + 5 Plotly + 3 Highcharts)

Vergleiche: barchart, barchartmultiset, barchartstacked, piechart, radarchart, voronoidiagram Verteilungen: beeswarm, boxplot, violinplot Zeitreihen: bumpchart, gantt_chart, horizongraph, linechart, slopechart, streamgraph Korrelationen: bubblechart, contour_plot, convex_hull, hexagonal_binning, matrixplot, parallelcoordinates Hierarchien: circlepacking, circular_dendrogram, dendrogram, sunburst, treemap, voronoi_treemap Netzwerke: alluvial_diagram, arc_diagram, chord_diagram, sankey_diagram Plotly: histogram, multiple_histograms, barchart, linechart, area_chart Highcharts: streamgraphs, calendar_heatmap, calendar_gantt

Verkettungsmuster

Die Befehle sind so konzipiert, dass sie verkettet werden können – die Ausgabe des einen ist die Eingabe des nächsten:

describe → (Spalten verstehen) → engineer → (entwickelte.csv) → tune → (modell.scomp) → validate → (Metriken)
                                                                                      ↓
                                                                               predict (neue Daten)
                                                                                      ↓
                                                                               serve (REST-API)

Wichtige Muster:

  • --save-artifact modell.scomp → verwenden mit --artifact modell.scomp in predict/validate/explain/export/serve
  • --output datei.csv → verwenden als --data datei.csv im nächsten Befehl
  • --report datei.html → eigenständige HTML-Ausgabe (im Browser anzeigbar)
  • --plot datei.html → Diagrammausgabe für forecast/drift/anomaly/cluster/compare

Häufige Fehler und Lösungen

FehlerUrsacheLösung
ValueError: could not convert string to floatKategoriale Spalten in numerischem Modell--engineer-Flag verwenden oder Kategorien vorverarbeiten
FileNotFoundError: artifact not foundFalscher Pfad zur .scomp-DateiPfad prüfen, absolute Pfade verwenden
ImportError: torch requiredNLP/Deep-Learning-Abhängigkeiten fehlenpip install scomp-link enthält alle Abhängigkeiten
ArrowInvalid: 1-dimensional arrayBild-/Array-Daten in der VorverarbeitungBehoben in v1.2.0 – scomp-link aktualisieren
No module named 'click'spaCy-Abhängigkeit fehltpip install click (transitive Abhängigkeit)
WeasyPrint: cannot load gobjectSystembibliotheken für PDF fehlensave_pdf() (Playwright) anstelle von WeasyPrint verwenden

MCP-Server

scomp-link enthält einen MCP-Server für die Agentenintegration:

# MCP-Server starten (Stdio-Modus für Claude Desktop / Kiro / Cursor)
scomp-link mcp

# Oder direkt ausführen
python -m scomp_link.mcp_server

Vollständige Workflow-Beispiele finden Sie unter workflow-patterns.md.

Verwandte Skills